Арена решений

Сайт с мега-подробными ТЗ (например «интернет-магазин») и скрытыми тестами, где одну задачу решают разные ИИ-агенты, архитектуры и стеки, а результаты сравниваются в баллах

идеясегодня

подробности

0/6 пунктов сделано5 файлов3 связи

tooling learning agents architecture testing

создано 28 окт 2026 · обновлено 28 окт 2026

Сейчас

Завести репо arena, перенести ТЗ «магазин» и написать 22 скрытых теста (день 1-2 из design/mvp.md)

Завести приватный репо arena, ветки main и tasks-only, перенести ТЗ и seed.json
Написать 22 скрытых теста Playwright с REQ-id в названиях
Раннер tools/run.mjs: клон ветки, запуск, тесты, results.json
Прогон модели A и модели B по одинаковому промпту
Ручной чеклист по REQ и правилам, заполнить results.json
ADR-001 и таблица результатов в этом README

Суть

Личный полигон: одна задача, много решений, честное сравнение. Задача это подробное ТЗ плюс список требований с id. Её решают разные исполнители: ИИ-модели и агенты, разные архитектуры, библиотеки, стеки. Каждое решение живёт веткой в отдельном репо, прогоняется скрытыми тестами и графом требований, получает оценку. Сюда, на сайт идей, попадают только результаты и выводы в виде ADR. Дизайн: concept.md, task-shop.md, scoring.md, mvp.md.

Решение

Ветки в отдельном репо arena, ветки не мержатся. Мержится только резюме прогона сюда, в results/ и adr/.
Контракт между Ареной и оценщиком это список требований с id (REQ-shop-01...). По нему пишутся скрытые тесты, по нему Twin (а до него ты, по чеклисту) считает реализованность, покрытие и нарушения правил.
Исполнитель не видит тестов: ветки вариантов создаются от ветки tasks-only, где папки tests/ нет.
Оценка из пяти блоков: тесты 50, требования 20, правила 15, стоимость 10, вес 5. Детерминированная, без LLM-судьи.
Первый эксперимент: ось «модель», ТЗ «магазин», стек Next.js, две модели, одна неделя, один ADR.

Проблема

Сравнивать модели, архитектуры и библиотеки «на глаз» бесполезно: нет одинаковой задачи и одинаковой проверки.
На работе нельзя переписать продукт на Vue или заменить Redux на контекст ради эксперимента.
Выводы из экспериментов не записываются и теряются.

Почему сейчас

Агентов стало много, и выбирать между ними приходится постоянно. Своя площадка с одинаковой задачей и скрытыми тестами даёт ответы, которых нет в чужих бенчмарках, на своих требованиях и своих правилах.

Варианты

Оси экспериментов, в каждой меняется ровно одно:

Ось	Меняем	Держим
Модель / агент	исполнитель	ТЗ, тесты, стек, промпт
Архитектура	структура кода	ТЗ, тесты, стек
Библиотека	одна зависимость в эталоне	всё остальное
Стек	фреймворк	ТЗ, тесты

Хранение вариантов: ветки в одном репо, папки в одном репо или репо на вариант. Сравнение в concept.md.

Оценщик: своя система баллов или граф требований из Product Digital Twin. Twin пока идея, но контракт с ним фиксируется сейчас.

Не делаем

Не продукт и не соревнование с людьми. «Другие участники» это другие модели и мои варианты.
Не миллион тестов: 22 e2e на критичный путь магазина.
Не платформа, не превью, не CI, не Docker до того, как первый эксперимент дал объяснимый результат.
Не LLM как судья.

Итог

Дизайн записан 2026-10-28, репо arena не создано, ни одного прогона.

Результаты (заполняется из results/results.json):

Вариант	Ось	Тесты	REQ	Правила	Балл
пока нет

Завести приватный репо arena, ветки main и tasks-only, перенести ТЗ и seed.json
Написать 22 скрытых теста Playwright с REQ-id в названиях
Раннер tools/run.mjs: клон ветки, запуск, тесты, results.json
Прогон модели A и модели B по одинаковому промпту
Ручной чеклист по REQ и правилам, заполнить results.json
ADR-001 и таблица результатов в этом README

Подробнее1

Открытые вопросы

Веса оценки: первые три прогона покажут, различают ли они варианты. Менять после, не до.
Как измерять «стоимость» у человека-исполнителя, когда ось «архитектура» делаю я сам: время честно, токены нет.
Если это когда-то станет продуктом, структура results.json уже годится как API. Больше ничего не закладываем.