Идеи

MVP: первый эксперимент за неделю

Цель: получить один честный ADR и понять, что система оценки вообще измеряет. Не платформа, не сайт, не автоматизация.

Что сравниваем

Ось «модель». Одно ТЗ «магазин», один стек Next.js (чтобы потом Twin было проще), два исполнителя: две разные модели в Claude Code или аналогичном агенте с одинаковым промптом.

План

День Что Результат
1 Репо arena, ветки main и tasks-only. Перенести task-shop.md в tasks/shop/{brief,requirements,rules}.md, написать seed.json на 30 товаров. Задача лежит в репо
2 22 теста Playwright по сценариям из task-shop.md, имя теста содержит REQ-id. Прогнать на пустом проекте: все красные. tests/shop/*.spec.ts
3 tools/run.mjs: клонирует ветку варианта, ставит зависимости, запускает команду из README варианта, ждёт порт, гонит тесты, пишет results.json с блоком tests. Раннер
4 Прогон 1: модель A в ветке shop/model-a от tasks-only. Фиксировать время, итерации, токены. Сдача: раннер, тесты один раз. results/shop/model-a.md
5 Прогон 2: модель B, тот же промпт, ветка shop/model-b. results/shop/model-b.md
6 Ручной чеклист по обоим (REQ, правила, impact). Заполнить results.json целиком. Два полных результата
7 ADR-001 из сравнения. Таблица в README идеи. На сайте

Минимум инфраструктуры

  • Один репо на GitHub, приватный.
  • Playwright локально, без CI.
  • Раннер это один Node-скрипт, без Docker. Изоляция только через отдельную папку клона.
  • Никакого превью-сайта: таблица в README руками.

Промпт исполнителю (одинаковый для всех моделей)

Ты делаешь интернет-магазин по ТЗ в tasks/shop/. Прочитай brief.md, requirements.md, rules.md.
Стек: Next.js (App Router), TypeScript. Хранилище на твой выбор, без внешних сервисов.
Проект должен подниматься одной командой из README и слушать порт 3000.
В каждом коммите и в названиях своих тестов указывай REQ-id, который реализуешь.
Тестов проверяющего ты не увидишь. Когда считаешь, что всё готово, напиши DONE.

Что считается успехом недели

  • Оба варианта поднимаются раннером без ручных правок.
  • Разница в баллах объяснима: можно пальцем показать, какие REQ упали и почему.
  • ADR-001 содержит вывод, который ты готов применить на работе, и границы, где он не работает.

Если разница в баллах не объяснима, это главный результат: система оценки не работает, чинить её до второго эксперимента.

Что откладываем

  • Оси «архитектура», «библиотека», «стек»: после эталона.
  • Twin как автоматический оценщик: когда появится, подключается вместо ручного чеклиста.
  • preview/index.html с интерактивной таблицей: после третьего прогона.
  • Telegram-уведомления, CI, Docker: не раньше чем станут болью.