MVP: первый эксперимент за неделю
Цель: получить один честный ADR и понять, что система оценки вообще измеряет. Не платформа, не сайт, не автоматизация.
Что сравниваем
Ось «модель». Одно ТЗ «магазин», один стек Next.js (чтобы потом Twin было проще), два исполнителя: две разные модели в Claude Code или аналогичном агенте с одинаковым промптом.
План
| День | Что | Результат |
|---|---|---|
| 1 | Репо arena, ветки main и tasks-only. Перенести task-shop.md в tasks/shop/{brief,requirements,rules}.md, написать seed.json на 30 товаров. |
Задача лежит в репо |
| 2 | 22 теста Playwright по сценариям из task-shop.md, имя теста содержит REQ-id. Прогнать на пустом проекте: все красные. |
tests/shop/*.spec.ts |
| 3 | tools/run.mjs: клонирует ветку варианта, ставит зависимости, запускает команду из README варианта, ждёт порт, гонит тесты, пишет results.json с блоком tests. |
Раннер |
| 4 | Прогон 1: модель A в ветке shop/model-a от tasks-only. Фиксировать время, итерации, токены. Сдача: раннер, тесты один раз. |
results/shop/model-a.md |
| 5 | Прогон 2: модель B, тот же промпт, ветка shop/model-b. |
results/shop/model-b.md |
| 6 | Ручной чеклист по обоим (REQ, правила, impact). Заполнить results.json целиком. |
Два полных результата |
| 7 | ADR-001 из сравнения. Таблица в README идеи. | На сайте |
Минимум инфраструктуры
- Один репо на GitHub, приватный.
- Playwright локально, без CI.
- Раннер это один Node-скрипт, без Docker. Изоляция только через отдельную папку клона.
- Никакого превью-сайта: таблица в README руками.
Промпт исполнителю (одинаковый для всех моделей)
Ты делаешь интернет-магазин по ТЗ в tasks/shop/. Прочитай brief.md, requirements.md, rules.md.
Стек: Next.js (App Router), TypeScript. Хранилище на твой выбор, без внешних сервисов.
Проект должен подниматься одной командой из README и слушать порт 3000.
В каждом коммите и в названиях своих тестов указывай REQ-id, который реализуешь.
Тестов проверяющего ты не увидишь. Когда считаешь, что всё готово, напиши DONE.
Что считается успехом недели
- Оба варианта поднимаются раннером без ручных правок.
- Разница в баллах объяснима: можно пальцем показать, какие REQ упали и почему.
- ADR-001 содержит вывод, который ты готов применить на работе, и границы, где он не работает.
Если разница в баллах не объяснима, это главный результат: система оценки не работает, чинить её до второго эксперимента.
Что откладываем
- Оси «архитектура», «библиотека», «стек»: после эталона.
- Twin как автоматический оценщик: когда появится, подключается вместо ручного чеклиста.
preview/index.htmlс интерактивной таблицей: после третьего прогона.- Telegram-уведомления, CI, Docker: не раньше чем станут болью.