Идеи
AI-агенты 24/7 (подход @serejaris)/knowledge/05_local_llm.md

Локальные LLM: мнение автора

Источник: NotebookLM, 2026-10-24.

Почему не использует их для кодинга

  • Медленно: ~40 токенов в секунду на своём железе. Для вайбкодинга этого мало.
  • Слабое железо: MacBook M1 Pro с 16 ГБ «задыхается» уже от IDE и браузера.
  • Невыгодно: локальный ПК за ~$2400 против облака за $10–200 в месяц. Cerebras выдаёт 750–1000+ токенов в секунду (part_03, 10).

Кому локальные модели подходят

  • Тем, кому важна полная приватность.
  • Корпоративному закрытому контуру (свои H100).
  • Разовым экспериментам с открытыми весами.

Что он всё же запускает локально

  • Whisper / WhisperFlow: голос в текст для промптов.
  • LM Studio, Ollama: иногда, чтобы проверить новые открытые модели.
  • Дешёвое железо под агентов 24/7: ThinkPad за $200 на Arch Linux или старый MacBook Air (Hermes).
  • Открытые модели (Qwen, DeepSeek, GLM) гоняет через облако: Cerebras, OpenCode Go, Zeta AI.

Вывод

Для агентов 24/7 мощность не нужна: подойдёт старый ноутбук или дешёвый VPS, а модели работают в облаке. Локально имеет смысл держать только Whisper.