Смотрите, как устроен цикл непрерывного улучшения агентов в Replit.

Обычно continual learning для AI понимают как дообучение модели. Собрали новые данные → обновили веса → модель стала умнее. Но у большинства продуктовых команд нет доступа к весам frontier-моделей. GPT, Claude, Gemini, сильные coding models — это закрытые системы.

Replit показывает более практичный путь: агент может учиться не только на уровне модели, но и на уровне harness и context.

Harness — это всё, что окружает модель: промпты, инструменты, системные инструкции, политики, код выполнения, способы проверки результата. Context — это память и персонализация на уровне пользователя, организации и конкретного продукта.

Именно эти два слоя можно улучшать каждый день.

У Replit Agent задача сложнее, чем у обычного coding benchmark. Пользователь приходит не с готовым репозиторием и тестами, а с идеей на естественном языке. Агент сам выбирает стек, структуру приложения, роуты, схему данных, компоненты и user flow. Поэтому классические SWE-bench-подобные тесты не ловят главное: работает ли готовое приложение для пользователя.

Они построили вокруг этого несколько слоёв оценки.

Первый слой — ViBench. Это benchmark из реальных обезличенных production traces. Агент получает PRD и должен с нуля собрать рабочее приложение. Потом eval-агент проверяет не просто код, а сам артефакт: загружается ли приложение, работает ли основной сценарий, соответствует ли результат запросу.

Второй слой — A/B тесты в продакшене. Replit отдельно тестирует изменения в промптах, инструментах, harness, моделях и поведении агента. Потому что offline eval может выглядеть хорошо, а реальные пользователи начнут чаще бросать проекты, тратить больше денег или получать менее полезный результат.

Третий слой — Telescope. Это система анализа production traces. Она не пытается вручную читать все сессии, а группирует повторяющиеся failure patterns: где агент застревает, какие workflows ломаются, какие ошибки растут, какие пользователи отваливаются.

Дальше начинается самое интересное.

Все эти сигналы замыкаются в self-improvement loop.

Агент читает production logs, кластеры ошибок и недавние failures. Находит гипотезу, которую стоит проверить. Предлагает изменение в prompt / tool / skill / harness. Открывает draft PR с объяснением логики. Прогоняет candidate через ViBench, сравнивает с baseline, собирает evidence и предлагает решение: ship, iterate или drop.

Важно: shipping не становится полностью автоматическим. Инженеры всё ещё принимают финальное решение и отвечают за направление продукта. Но агент забирает на себя поиск паттернов, первичную диагностику, подготовку фикса и сбор доказательств.

Пример из статьи: Telescope нашёл небольшой, но растущий кластер проблем с environment setup на cold start. Это не было видно в агрегированных метриках. Loop прочитал affected trajectories, предложил patch, добавил regression test, прогнал ViBench, инженеры проверили evidence и в тот же день выкатили фикс. После релиза sentiment восстановился, пользователи разблокировались.

Вот это, кажется, и есть правильный уровень автономности для продуктовых агентов.

Не “агент сам всё деплоит”.

А система, где пользовательские failures превращаются в кластеры, кластеры — в гипотезы, гипотезы — в PR, PR — в измеримый эксперимент, а человек остаётся владельцем вкуса, направления и финального решения.

Полная версия:
https://x.com/i/article/2070187317080584195