Почему я считаю, что не стоит самостоятельно проектировать сложные мультиагентные системы (если вы не R&D-команда)

На днях в обсуждениях канала задали отличный вопрос: планирую ли я делать какой-то образовательный контент по настройке оркестрации агентов? Речь о системах, где 10-20-30 агентов проверяют друг друга, сами принимают решения и работают как реальная команда.

Вопрос вроде бы про обучение, но по сути он вскрывает большую проблему того, куда сейчас движется рынок. Я вижу явный тренд: многие пытаются навайбкодить сложные мультиагентные системы, а в итоге получают кучу проблем. Жалуются, что ничего не работает, а если и получается завести - то выходит безумно дорого.

Я написал в чате развернутый ответ на этот счет и решил вынести его сюда. Спойлер: лезть в это сейчас рядовым проектам не надо, и вот почему.

1. Экономика никогда не сойдется
Это практически всегда обходится дорого. Каждая перепроверка в цепочке агентов - это токены, а токены - это деньги. Возьмем тот же скилл Anthropic по созданию презентаций: модель сначала их создает, потом скринит, потом перепроверяет. Если делать свой продукт с такой логикой, каждый запрос будет стоить нереальных денег. Такое могут позволить себе только команды с собственным инференсом LLM (в основном топовые лабы). Реальных бизнес-задач, под которые компании выгодно было бы развернуть свою LLM, очень мало, а селф-хост модели сейчас сильно отстают в агентских возможностях.

2. Иллюзия автономности и качества
Нам в маркетинге рисуют красивые цифры, что модель работает автономно по 8-10 часов. Но это маркетинг. Реальная длительность задачи, которую LLM может адекватно выполнить автономно, находится в районе 20 минут (у Рефата недавно был хороший пост на эту тему). При этом на саму задачу модель может потратить времени больше, чем эти 20 минут.

Именно поэтому сейчас куда более актуален подход, где оркестратор - не LLM, а человек. Мы сохраняем human-in-the-loop как основной принцип. Без него в профессиональных задачах вы получите AI-slope, а не готовый к использованию результат.

3. Каскадные галлюцинации
Чтобы мультиагентные системы были реально автономными, результат должен быть детерминированным. LLM сами по себе склонны к галлюцинациям. А когда у вас цепочка из 10-30 агентов, эта вероятность не просто множится, она превращается в каскадные галлюцинации. Сейчас созданием надежных систем такого уровня занимаются гиганты вроде Anthropic, Google и OpenAI, потому что только они могут позволить себе такие R&D-затраты.

Почему тогда все переключились на вайбкодинг?
Вячеслав в своем сообщении очень точно подметил: "Как будто-бы все сейчас переключились на вайбкодинг, а агенты немного ушли на второй план". И это абсолютно логично вытекает из пунктов выше.

Прямо сейчас вайбкодинг - это самый низковисящий фрукт. Есть отличный набор задач, которые действительно можно быстро и дешево закрыть кодом, не выстраивая сложные цепочки из нейросетей.

Решит ли вайбкодинг все вопросы? Вообще нет. Решат ли их мультиагентные системы? Тоже нет. Язык - лишь небольшой аспект нашего мира. По этому поводу был у меня ранее пост + разбор статьи

👇 Присоединяйтесь к дискуссиям в чате канала!
Этот пост родился из обычного вопроса в комментариях. В нашем чате периодически обсуждают очень интересные вещи, и я часто залетаю с ответами, которые не всегда попадают в основную ленту. Заглядывайте в комментарии и вступайте в обсуждение!

🚀 Влад Корнышев про AI и создание AI-продуктов