AI агенты в продакшне - результаты опроса 300+ практиков

Интересная статья про AI агентов в проде - по большинству пунктов у нас такой же опыт

1) Надежность vs автономия - большинство выбирает надежность, скорее детерминированные workflow, чем агентные

2) Закрытые модели из коробки - редко кто файнтюнит и юзает open source - бенефиты от внедрения намного выше костов, поэтому не парятся + иногда проблема с privacy

3) Свои реализации вместо фреймворков - Многие юзают свою реализацию агентов с прямыми запросами к LLM вместо фремйворков в продакшне; но langchain очень популярен

4) Производительность - основной драйвер адопшна; на порядок быстрее людей

5) Сложно тестировать, комбинируют оценку экспертов (human in the loop) с оценкой LLM (llm as a judge)

6) Prompt-engineering в проде — почти полностью ручной. Автоматические prompt-оптимизаторы, self-refine и сложный RL — редкое исключение (помните мое вступление на хакатоне?). Зрелые системы живут на огромных, детально прописанных промптах и аккуратно собранных workflow.

7) Мульти-модельный прод - вместо одного “супер-агента” пайплайны из нескольких моделей: одна планирует, другая - генерирует генерирует, третья - проверяет, а четвертая - классифицирует или роутит

В общем, все как у всех :-) поэтому все ведущие лабы пытаются максимально решить задачу надежности