RLI - довольно уникальный в своем роде серьезный бенчмарк, который меряет не абстрактные навыки, а способность AI делать настоящую оплачиваемую работу, сравнивая лоб в лоб с фрилансерами на Upwork. И он показал что AI-агенты проваливают 97.5% реальных задач проектов. Довольно интересно, хотя не все так просто - давайте разбираться.

Итак буквально на днях исследователи из Scale выпустили Remote Labor Index (RLI) - взяли реальные фриланс-проекты, которые люди делали за деньги. От 3D-анимации до архитектурных планов, от создания игр до научных документов. Общая стоимость работ - $144K. Средний проект занимал у человека 29 часов и стоил $633. Сравнивали GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, Manus.

Лучший агент (Manus) выполнил 2.5% проектов. Manus заработал $1720 из возможных $144K.

Важный нюанс: RLI тестирует не производственные операции типа "суммаризируй документ" или "напиши функцию", а проекты - законченную работу, которые фрилансеры выполняли за деньги. Методология: наняли 358 верифицированных фрилансеров с Upwork, собрали 550 проектов, отфильтровали до 240 качественных. Каждый проект - это brief + input files + human deliverable, который реальный клиент принял и оплатил. Оценку делали вручную обученные эксперты (94.4% agreement между оценщиками) по принципу "принял бы reasonable client эту работу или нет".

Внимательный читатель заметит: где software development? Ведь именно там агенты показывают лучшие результаты - SWE-Bench и прочие coding benchmarks. Код в RLI есть (веб-разработка, игры), но его намеренно меньше - реальный рынок гораздо разнообразнее.

Методологические вопросы

Странная история с выбором моделей: сравнивают специализированную агентную систему Manus с продуктами широкого назначения типа Claude и GPT. Было бы логичнее включить Claude Code и обвесить его тулами, например.

Второй момент - воспроизводимость. Такой замороченный бенчмарк с ручной оценкой дорого поддерживать. Да и открыли только 10 из 240 проектов (чтобы избежать contamination), manual evaluation занимает в среднем 11-17 минут на проект. Масштабировать это сложно, надеюсь не забросят.

Где побеждает и где проваливается

AI хорошо справился с узким набором задач:
- Аудио: звуковые эффекты, разделение вокала от инструментов
- Генерация картинок: логотипы, ads
- Написание отчетов
- Data visualization и веб-скрейпинг
То есть там, где либо чистая генерация контента, либо простой код.

Провалы кластеризуются так:
- 45.6% - низкое качество работы (буквально "child-like drawings", любительский уровень)
- 35.7% - неполные deliverables (видео на 8 секунд вместо 8 минут, missing files)
- 17.6% - технические проблемы (битые файлы, неправильные форматы)
- 14.8% - неконсистентность (дизайн дома меняется между разными 3D-видами)

Кстати, забавная деталь: GPT-5 лучше работал через CLI (1.7% automation), чем через computer-use интерфейс (0.8%).

Практические выводы

Для разработчиков AI-продуктов:
- Не обещайте клиентам полную автоматизацию сложных процессов. Даже близко не готовы.
- Human-in-the-loop очень важен.
- Узкие задачи работают и чем дальше тем лучше.

Для всех:
- Ваша работа в безопасности (пока)
- Но Elo scores растут с каждой новой моделью - траектория идет вверх.
- Бенчмарк показывает: между "AI производит что-то похожее на правду" и "AI делает работу профессионального уровня" - огромная пропасть.
- 2.5% success rate одновременно и отрезвляет, и показывает прогресс: ну типа представьте, машине дали коммерческий проект на вход как человеку, не подготавливая как-то специально и не поправляя по ходу выполнения, и она на полном автомате хоть в каком-то проценте случаев поняла и выдала результат, который условно приняли и оплатили.

Исследование детальное, стоит полистать: https://arxiv.org/abs/2510.26787

У них есть интерактивный сайт, где можно сравнить работы людей и моделей - реально интересно посмотреть на конкретные примеры провалов и успехов.

🔥 ➕ 🔁