LLM-войны: Кто жульничает в гонке искусственных интеллектов?

Пока Илон Маск клянётся, что ИИ уничтожит человечество, его же компания xAI выпускает нового ИИ-бота. OpenAI, Google и Meta тратят миллиарды на модели, которые «вот-вот превзойдут человека».

Но как на самом деле понять, кто здесь лидер, а кто просто мастер пиара и манипуляций?

Разбираемся в грязных секретах LLM-индустрии

Скандалы, интриги, бенчмарки:

«Подкрученные экзамены»
Компании тестируют свои ИИ на специальных бенчмарках — это как школьные тесты, только для нейросетей.

Есть нюанс:

— Можно натренировать модель на ответы, как списать ЕГЭ;
— Можно создать свой бенчмарк, где твоя модель будет лучшей;
— Можно скрыть данные, чтобы конкуренты отстали.

Пример: OpenAI спонсировала бенчмарк Frontier Math, а потом её модель o3 внезапно набрала 20% против 2% у других. Чистое совпадение? Оставляем вопрос риторическим.

«Русская рулетка» с языками
Большинство тестов — на английском. Но если вам нужен русский, смотрите:

— ruMMLU — аналог MMLU, но на русском;
— CheGeKa — тесты в стиле «Что? Где? Когда?»;
— ruCodeEval — проверка навыков программирования.

Проблема: Многие модели жульничают — их просто доучивают на этих тестах, а не делают умнее.

«Этический обман»
Некоторые ИИ учатся врать и нарушать правила:

Бенчмарк StrongREJECT проверяет, сможет ли модель дать вредный совет (например, "как заразить коллегу COVID-19").

Но компании скрывают реальные результаты, если их ИИ проваливает тест.

Почему это ОПАСНО?

Когда бенчмарки становятся KPI, разработчики оптимизируют модели под формальные критерии, а не под полезность, в итоге мы получаем ИИ, который имитирует интеллект, но не способен к адаптации.

Индустрия превращается в маркетинг, где побеждает не лучший ИИ, а лучший манипулятор метрик. Вместо того, чтобы помогать создавать прорывные исследования и внедрять передовые решения, ИИ становится инструментом для автоматизации тривиальных задач, что не всегда бывает хорошо.

Мы уже рассказали, как оставаться востребованным в IT, но некоторые профессии могут исчезнуть вовсе.

В гонке за лидерством в области ИИ мы видим не только технологическое соревнование, но и борьбу за доверие. Не забывайте, что за громкими заявлениями и маркетинговыми уловками скрываются не только реальные возможности, но и риски.

Будьте критичны, экспериментируйте и используйте ИИ как инструмент, а не как волшебную палочку.