ChatGPT-4o наконец-то обновилась в API до версии, которая уже пара недель доступна в вебе.

В Chatbot Arena модель показывает роскошные результаты - поднялась с пятого места на первое сразу в шести категориях: общая производительность, креативное письмо, программирование, следование инструкциям, работа с длинными запросами и многоходовые диалоги. С ноябрьского обновления это серьёзный прогресс.

C математикой всё ещё не всё гладко - только шестое место в рейтинге. Хотя если сравнивать с предыдущей версией, то улучшения заметны и здесь, особенно в академических тестах GPQA и MATH.

Модель получила расширенную базу знаний до июня 2024 года, заметно улучшила работу с изображениями (особенно с диаграммами и графиками) и показывает более высокие результаты на бенчмарке MMLU, который измеряет общее понимание и способность к рассуждениям.

Сергей Булаев AI 🤖 - об AI и не только