С бенчмарками для кодинговых агентов сейчас стало довольно неопределённо.

Мне думается, что мы уже живём в какой-то пост-бенчмарк эпохе, когда всё сложнее и сложнее становится объективно оценивать модели.

Тут, с одной стороны - сатурация бенчей, с другой - их контаминация и прочие проблемы с недоверием и методологиями, а с третьей ещё и то, что разницу на повседневных задачах между современными моделями и агентами стало непросто измерить.

Тем не менее, новые бенчи появляются, и их авторы стараются учесть проблемы прошлых поколений, сделать более честные проверки и поднять планку сложности в тестах для агентов.

Так что завтра поговорим обо всём вокруг кодинговых бенчмарков на стриме ⬇️

#announcement #stream #benchmarks