���� Большие языковые модели делают инженеры. Поэтому основные тесты, на которых проверяется их качество, - математика и программирование. На этих же задачах они лучше всего работают.
UNBench - первый бенчмарк
(GitHub), заточенный под МО, основанный на голосовании в Совбезе ООН. Задачи, по которым идёт проверка моделей:
1. Оценка выбора соавторов.
2. Оценка голосования.
3. Оценка того, будет ли проект резолюции принят.
4. Оценка сгенерированного заявления представителей членов СБ.
#пдс_датасет
Обсуждение 0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram