В новом Хабре рассказываем, какую роль играют «ага-моменты» в способности больших языковых моделей рассуждать

Рассуждающие модели вроде DeepSeek?R1, которая вышла в начале этого года, показывают впечатляющие результаты при анализе информации, формулировке выводов и принятии решений. Способность к рассуждению выражается в использовании ими человекоподобных фраз, например, "Wait", "Alternatively" и других — так называемых «ага-моментов».

Исследователи AIRI решили выяснить, какую роль такие слова играют в рефлексии, самопроверке и сомнениях LLM. Они спустились на уровень скрытых представлений модели и нашли механизмы, отвечающие за способность к рассуждению. Оказалось, что, усиливая нужные компоненты, можно заставить модель рассуждать глубже и точнее.

Младший научный сотрудник группы «Доверенные и безопасные интеллектуальные системы» AIRI и исследователь лаборатории Safe AI Lab AIRI-МТУСИ Андрей Галичин раскрыл подробности исследования в новой статье на Хабре.

?Читайте по ссылке.

Arxiv | GitHub