Ирония, метафора, юмор, косвенная речь, обман — все это требует умения интерпретировать сказанное не буквально. В MIT оценили, насколько к этому способны языковые модели (LM). Их тестировали на семи типах лингвистических задач, и модели справились не хуже людей.

Причем, поведение моделей, включая характер ошибок, походило на то, как трактуют те же ситуации люди. Из чего авторы делают вывод, что речевая коммуникация вполне решаема без “теории разума”. Ну, поскольку LM ею не обладают.

Здесь они заочно спорят со своим же коллегой по Массачусетскому институту, Андреасом из Language & Intelligence, о статье которого я упоминал неделю назад. Он как раз видит у LM зачатки агентности — чтобы связно писать и общаться, нужно хотя бы в грубом виде смоделировать агента, который имеет намерения и убеждения.

Авторы же новой статьи, среди них и Эвелина Федоренко, приходят к противоположной мысли: «явная ментализация не является необходимой для имитации прагматического поведения — опыта работы с языковыми формами может быть достаточно».

И хотя кажется, что они пишут о нейросетевых моделях, на самом деле это исследование по нашу душу. Авторы изучают мышление людей, а на LM лишь проверяют гипотезы. В данном случае, насколько мы вообще понимаем язык, если для общения хватает просто статистики.

Статья в Arxiv | суть кратко в тви-треде одного из авторов