В отличие от сознания, разговор о разуме языковых моделей не лишен смысла. Споры на эту тему крутятся вокруг вопроса, демонстрируют ли LLM то, что мы называем мышлением (хотя бы искры), или же они достигают всех впечатляющих результатов без крупицы понимания. Сложность в том, что LLM то блещут умом, то проявляют вопиющую глупость, а спорщики выдергивают нужные им примеры.

Но примеры ничего не доказывают, еще и потому, что ответы могут сильно зависеть от нюансов промпта, и эту магию еще предстоит освоить. Есть ощущение, что модель знает больше, чем обычно следует из ее ответов, и при более умелых запросах она улучшает вывод. Предельной глубины этих улучшений мы не знаем.

Из общих соображений: LLM не мыслит, всего лишь предсказывает следующий токен. Это верно, но не содержательно. Потому что и мозг всего лишь минимизирует удивление.

Недавно по LLM высказался Хомский, заметив, что разум стремится не выводить грубые корреляции между точками данных, а создавать объяснения. И если языковые модели выдают наиболее вероятное продолжение запроса, то объяснение – это нечто прямо противоположное. “Теория о том, что яблоки падают на землю, потому что масса искривляет пространство-время (точка зрения Эйнштейна), крайне маловероятна, но на самом деле она объясняет, почему они падают”.

Пример с яблоками вызвал дискуссию в рассылке Connectionists, после того как Терри Сейновски, используя GPT, разбил довод Хомского. И понеслась. Включились в т.ч. и Хинтон с Маркусом, см. весь тред Chomsky's apple.

В The New Yorker Кэл Ньюпорт детально разбирает принцип работы GPT и убеждает читателя в том, что LLM вовсе не инопланетный разум, с которым мы теперь должны учиться сосуществовать. Текст хорош, но довод все тот же: LLM всего лишь предсказывает следующий токен.

Думаю, можно представить аналогичный текст, в том же ключе описывающий работу мозга — его даже мог бы написать GPT-4, получив статью Кэла в качестве промпта.

Видео Sparks of AGI: early experiments with GPT-4 — лекция Sebastien Bubeck из Microsoft, первого автора тех самых “искр общего интеллекта”.