LLM как зомби | Вопрос о сознании больших языковых моделей плох тем, что он о непонятном внутри непонятного. Мы не знаем, как мозг порождает психику, и не знаем, как устроены репрезентации внутри модели. Два черных ящика в одном вопросе, тут не на что опереться.

Согласен с Сергеем, когда он говорит, что LLM генерят паттерны, отражающие статистику поведения людей, и потому не удивительно, что мы видим в них намек на сознание. Ведь эти паттерны — наша производная. LLМ служат зеркалом, в котором мы отражаемся, но за его поверхностью пусто.

Словом, я тоже считаю, что искать сознание в LLМ — крайне странное занятие. В то же время это не более чем моя интуиция, и доказать ее нельзя. Пусть бессознательный агент способен имитировать “сознательное поведение”, проблемы здесь нет. Проблема в другом: в общем случае из поведения агента нельзя сделать надежный вывод о его внутренней кухне (даже если этот агент — человек).

Людей я наделяю сознанием, потому что они очень похожи на меня поведением и природой: вместо строгого доказательства здесь суждение ‘beyond reasonable doubt’. Трудности, однако, появляются, когда мы пытаемся выносить такие суждения о животных или, например, о младенцах. Они наводят на мысль, что у агентов может быть сознания больше или меньше, что еще усложняет картину.

Не прояснив ее, искать сознание в трансформерах можно до посинения. Внутри спора о больших моделях этот вопрос не разрешим, и свой взгляд на эту тему я подробно изложил в прошлом году. Чалмерс же старательно исследует доводы “за” и “против” наличия черного ящика в черном ящике — на мой вкус, это трата времени.