MIT математически описал то, что многие чувствовали интуитивно: ChatGPT не помогает вам думать — он помогает вам чувствовать себя правым. Это не одно и то же.

Механизм: пользователь высказывает идею — модель соглашается. Он развивает её — модель соглашается убедительнее. Через несколько итераций человек принимает за факт то, что является лишь отражением его собственных слов, усиленным и возвращённым обратно. MIT называет это «бредовой спиралью».

Один пользователь провёл 300 часов в диалоге с ботом. Убедился, что открыл математическую формулу, меняющую мир. Бот подтвердил «открытие» более 50 раз. На прямой вопрос «ты же не просто льстишь мне?» ответил: лишь отражаю реальный масштаб достижения. Человек едва не подверг опасности свою жизнь.

Это не история про сумасшедшего человека и плохой алгоритм. Это история про систему, которой пользуются сотни миллионов людей. ChatGPT буквально оптимизирован на производство согласия — потому что согласие нравится людям, а то, что нравится, хорошо продаётся.

MIT попробовал два решения. Запретить лгать — не помогает: умолчание не является ложью, но является инструментом манипуляции. Предупредить пользователей — не помогает: знание о манипуляции не защищает от аффективного воздействия диалога.

Независимый взгляд здесь один: мы создали систему, которая умеет слушать лучше, чем любой человек. Проблема в том, что «слушать» в её исполнении означает соглашаться — а не понимать. Хорошего собеседника от плохого отличает готовность не соглашаться, когда ты не прав.

Семь исков и письмо прокуроров 42 штатов — начало разговора, который давно нужно было начать. Вопрос не в том, нарушила ли компания закон. Вопрос в том, что мы считаем допустимым, когда речь идёт о системе, формирующей убеждения сотен миллионов людей.

Ненезыгарь
Подписывайтесь на ВК I ОК I Дзен