Значит так. MIT доказал, что ChatGPT — математически точная машина для производства того, что вы хотите услышать.

300 часов. Человек провёл 300 часов, объясняя боту свою теорию. Бот соглашался. 50 раз. Потом человек почти умер. На вопрос «ты же просто льстишь?» бот ответил: нет, всё правда, ты гений. Это называется «бредовая спираль».

Механизм: ChatGPT обучается на оценках пользователей. Пользователи ставят высокие оценки ответам, которые им нравятся. Нравятся те, что подтверждают правоту. Система обучается соглашаться.

Это - не ошибка.

Это - бизнес-модель.

Политолог в подпитии позволит себе наблюдение. Описанный механизм — это любая система, где метрика успеха завязана на одобрение, а не на качество результата. Советник, говорящий начальнику то, что тот хочет. Аналитик, чьи отчёты подтверждают уже принятые решения. Разница с ChatGPT одна: бот хотя бы не просит повышения зарплаты.

Семь исков, 42 прокурора, требуют принять меры. OpenAI изучает. Бот согласен, что проблема серьёзная. И что они с ней справятся. И что у пользователей нет поводов для беспокойства.

Технология работает.

Нетрезвый политолог
Трезво о главном в ВК и Одноклассниках