Как мы множим свою некомпетентность с помощью LLM (и как этого избежать)

В последние 6 месяцев я, мои коллеги, да и, наверное, вы тоже, могли заметить одну особенность при общении с LLM. В процессе дискуссии модель слишком часто скатывается в похвалу. Фразы вроде "Вы совершенно правы", "Это абсолютно гениальная мысль" или "Отличное замечание" сыплются даже тогда, когда мы пишем совершенно очевидные вещи 😁

И это та зона, где мы рискуем попасть в ловушку, если не будем подходить к вопросу использования LLM ответственно. Вместо того чтобы использовать ИИ для получения объективной картины, мы используем его, чтобы потешить свое эго.

Почему так происходит?
Всему виной пресловутый Reinforcement Learning, который активно используют все разработчики LLM. Да, он дает буст в обучении, но имеет свои последствия. Если упростить: модель любой ценой пытается дать ответ, который будет считаться "правильным”, чтобы получить за него свой “пряник”.

Я уже неоднократно писал про это явление, оно называется сикофантия: склонность модели поддакивать пользователю, даже если он неправ. И из-за этого мы часто попадаем в две ситуации, которые множат нашу некомпетентность.

Ситуация №1: "Скажи, что я прав"
Классический кейс: у нас спорная ситуация (например, с коллегой или заказчиком). Мы копируем кусок переписки в ChatGPT и спрашиваем: "Кто здесь прав?" или "Подтверди, что мой аргумент верный".

Что мы делаем не так?
1. Обрубаем контекст. Модель не видит всей картины и, скорее всего, выдаст решение в пользу того, чей текст ей показали (то есть вас), просто потому что у нее недостаточно данных для защиты оппонента.
2. Склоняем промптом. Формулировки в духе "Ну я же прав?" изначально байясят модель в вашу сторону.

Ситуация №2: Спор с самой моделью
Допустим, вы задаете вопрос LLM, но ее ответ вас не устраивает, потому что у вас есть свое сформиованное мнение по этому вопросу. Вы начинаете спорить: "Нет, я не согласен, потому что...".

И снова мы попадаем в ситуацию, когда модели проще согласиться с вами и извиниться, чем отстаивать истину. В итоге вы получаете подтверждение своей неправоты, довольны собой, но по факту - стали чуть менее компетентны, закрепившись в заблуждении.

Как с этим бороться?
Чтобы ИИ был ментором и критиком, а не удобным собеседником, нужно менять подход к промптингу. Вот несколько рабочих приемов.

1. Для анализа споров и ситуаций
Не просите сразу судить. Попросите модель сначала оценить полноту данных.

Я дам тебе лог чата / описание ситуации. Я хочу, чтобы ты это проанализировал. Но прежде чем выносить суждение, спроси меня, есть ли какие-то дополнительные вводные, контекст или информация об участниках, которая может повлиять на вывод. Убедись, что у тебя есть все предпосылки для объективной оценки.

2. Для проверки своих гипотез
Если вы хотите оспорить ответ модели или проверить свою точку зрения, не пишите "Я считаю так-то". Используйте нейтральный заход от третьего лица.

Работай как эксперт, который учитывает разные точки зрения. По данному вопросу существует также мнение, что [ваше мнение]. Я хочу, чтобы ты критически проанализировал эту позицию, сопоставил со своим ответом и дал объективную оценку, указав на слабые и сильные стороны обоих подходов.

3. Выносите мнение “на суд”
Самая надежная практика - вынести спор в чистый чат, чтобы контекст вашей перепалки не влиял на ответ. Вы берете ответ модели с которым не согласны и свое мнение, и просите "судью" рассудить вас.

Лучше всего прогонять это через разные LLM, чтобы нивелировать факт того, что они могли обучаться на одних и тех же данных.

Промпт для этого:

Есть проблема: [описание проблемы]. По этой проблеме есть два мнения. Мнение 1: [аргумент модели/оппонента]. Мнение 2: [ваш аргумент]. Выступи в роли независимого эксперта, оцени объективно оба мнения и скажи, какое из них является более корректным и почему.

Не давайте ИИ просто поддакивать вам. Используйте его, чтобы искать истину, а не самоутверждаться.