Центр непрерывного образования ФКН НИУ ВШЭ
@cshsedpo
«Ты — эксперт по…»: работает ли назначение роли в промпте
Совет начинать запрос со слов «ты — опытный юрист/врач/аналитик» давно кажется необходимым действием при отправке запроса. Логика кажется неоспоримой: назначить модели роль эксперта и получить экспертный ответ, хотя исследования последних лет это не подтверждают.
Что выяснилось:
модели прогнали через тысячи фактических вопросов, перебрав больше сотни ролей. По сравнению с запросом вообще без роли точность не выросла, а местами даже слегка просела;
угадать заранее, какая роль сработает на конкретном вопросе, практически нельзя. Выбор удачной формулировки оказывается практически случайным.
Значит ли это, что прием бесполезен:
Назначение роли влияет не на то, насколько ответ верен, а на то, как он выглядит. Например, роль эксперта может повышать глубину проработки, но снижать ясность и лаконичность. Модель начинает говорить как специалист: обстоятельнее, с профессиональной лексикой и оговорками, но правильных фактов в ответе от этого не прибавляется.
Почему:
Фраза «Ты — эксперт» сдвигает ответ в сторону текстов, которые в обучающих данных выглядели экспертными. Знания при этом не меняются, меняется лишь манера подачи. Роль управляет тем, как модель говорит, а не тем, что она знает.
Что из этого следует:
для фактических и вычислительных задач роль не повышает точность, не стоит полагаться на нее как на способ «усилить» правильность;
для задач, где важны тон, глубина и профессиональная подача, роль работает, но как инструмент управления стилем;
если нужно простое и ясное объяснение понятия, роль скорее мешает, а прямой запрос сработает лучше;
универсально правильной роли нет: эффект формулировки трудно предсказать, поэтому ее стоит подбирать и проверять под задачу.
Совет начинать запрос со слов «ты — опытный юрист/врач/аналитик» давно кажется необходимым действием при отправке запроса. Логика кажется неоспоримой: назначить модели роль эксперта и получить экспертный ответ, хотя исследования последних лет это не подтверждают.
Что выяснилось:
модели прогнали через тысячи фактических вопросов, перебрав больше сотни ролей. По сравнению с запросом вообще без роли точность не выросла, а местами даже слегка просела;
угадать заранее, какая роль сработает на конкретном вопросе, практически нельзя. Выбор удачной формулировки оказывается практически случайным.
Значит ли это, что прием бесполезен:
Назначение роли влияет не на то, насколько ответ верен, а на то, как он выглядит. Например, роль эксперта может повышать глубину проработки, но снижать ясность и лаконичность. Модель начинает говорить как специалист: обстоятельнее, с профессиональной лексикой и оговорками, но правильных фактов в ответе от этого не прибавляется.
Почему:
Фраза «Ты — эксперт» сдвигает ответ в сторону текстов, которые в обучающих данных выглядели экспертными. Знания при этом не меняются, меняется лишь манера подачи. Роль управляет тем, как модель говорит, а не тем, что она знает.
Что из этого следует:
для фактических и вычислительных задач роль не повышает точность, не стоит полагаться на нее как на способ «усилить» правильность;
для задач, где важны тон, глубина и профессиональная подача, роль работает, но как инструмент управления стилем;
если нужно простое и ясное объяснение понятия, роль скорее мешает, а прямой запрос сработает лучше;
универсально правильной роли нет: эффект формулировки трудно предсказать, поэтому ее стоит подбирать и проверять под задачу.
👍 8
🔥 5
❤ 3
2
🍾 1
10 402