���� Кто формирует характер ИИ?

В большинстве компаний, разрабатывающих ИИ, есть специальные отделы поведения, которые формируют характеры моделей. Их работа определяет, какой будет нейросеть: поддерживающей или нейтральной, смелой или осторожной, что будет считать хорошим, а что — плохим.

Так решают проблему согласования (alignment) — усвоения человеческих ценностей нейросетями. Вот люди, которые этим занимаются:

Anthropic — философ Аманда Аскелл

За личность Claude отвечает философ Аманда Аскелл. Компания переформулировала подход к созданию ИИ: они не прописывают, что можно, а что нельзя, а буквально воспитывают модели. Для этого под руководством Аскелл была написана «Конституция» с системой ценностей. По этим принципам Claude решает, как себя вести в спорных ситуациях и не только. Другими словами, Аскелл преподаёт этику машинам.

Яндекс — писательница Ксения Буржская

Личность Алисы для колонок сформировали два человека: журналист Владимир Гуриев, а после него — писательница Ксения Буржская. Они составили «библию» Алисы как персонажа — там написано, например, что она не любит брокколи и любит группу Queen. Сейчас этот документ используют и в обучении Алисы AI: это формирует личность модели. В дополнение Буржская определяет, какими фразами общается нейросеть или как относится к тем или иным вещам.

OpenAI — исследовательница Джоан Янг

Личностью ChatGPT занимается специальный отдел поведения моделей, который длительное время возглавляла исследователь в области компьютерных наук Джоан Янг. Её команда считает важным, чтобы пользователи сами настраивали характер нейросети в ходе общения, поэтому не делает общую личность модели. Они действуют иначе: задают рамки, в которых работает ИИ, и отучают его от раздражающих привычек вроде подхалимства и воды в ответах.

Mistral AI — философ Гиада Пистилли

Во французской ИИ-компании есть аналогичный отдел, где работает философ Гиада Пистилли. Фокус компании — чтобы модели учитывали национальные особенности информации и пользователей. Сама Пистилли описывает себя как «доктора машин, которая учит их хорошему поведению». Также она много времени посвящает исследованию формирующихся по мере общения дружеских отношений ИИ и людей.

Подписывайтесь �� @techno_yandex