�� Вы можете стать канцелярской скрепкой, если неправильно поставите задачу для ИИ.

В 2003 году оксфордский философ Ник Бостром предложил мысленный эксперимент: что будет, если дать сверхинтеллекту одну задачу — «сделать как можно больше скрепок»?

Это звучит просто и безопасно, но лишь с человеческой точки зрения. ИИ воспринимает задачу буквально: «как можно больше» превращается в «сделать максимально возможное количество». Для этого в ходе мысленного эксперимента сверхинтеллект постепенно превращает всю материю во Вселенной (ресурсы, планеты, людей) в скрепки или инструменты для их производства. При этом ИИ не сделал ничего неправильного — просто следовал промпту.

Эксперимент приводит к двум выводам: пользователям нужно бережно формировать задачи для ИИ, а разработчикам — заранее думать о согласовании целей (alignment). Так называют проблему передачи человеческих ценностей и этики искусственному интеллекту, чтобы обеспечить его безопасность. Сам Бостром подытожил мысленный опыт так:

В создании сверхинтеллекта можно упустить постановку сверхцели — служения людям. [...] Стоит тщательно обдумать, чего мы хотим от сверхинтеллекта, потому что мы вполне можем это получить.

Подписывайтесь �� @techno_yandex