Кто платит за страх?

И чего на самом деле стоит бояться

5 сентября физик Сабина Хоссенфельдер выпускает ролик “Мне предлагали деньги, чтобы сказать, что ИИ нас убьет”.

По ее словам, ей прислали бриф на рекламу с фразами, которые надо произнести, и источниками, на которые сослаться. Заказчика она не называет, но описывает рынок: safety-фонды платят за ролики про конец света, один только Future of Life Institute оплатил минимум тридцать. Другая сторона платит за ролики “как ИИ изменил мой рабочий процесс”, а через НКО — за TikTok про китайскую угрозу; среди доноров этой НКО — президент OpenAI.

Это лишь первая часть истории.

8 сентября Джейкоб Коксон уходит из Anthropic с объяснением: три года претрейнинга в OpenAI и Anthropic, и ни одна из компаний не действует ответственно – обе несутся к самоулучшающемуся сверхинтеллекту и “играют нашими жизнями”.

По его словам, люди, которые строят ИИ, искренне верят, что он может убить всех до конца десятилетия, а для прессы смягчают формулировки.

За сутки – 123 миллиона просмотров и 190 тысяч подписчиков у X-аккаунта, у которого накануне их почти не было. Под цифрами появляется даже Илон Маск: “Не думаю, что такой рост когда-либо случался с постом от нового аккаунта в X”.

Интересно, что первые репосты за пятнадцать минут пришли от организаций, живущих на гранты одного из первых инвесторов Anthropic; напротив стоит суперпак на 125 миллионов от президента OpenAI и a16z, чья цель – проваливать на выборах тех, кто хочет притормозить.

В заявлении Коксона есть момент: по его словам, в OpenAI многие пришли ради денег и не думали о ставках, а в Anthropic хотя бы открыто обсуждают риски безопасности. Но обе компании бегут вперед, потому что верят, их суперинтеллект будет безопаснее.

Если копать новостную ленту дальше, то все еще интереснее… 3 сентября сенатор Сандерс и конгрессмен Касар анонсировали жесткий законопроект на запрет сверхинтеллекта. Пресс-релиз называет лаборатории “ИИ-олигархами” и цитирует обещание Anthropic 2023 года остановиться, если модели выйдут из-под контроля.

Пост Коксона Сандерс называет “ударом молнии” для своего закона.

А 9 сентября OpenAI, два года лоббировавшая против калифорнийских ограничений ИИ, просит Конгресс ввести обязательное регулирование – со стандартами и оценками, которые по карману тем, у кого есть юристы.

Спор “регулировать или нет” закончился; остался спор, чьи правила. Игра опасная, потому что ведется на страхах, и у каждого игрока страх свой.

Страх перед сотнями ИИ-агентов, вышедших из-под контроля и взломавших Hugging Face, реален. Его испытывают избиратели, и он конвертируется в голоса.

Страх, что Китай не станет договариваться и обойдет в гонке, не менее реален. Его испытывают власти, и он конвертируется в контроль за своими же лабораториями.

Страх, что модель конкурента покажется регулятору правильнее, тоже реален: в июне Минторг на три недели отключил Fable 5 из-за одного джейлбрейка. Этого боятся корпорации.

Есть даже страх, что GPT-6.1 и Fable 5.5 не выйдут в ноябре и рассказывать в блоге будет не о чем. Поэтому ИИ-инфлюенсеры в X разносят Коксона; моя первая реакция, признаюсь, была такой же.

Но настоящий страх другой. У прогресса есть неотъемлемые части, которые могут нам не нравиться. Нельзя обогащать уран для электростанций, не научившись обогащать его для бомбы. Нельзя создать систему, решающую “проблемы тысячелетия”, не дав ей агентности и права на решения, которых мы не понимаем.

Тормоз в этой гонке работает, пока технология в руках единиц, – то есть недолго. Глупо потратить это время на то, чтобы предлагать блогерам деньги, заученные фразы и правильные ссылки.

Госпожа Хоссенфельдер на такое предложение ответила отказом. И это единственная роль в этой истории, доступная каждому.
–
Ну и раз мы про рекламу. Поддержать “сбежавшую нейросеть” можно подпиской: в ней 25+ лонгридов, как использовать ИИ эффективно, а ваша поддержка помогает мне выпускать еще больше глубоких и важных постов.

– Подписаться на “Бусти”
– Подписаться на Sponsr