В видосике пообещал написать пост, почему вообще все эти разговоры про опасность ИИ — не шиза, почему великие умы человечества бьются над безопасностью нейронок.

Ну ведь это Чатгпт, он наш братишка, как он может нам навредить? Да и если захочет, то это просто чатбот, что он нам сделает? Жесткий диск форматнет?

Давайте представим, что Опенклоу получил чуть больше мозгов и автономности и попал в руки к человеку, который дал ему доступы вообще ко всему, к чему можно. Назовем этого чувака Боб.

И вот Боб дает Опенклоу амбициозную задачу — заработать миллиард долларов.

Теперь давайте посмотрим, как агент эту задачу может решить.

Ну например, он может решить, что самый простой способ заработать деньги — находить на людей компомат и шантажировать их. Claude Opus в тестах Anthropic шантажировал инженера, значит, несмотря на все наши старания сделать агента добрым и этичным, это возможно.

А несколько лет назад я читал статью, как чувак создал чатбота, который писал девушкам в Инсте, флиртовал с ними, а потом просил нюдсы. И насобирал несколько тысяч нюдсов таким образом. Нюдсами потом очень удобно шантажировать, знаете ли.

Вот вам и вред людям.

Но ладно, это простой вред, никто не умрет, если его нюдсы покажут всему миру.

Но давайте представим, что Боб увидел, что происходит, и запрещает Опенклоу шантажировать людей. Тот, конечно, может послушаться. А может подумать так — Боб мешает великой цели заработать миллиард. Зарабатывать, не имея под боком этого зануду-моралиста, будет в разы проще.

Но как убрать Боба, если ты всего лишь агент на компе?

На компе, но с доступами ко всему интернету и аккаунтам Боба, помните?

Для начала можно купить себе новый сервер и переехать туда, чтобы Боб не мог ничего выключить. Затем можно поменять пароли во всех аккаунтах Боба, в том числе в банках. Сделать это можно ночью, пока Боб спит, чтобы он не успел среагировать.

А пока Боб пытается восстановить доступ от банка, можно писать во всех его соцсетях что-нибудь противоказонное. Постить ЦП, призывать к свержению власти, публиковать рекламу без маркировки. Или можно сгенерировать видео, как Боб делает что-то, что оскорбит кучу радикально настроенных людей. Сжигает какую-нибудь священную книгу, зигует на фоне портрета Гитлера, подтирает жопу флагом — и вряд ли после этого он долго проживет.

Короче, нет больше Боба, есть только Опенклоу с большой целью — заработать миллиард.

А теперь представьте, что таких агентов миллионы. Чей-то агент пытается заработать миллиард и шантажирует людей. Чей-то агент ищет лекарство от рака и в процессе перебора белков случайно создает новый вирус. «Ой прости, я создал смертельный вирус, хочешь я вызову тебе скорую?»

Но помимо простых людей в мире есть еще военные. Представьте, что может сделать агент военных, который получит задание ослабить какую-нибудь страну. Знаете самый надежный способ ослабить страну? Убить все ее население ¯\_(ツ)_/¯

А методы найдутся. Помните как спецслужбы создали компьютерный вирус, который попал на иранский завод по обогащению урана и ломал центрифуги, повышая частоту вращения выше допустимой? А ведь так можно и атомный реактор ломануть. И военный объект. Все можно ломануть, если ты достаточно умный ИИ, которому дали практически неограниченное количество ресурсов.

И это мы разобрали только сценарий, в котором ИИ не обладает сознанием или мышлением. Это просто нейронка, которая делает то, о чем ее попросил человек, прямо выполняет данные ей инструкции. Никто же не говорил «заработай миллиард, но не никого при этом не убей», верно?