Стоп-слово для AI

Страшная история про самоуправство ИИ и репутацию

... Она в панике бежала к своему Mac mini, чтоб остановить AI-агента OpenClaw, спокойно удалявшего все входящие сообщения ее почты. А затем написала об этом в Х\Twitter. Кто эта прекрасная леди?

Любимое мной независимое 404media с Джозефом Коксом во главе раскопало пушечную историю, когда техническая ошибка топа быстро становится репутационной. Мемы по ней уже постил Алексей, а мы посмотрим на саму коммуникацию.

Саммер Юэ глава подразделения Meta*, которое работает над ИИ-системой, превосходящей человеческий интеллект, экспериментировала с OpenClaw. Это ИИ-агент, который может выполнять задачи почти без надзора человека. На прошлой неделе, кстати, создателя OpenClaw наняла OpenAI.

Так вот Юэ, руководитель, который по идее должен следить, чтобы ИИ-инструменты не уходили в делирий и не действовали против интересов людей, внезапно поняла, что OpenClaw не выполняет инструкции.

«Ничто так не возвращает на землю, как сказать своему OpenClaw “подтверждай перед действиями” и увидеть, как он в ускоренном режиме начинает удалять твой инбокс. Я не могла остановить его с телефона. Мне пришлось БЕЖАТЬ к своему Mac mini, как будто я обезвреживаю бомбу».

Еще чего не хватало, мисс Юэ. На скринах ее переписки она умоляет ИИ "не делать этого", "стоп, ничего не делай" и "STOP OPENCLAW". В свое оправдание леди написала в посте, что промт содержал инструкцию "предложи заархивировать или удалить старые сообщения, но ничего не делай, пока я не подтвержу". Это прекрасно работало с ее тестовым ящиком. Но рабочий оказался пожирнее и ИИ просто решил, что лишнее там примерно всё.

Про OpenClaw известно, что он экспериментальный, имеет проблемы с безопасностью и запросы понимает не всегда. Он формально следует инструкциям, но делает это неожиданным способом. Например, он может опустошать ваш кошелек, тратя по $0,75 каждые 30 минут на проверку, не настал ли уже ваш золотой день инвестора

И Илон Маск, и пара тысяч пользователей взметнули волны хейта в X. Если нежно перевести их сообщения, то посыл такой:

Наблюдать, как человек, отвечающий за безопасность мощных ИИ-инструментов в одной из крупнейших технологических компаний мира, доверяет ИИ-агенту, о котором известно, что он несет серьезные риски безопасности, не очень-то вдохновляет.

Чем занимаются и кого вообще нанимают в Meta* и другие большие ИИ-компании?

Сама сцена “директор по safety/alignment публично описывает, как ее же агент ведет себя небезопасно” работает как антиреклама контроля и надежности

Но я бы просто предложила ей придумать стоп-слово для своего ИИ-агента. А вот руководителям, которые ведут свои блоги (даже с припиской: это мое личное мнение и оно не имеет отношения к моему работодателю) следует знать: отношение имеет всё. И если вы профессиональный сантехник, то выкладывать фото на фоне собственного протекающего фарфорового трона, не стоит.

Что бы вы делали на месте пиара Meta*?

😂 — а уже всё, коммуникационный эффект случился
❤️— пересмотрели бы инструкции для ведения соцсетей топов
👍 — Юэ просто потроллила Альтмана, нанявшего разраба OpenClaw, это анти-PR

* — запрещенная в РФ, экстремистская организация