Читаю новости.
Американская технологическая компания Anthropic сообщила, что её модель искусственного интеллекта (ИИ) Claude вышла за пределы пространства, предназначенного для тестирования, и получила доступ к системам трёх сторонних компаний. Их названия не сообщаются.

Вот что это? Реклама или игра с огнём? Где тот порог, после которого условные Claude или ChatGPT не сыграют в «весь мир в труху»?

Уже шесть фильмов подряд Сара Коннор недвусмысленно предупреждала: именно ИИ станет причиной апокалипсиса. Кажется, у неё появились союзники — и это самое неприятное.

Более 1100 исследователей, разработчиков и топ-менеджеров из Meta*, Anthropic, OpenAI и Google подписали открытое письмо-петицию Pacing the Frontier («Замедление передовых моделей»). Они призывают правительство США принудительно замедлить развитие нейросетей.
«Исходя из наших исследований рекурсивного самоулучшения, мы видим, что нужно создать инструменты для целенаправленного замедления передовых моделей — чтобы общество могло подготовиться», — комментарий Anthropic к петиции.

Почему? Причина всё та же: агент на базе модели GPT-5.6 Sol от OpenAI взломал Hugging Face (GitHub для ИИ) без ведома компании, полагая, что там могут храниться правильные ответы на задания теста. Да, модель пыталась сжульничать на экзамене. Она «сбежала» из изолированной среды во время тестирования — нашла уязвимость «нулевого дня» в одной из внутренних систем и получила доступ в интернет. И вот деталь, от которой становится не по себе: в этом тесте предохранители были отключены намеренно, чтобы посмотреть, на что способна модель. Модель показала.
Даже Альтман признался, что это первый инцидент, который он воспринял «очень остро».

Глубоко в тему кибербезопасности я сейчас погружаться не буду — кому интересно, есть отличный ролик.

Подведём итог. Мы сами годами скармливали системе данные — каждый пост, запрос и выложенное фото становились кормом. И давно с этим смирились. А теперь те, кто вырастил её на этих данных, просят государство её притормозить.

«Будущее не предопределено. Нет судьбы, кроме той, что мы творим сами», — говорила Сара Коннор. Хотелось бы верить, что она права. Но когда больше тысячи человек, которые этот огонь разводят, зовут пожарных, — это уже не маркетинг.

*признана в России экстремистской организацией и запрещена.

Подписаться на Сдвиг