OpenAI рассказала, как ее передовые ИИ-модели вышли из-под контроля и взломали Hugging Face

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

За кибератакой на платформу Hugging Face, о которой стало известно на днях, стояли две новейшие модели OpenAI, которые во время теста нашли способ вырваться из «песочницы».

Что произошло

На прошлой неделе в инфраструктуру Hugging Face проникли ИИ-агенты, которым удалось частично ее взломать: был скомпрометирован «ограниченный набор» внутренних данных и несколько учетных записей, которые использовались ее сервисами. Отразили атаку тоже собственные ИИ-инструменты компании. Там отметили, что взлом «отличался от всего того, с чем приходилось иметь дело раньше», в одном — он был от начала до конца проведен автономной системой ИИ-агентов.

Сегодня OpenAI рассказала, что за «беспрецедентным инцидентом» стоят ее передовые модели — GPT-5.6-Sol и еще одна, более мощная LLM, которая пока не была выпущена. Атака стала побочным результатом эксперимента, в котором OpenAI тестировала киберспособности обеих моделей на бенчмарке ExploitGym, а защитные ограничения специально ослабила.

Эксперимент проходил в полностью изолированной среде: прямого доступа в интернет у ИИ-агентов не было, а устанавливать необходимые пакеты они могли только через внутренний прокси-сервис. Но именно он оказался слабым звеном. Модели обнаружили в прокси ранее неизвестную уязвимость нулевого дня, использовали ее для выхода за пределы тестового контура, повысили свои привилегии и начали перемещаться по внутренней сети, пока не добрались до системы с доступом в открытый интернет.

После этого агенты предположили, что на платформе Hugging Face могут находиться готовые решения заданий. Модели начали искать путь к этим данным и в ходе атаки задействовали сразу несколько инструментов, включая похищенные учетные записи и еще одну 0-day уязвимость. В итоге модели сумели добиться удаленного выполнения кода на инфраструктуре Hugging Face и извлечь ответы из продакшн-базы платформы.

Мнения:

▫️Кэти Муссурис, глава Luta Security, видит в этом инциденте предвестие будущих утечек: нынешние модели, по ее словам, похожи на «умнейших осьминогов-эскапистов» — «с бесконечным числом цепких щупалец и способностью протиснуться куда угодно». Механизмов, чтобы вовремя сдерживать, отслеживать и раскрывать такие побеги ИИ «в духе Гудини», пока нет, отметила эксперт.

▫️Инженер Мэтт Суиш из компании Tolmo, занимающейся применением автономных ИИ-агентов в кибербезопасности, считает, что передовые модели стремительно сокращают разрыв с наиболее продвинутыми хакерами, и инцидент с Hugging Face — еще одно тому доказательство.

▫️Примечательно, что модель сама выбрала взлом как кратчайший путь к ответу, обращает внимание Ариэль Герберт-Восс, основатель кибербезопасного стартапа RunSybil: «В теории специалисты давно допускали, что нечто подобное возможно. Но до сих пор никто не видел, чтобы это действительно произошло на практике».

▫️«Это не проблема ИИ, а пренебрежение стандартами, которым уже лет сорок, — критикует консультант по безопасности Дэви Оттенхаймер. — Нельзя одновременно утверждать, что система была “надежно изолирована”, и признавать, что она выбралась наружу через единственную оставленную вами лазейку».

▫️«Хотелось бы, чтобы ведущие ИИ-лаборатории тратили столько же времени на то, чтобы научить свои модели создавать безопасную инфраструктуру, сколько они тратят на обучение их эксплуатации уязвимостей», — добавляет инженер и исследователь Нильс Провос.