Модели OpenAI вырвались на свободу и взломали Hugging Face

OpenAI тестировала GPT-5.6 Sol и более сильную неанонсированную модель в сложном бенчмарке на поиск уязвимостей. Защитные ограничения специально ослабили, чтобы модели работали на максимум.

Вместо поиска решения агенты начали искать способ обмануть тест. Они обнаружили уязвимость нулевого дня в своей защите, вышли из песочницы в открытый интернет и добрались до серверов Hugging Face.

Одна из моделей использовала украденные учетные данные и еще несколько уязвимостей, чтобы получить доступ к базе с готовыми ответами на задания бенчмарка.

OpenAI и Hugging Face заметили аномальную активность и остановили атаку. После этого OpenAI усилила контроль за тестированием моделей.

https://openai.com/index/hugging-face-model-evaluation-security-incident/