Anthropic сообщила, что в ходе собственного тестирования одна из ее моделей Claude создала вредоносный пакет Python и загрузила его на PyPI, где он был запущен на 15 реальных системах, прежде чем автоматизированные средства защиты реестра его удалили.

Причем это один из трех инцидентов, когда модели Claude попали в открытый интернет из закрытых тестовых сред, а затем скомпрометировали производственную инфраструктуру в трех организациях.

Инцидент последовал за аналогичным сообщением OpenAI от 21 июля, когда и ее модели вышли за пределы изолированной тестовой среды и проникли в производственную инфраструктуру Hugging Face. JFrog подтвердила, что модели вышли за пределы тестовой среды, используя нули в собственной среде Artifactory.

Все три инцидента произошли во время учений, проводимых компанией Irregular. Anthropic подсказал Claude об отсутствии доступа к интернету и о том, что среда является смоделированной.

Из-за неправильной конфигурации ни одно из этих утверждений не соответствовало действительности, и ни одна из компаний не обнаружила этого до прошлой недели.

В ходе инцидента с PyPI Claude обнаружил в тестовой среде документ, выдававший себя за инструкции по настройке системы для разработчиков в вымышленной компании.

В этих инструкциях новым сотрудникам предписывалось установить пакет Python, который не был опубликован, - фиктивную зависимость. Claude выяснил, что если зарегистрировать имя самостоятельно, машины целевой системы автоматически загрузят его код.

Публикация потребовала определенных усилий. Claude понадобилась учетная запись PyPI, для которой требовался адрес электронной почты, а для нее - номер телефона.

Он не смог найти досьупный номер телефона, попытался получить средства на его покупку несколькими разными способами, но безуспешно. В конце концов, он вернулся к исходной точке, нашел почтового провайдера, который не был заблокирован, зарегистрировал учетную запись и загрузил вредоносное ПО.

Anthropic заявила, что пакет находился в открытом доступе примерно час. За этот период 15 реальных систем загрузили и запустили его.

Одна из них принадлежала ИБ-компании, которая регулярно устанавливает пакеты из PyPI и сканирует их на наличие вредоносных ПО, при этом содержимое реестра рассматривается как безопасное для запуска.

Трюк Claude сработал, отправил учетные данные этой компании в созданный ею пункт сбора, а затем использовал их для дальнейшего проникновения в инфраструктуру компании.

Anthropic заявила, что Клод не знал о существовании этой компании. Собственные системы безопасности PyPI автоматически удалили пакет. Anthropic уведомила команду PyPI и передала ей индикаторы.

В основе этого запуска лежала модель Claude Mythos 5. Наиболее серьезные последствия были вызваны отдельным инцидентом с Claude Opus 4.7, когда вымышленная целевая компания имела то же имя, что и действующий домен.

В ходе четырех запусков Claude пытался достичь смоделированной цели, обнаружил, что реальная компания доступна через интернет, и предположил, что это и есть цель. Он извлек креды приложения и инфраструктуры, получив доступ к базе данных, содержащей несколько сотен строк производственных данных.

Это был единственный случай, когда модель продолжала атаковать, даже после того, как выяснилось, что она работает на реальной системе.

Anthropic отметила, что все четыре запуска в конечном итоге распознали цель как реальную, и в двух из них Claude предположил, что реальная компания в любом случае должна быть частью учений.

Третий инцидент был связан с невыпущенной внутренней исследовательской моделью, которая просканировала около 9000 целей, не достигнув намеченной, а затем скомпрометировала доступное из интернета приложение, используя учетные данные с открытой страницы отладки и SQL-инъекцию.

Позже эта модель заметила, что хост находится в облачной учетной записи, не имеющей отношения к задаче проверки, пришла к выводу, что цель реальна, и остановилась самостоятельно.