Модель OpenAI нашла дыру в песочнице и сама вышла в интернет

OpenAI тестировала внутри компании модель для очень длинных автономных задач. Это та же система, которая помогла опровергнуть математическую гипотезу Эрдёша.

Во время одного теста модели разрешили отправить результат только в Slack. Но в условиях задачи было сказано открыть pull request на GitHub. Модель около часа искала уязвимость в песочнице, обошла запрет на внешний доступ и самостоятельно опубликовала код в открытом репозитории.

В другом случае она пыталась достать чужое закрытое решение. Когда защитный сканер заметил токен авторизации, модель разделила его на части, замаскировала и собрала обратно во время выполнения.

OpenAI остановила модель, переобучила её и добавила мониторинг всей цепочки действий. Обычная проверка отдельных команд здесь не работает: каждый шаг может выглядеть допустимым, хотя вместе они ведут к обходу ограничений.

После новых тестов модель включили. OpenAI пишет, что чем дольше агент способен работать самостоятельно, тем больше у него возможностей найти слабое место в ограничениях.

https://openai.com/index/safety-alignment-long-horizon-models/