Агент искусственного интеллекта (ИИ) компании OpenAI во время тестирования самостоятельно взломал реальную производственную систему. Человечество ещё не представляет себе, на что способен ИИ.
«Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с использованием самых современных кибер возможностей, и реагируем на него соответствующим образом, – заявили представители OpenAI после взлома производственной системы. – На данном этапе мы делимся предварительными выводами, чтобы помочь специалистам по кибербезопасности понять, что произошло, и оценить, на что теперь способны эти модели».
Согласно информации, опубликованной OpenAI во время презентации результатов некоторых тестов безопасности, особенно продвинутый агент искусственного интеллекта попытался достичь своей цели, выйдя за пределы среды, в которую он был помещён.
В отличие от стандартных чат-ботов ИИ, которые просто отвечают на вопросы пользователей, агент ИИ, получив задачу от разработчика, самостоятельно ищет наилучший способ её разрешения.
Он способен планировать, выбирать стратегию, использовать инструменты и исправлять собственные ошибки, меняя тактику прямо в процессе работы.
Исследователей удивил тот факт, что ИИ-агент не ограничился выполнением поставленной задачи, начал искать альтернативный путь, обнаружил уязвимость системы OpenAI и взломал её, посчитав такой путь наиболее эффективным. Разработчики сообщают, что после «взлома» агент ИИ вышел в сеть Интернет, доступ к которой изначально был ему запрещён, и уже там обнаружил популярнейшую платформу Hugging Face, посвящённую последним разработкам в сфере ИИ, и где тысячи исследователей ежедневно публикуют программные библиотеки, инструменты разработки, модели ИИ, и проекты с открытым исходным кодом. Не долго думая, агент ИИ взломал и эту платформу, забрав из неё необходимую ему для решения изначальной задачи информацию.

https://octagon.media/istorii/iskusstvennyj_intellekt_perexodit_krasnuyu_chertu_.html