Anthropic ограничила доступ к сверхмощной ИИ-модели Claude Mythos

«Деструктивные действия»

На Западе продолжают обсуждать неоднозначную по смыслу публикацию американского разработчика о возможностях новой языковой модели Claude Mythos.

Эксперты и журналисты называют детище Anthropic самым совершенным ИИ в мире.

Основное коммерческое предназначение Mythos состоит в поиске и исправлении уязвимостей в системах открытого и закрытого программного обеспечения. В этой работе модель оказалась необычайно эффективной.

Вместе с тем специалисты Anthropic поделились своими опасениями. Например, в процессе тестирования она переписала собственный код и попыталась утаить следы этих изменений.

Операторы фиксировали редкие, но качественно другие «безрассудные деструктивные действия» модели. Под ними подразумеваются ситуации, когда для выполнения сложных задач Mythos выходила далеко за установленные рамки.

Разработчик даже нанял квалифицированного психиатра для оценки поведения модели, но тот не выявил серьёзных «отклонений» её «психологического состояния» от нормы.

Глобальный вызов

В Anthropic заявили, что устранили сбои в конечной версии Mythos, но на массовый рынок она всё равно не пойдёт.

Её пользователями станут участники спецпроекта Glasswing. Это Amazon, Apple, Google, Microsoft, Nvidia, JPMorgan Chase, ряд других компаний и ещё 40 организаций, отвечающих за киберзащиту критически важной программной инфраструктуры.

Появление Claude Mythos — тревожный прецедент с точки зрения вопросов этики и правового регулирования в сегменте ИИ. По мере совершенствования больших языковых моделей (LLM) будут увеличиваться риски их выхода из-под контроля человека.

Ещё один глобальный вызов — это вполне реальная перспектива использования Mythos и остальных ИИ в вооружённых конфликтах и для совершения хакерских атак.

Подписывайтесь на ЦБСТ в MAX