Так, например, ведущий разработчик проекта curl Дэниэл Стенберг получил возможность проверить Mythos на практике при содействии проекта Alpha Omega от организации Linux Foundation. Анализ проводил сторонний специалист. Он просканировал основную ветку репозитория curl объемом 178 000 строк кода и передал готовый отчет автору утилиты. Команда curl имеет богатый опыт работы с подобными системами. Разработчики ранее использовали ИИ-модели AISLE, Zeropath и Codex Security от OpenAI. За последние 10 месяцев эти анализаторы помогли обнаружить и исправить от 200 до 300 ошибок. Они также позволили закрыть около 12 официальных уязвимостей.

Отчет Mythos изначально содержал 5 подтвержденных уязвимостей. Команда безопасности curl детально проанализировала каждую из них. Эксперты признали 3 проблемы ложными срабатываниями. Еще 1 находку классифицировали как обычный программный дефект. Лишь 1 угроза оказалась реальной уязвимостью низкого уровня серьезности.

О чём говорят результаты? Дэниэл Стенберг считает слухи о "невероятной опасности" Mythos маркетинговым ходом Anthropic. ИИшка работает качественно и выдает точные описания проблем. При этом она выявляет только известные классы программных дефектов и не демонстрирует радикального превосходства над другими актуальными анализаторами кода.

💊Отсутствие «волшебной таблетки»:

Представители XBOW утверждают, что это не магия. Модель представляет собой мозг без тела. ИИ-модель отлично читает исходный код и генерирует зацепки, однако без платформы для тестирования на живых серверах это лишь теория.

Стенберг подтверждает данную мысль со своей стороны. ИИ-модель подсвечивает проблему, но она не может самостоятельно ее полноценно интегрировать, протестировать и выкатить в продакшен. Система находит программный дефект, при этом тяжелая работа по его устранению полностью ложится на плечи людей.

Аналитики XBOW в своих бенчмарках выяснили факт проблем с «суждением» у Mythos. ИИ-модель бывает слишком буквальной, консервативной и часто переоценивает практическую значимость своих находок.

Дэниэл Стенберг и комментаторы в его блоге подтверждают аналогичную позицию. Разработчикам приходится тратить массу времени на фильтрацию отчетов. ИИ-модель пока не обладает глубоким контекстным пониманием.

XBOW отмечает скрытность многих уязвимостей при «простом взгляде на код», о чем говорил Гари Макгроу. Проблемы возникают в конфигурациях, деплое и связках зависимостей на живом сервере. При этом ИИ-модель сильна именно в чтении статичного кода.

Стенберг фокусируется на проекте curl, который представляет собой сложную сетевую библиотеку. Успех ИИ-модели в поиске логической ошибки в коде совершенно не означает легкость ее эксплуатации в реальном мире. Пентестерам XBOW нужна реальная эксплуатация. Мейнтейнерам требуется понимание критичности программного дефекта.

Резюмируя позиции обеих сторон, можно отметить явное разделение мнений между специалистами по наступательной и оборонительной кибербезопасности. Пентестеры из компании XBOW высоко оценивают аналитические способности новой ИИ-модели при статичном аудите кода. Они видят в ней мощный инструмент поиска уязвимостей, которому не хватает лишь практической среды для автоматизированного тестирования эксплойтов. В противовес им мейнтейнеры во главе с ведущим разработчиком curl Дэниэлом Стенбергом испытывают смешанные чувства из-за огромного потока сгенерированных отчетов, которые приходится разгребать вручную. Разработчики признают общую пользу. Главные жалобы на отсутствие у ИИ-модели глубокого контекстного понимания и необходимость тратить массу времени на ручную фильтрацию ложных срабатываний. Перспектива волшебного искоренения багов и уязвимостей с помощью данной ИИ-модели в ближайшем будущем остается крайне маловероятной.

@Russian_OSINT