Помните я писал про NOVA – язык описания вредоносных промптов для LLM. Этакая YARA или SIGMA, но для обнаружения вредоносных запросов к системам на базе генеративного ИИ. А как ловить атаки на ИИ-агенты? Есть ли что-то похожее для них? Оказывается есть – это ATR (Agent Threat Rules), формат правил для обнаружения угроз, направленных на агентские решения на базе ИИ (увидел ссылку на него у Артема).

Сейчас в базе 427 правила, которые разбиты по категориям: Prompt Injection (тут возможны пересечения с NOVA), Agent Manipulation, Context Exfiltration, Skill Compromise, Tool Poisoning, Model-Level, Privilege Escalation, Excessive Autonomy. Ищутся эти угрозы в SKILL.md, описаниях MCP-инструментов и скиллах из маркетплейсов.

Проект выглядит вполне себе многообещающе и уже сейчас поддерживается в Cisco AI Defense и Microsoft Agent Governance Toolkit. ATR покрывает и существующие стандарты в области безопасности ИИ. В частности, полное покрытие модели угроз OWASP Agentic Top10, 8 из 10 угроз в OWASP Agentic Skills Top10, 78 из 85 техник SAFE-MCP (OpenSSF), ссылки на MITRE ATLAS (SIGMA для ATT&CK, ATR для ATLAS).

ЗЫ. Обновлю свою презентацию по обнаружению атак на ИИ.

ЗЗЫ. А чтобы агенты изначально были более защищенные, рекомендую скилл security-policy-generator, написанный моим коллегой Володей Кочетковым, который (скилл, а не Володя) позволяет создавать файл SECURITY.md, который включает не только разделы, рекомендуемые Github для повышения безопасности, но и модель угроз с правилами безопасного программирования, построенными относительно конкретного проекта со всей его спецификой.

#ии #обнаружениеугроз #soc #devsecops