Методические рекомендации по безопасному ИИ: что осталось за рамками?

Вчера я написал пост про то, что Банк России выпустил методические рекомендации по безопасному применению ИИ для финансовых организаций.

На мой взгляд, документ получился правильным: он переводит разговор о защите ИИ в практическую плоскость специфических рисков, операционной надежности, угроз, поставщиков, проверки open source компонент и контроля на всех этапах жизненного цикла.

Но есть несколько тем, которые, кажется, пока остались за рамками. И именно они будут критичны для промышленного внедрения ИИ в банках и финтехе.

Что не попало в документ?

Нет полноценного описания риск-ориентированного применения ИИ

В документе говорится о рисках и пропорциональности мер, но нет простой матрицы критичности: low / medium / high / critical.

А она нужна.

Внутренний ассистент для поиска по базе знаний, скоринговая модель, антифрод, робот в контакт-центре и ИИ-агент, который может запускать действия в банковских системах - это разные классы риска.

Для каждого уровня должны быть свои обязательные требования: человек в контуре, журналирование, red team, ограничения автономных действий, согласование с рисками, регулярная переоценка.

Недостаточно раскрыта тема ИИ-агентов и мультиагентных систем

Рекомендации упоминают агентов, плагины и интерфейсы при учете open-source компонентов. Но агентная архитектура заслуживает отдельного раздела.

У ИИ-агентов другая поверхность атаки: память, инструменты, права доступа, цепочки действий, вызовы API, подключение к корпоративным системам, автономное планирование.

Международная практика уже выделяет избыточную автономность LLM-систем (excessive agency по OWASP) как отдельный риск. Это ситуация, когда модели дают слишком много прав на действия без достаточных ограничений, проверок и контроля.

Для банков это особенно важно: ассистент, который умеет только подсказать, и агент, который может инициировать и произвести операцию - это, как говорят в Одессе, две большие разницы.

Нет модели зрелости ИБ

Документ говорит, что нужно делать, но не помогает организации понять, где она находится сейчас:

- хаотичное использование ИИ сотрудниками?
- пилоты под контролем ИБ?
- масштабирование технологий в промышленном контуре?
- зрелое управление и постоянные улучшение?
- непрерывный мониторинг качества и red team?

Например, ISO/IEC 42001 описывает AI management system как систему для установления, внедрения, поддержания и постоянного улучшения управления ИИ в организации. Такой рамки зрелости в рекомендациях Банка России пока не хватает.

Мой вывод: документ Банка России - хороший фундамент для защиты ИИ. Но следующий слой должен быть шире: управление ИИ + защита ИИ + риск-менеджмент ИИ.

#кибербез

ген ии | MAX