COSO: Achieving Effective Internal Control Over Generative AI
Достижение эффективного внутреннего контроля над генеративным ИИ
Стандарт опубликован в 2026 году и является расширением COSO Internal Control — Integrated Framework (ICIF) применительно к технологиям генеративного ИИ. Документ адаптировал существующие 5 компонентов и 17 принципов COSO (2013) к специфике GenAI, добавив практические инструменты: метрики, шаблоны рисков, примеры контроля и дорожную карту.
Давайте разберемся, почему GenAI требует особого подхода?
Потому что традиционный ИТ-контроль не покрывает уникальные риски GenAI:
▫️Галлюцинации — ИИ выдает правдоподобный, но фактически неверный ответ.
▫️Инъекции промптов — злоумышленник через входные данные заставляет ИИ выполнить нежелательные действия.
▫️Дрейф модели — качество падает со временем из-за изменения данных или поведения вендора.
▫️Теневой ИИ — сотрудники используют неподконтрольные ИИ-инструменты.
▫️Безопасность — случаются утечки данных через интерфейсы чата или RAG-коннекторы.
▫️Предвзятость — выявляется дискриминация из-за обучающих данных.
Вариант дорожной карты внедрения СВК над использованием GenAI согласно стандарту COSO «Achieving Effective Internal Control Over Generative AI»:
Шаг 1. Установить структуру управления ИИ
Создать комитет, в который войдут юристы, комплаенс-менеджеры, ИТ-специалисты и представители бизнеса.
Назначить владельцев каждого сценария использования (use case).
Шаг 2. Провести инвентаризацию сценариев
Выполнять периодические сканы на теневой ИИ.
Классифицировать ошибки по типам: каждый тип требует своих контрольных действий. Ошибки в извлечении данных исправляются одним способом, а дрейф модели прогнозирования — другим.
Шаг 3. Выполнить оценку рисков по компонентам COSO
Использовать сценарии «Что если?»
Сформировать реестр рисков, обновляемый при изменениях: сменилась версия модели, поменялся поставщик, обнаружен новый тип уязвимости, произошел инцидент и т.п. Реестр рисков для GenAI должен обновляться в течение дней или даже часов после произошедших изменений.
Шаг 4. Организоватьконтроль
Создать правила выбора типа контрольных действий в зависимости от риска: превентивные, детективные, корректирующие. Например, контроль «порог уверенности» часто бесполезен против галлюцинаций — модель может быть очень уверена в выдумке. Контроль «цитирование» не нужен для извлечения данных.
Разработать метрики эффективности. Например, для запрета в промптах PII (Personally Identifiable Information) – количество заблокированных запросов в месяц/ количество инцидентов утечки. Для откат при дрейфе модели – время от обнаружения дрейфа до отката менее 2 часов.
Шаг 5. Внедрение и коммуникация
Провести обучение.
Организовать управление изменениями для контроля ИИ.
Шаг 6. Мониторинг и адаптация
Организовать мониторинг валидации вендорских апдейтов.
Составлять ежеквартальные отчеты.
А вы уже взяли ИИ под контроль?
- 💯 — уверен, что всё контролирую
- 👌🏻 — контролирую время от времени
- 🤓 — полностью доверяю ИИ (и зря 😉)
❤1
👌1
2 107
Обсуждение
0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
MGIMO: Risk and Insurance Department: Students, Alumni, Lecturers, specialists interested in news, events, cooperation in the field of risk management and insurance
Обсуждение 0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram