Когда используешь внешнее решение на базе ИИ, часто кажется, что уж его поставщик-то знает, как его безопасность выстроить и как вообще сделать ИИ более предсказуемым и надежным. Но увы, это не всегда так. Например, вам российский поставщик SIEM говорит, что он реализовал Copilot для помощи в расследовании, но на вопрос о том, какая ИИ-модель под капотом, он молчит. А потом выясняется, что там ChatGPT или Claude, американские модели в российском решении, используемом в госухе и в КИИ ...

Или он говорит вам, что он продвинутый и использует в своем SOC, допустим, Mythos или GPT-Cyber. А дальше мы вспоминаем кейс OpenAI vs HuggingFace и понимаем, что использование таких моделей – это скорее минус, чем плюс, так как там дохрена ограничений именно по ИБ-части. Или другой пример – упоминается Qwen, но не говорится какая именно; а их десятки разных и, как следствие, с разным качеством работы.

И таких красных флагов может быть немало. Ниже некоторые из них... В целом, практика публикования системных карточек для ИИ-моделей достаточно хороша, чтобы не требовать такого же от поставщиков ИБ-решений. Если он берет готовую модель и не занимается fine-tuning, то можно просто сослаться на карточку основной модели. Но если модель дообучена под задачи ИБ, неплохо бы свою карту целиком выкладывать, чтобы было понятно, чего ждать (и чего не ждать) от предлагаемого решения

#ии