Microsoft выпустила open-source инструменты для безопасной разработки ИИ-агентов

Microsoft открыла два инструмента - RAMPART и Clarity Agent. Оба инструмента Microsoft опубликованы под MIT License и возможны для коммерческого использования.

RAMPART - фреймворк для редтиминга ИИ-агентов

Это что-то вроде pytest (самый популярный фреймворк для тестирования на Python) для проверки агентных систем.

Что умеет:
- тестировать prompt injection и cross-prompt injection, когда вредная инструкция спрятана не в запросе пользователя, а в документе, письме или файле;
- проверять, вызвал ли агент опасный инструмент: отправил письмо, выполнил команду, сделал внешний запрос;
- запускать один и тот же тест много раз, потому что LLM ведут себя вероятностно;
- встраиваться в CI/CD, чтобы агент не попадал в прод без прохождения safety-тестов.

Ссылка на github

Clarity Agent - “адвокат дьявола” во время постановки задачи

Этот инструмент помогает команде ещё на старте проекта проверить:
- правильно ли сформулирована задача;
- какие есть архитектурные допущения;
- где возможны сбои;
- какие решения уже приняты и почему;
- что устареет, если изменятся требования.

Итог сохраняется в markdown-файлах, которые можно коммитить в git и ревьюить как обычную документацию.

Ссылка на github

Почему это важно

ИИ-агенты опасны не только тем, что могут «сказать не то». Они могут сделать не то: вызвать инструмент, отправить данные, изменить файл, запустить процесс.

Поэтому вокруг них нужна новая дисциплина - AgentSecOps: безопасная разработка, тестирование и эксплуатация ИИ-агентов.

#кибербез

ген ии | MAX