«Сбер» представил бенчмарк медицинский бенчмарк и стандарт для создания AI-агентов

После медицинского банкомата и нового цифрового ассистента, «Сбер» представил заключительные инновации:

Бенчмарк 3MDBench моделирует консультации между врачом и пациентом на основе жалоб, снимков и характера пациента, с автоматической оценкой качества.

Фреймворк Maestro, разработанный совместно с AIRI Об этом эксперты рассказали в ходе международной конференции AI Journey («Путешествие в мир искусственного интеллекта»).

В первом случае взаимодействуют два виртуальных агента, каждый из которых управляется большой языковой или мультимодальной моделью искусственного интеллекта (AI). Один агент действует как врач, а другой как пациент — по итогу их взаимодействия определяется эффективность работы ИИ.

Особенность фреймворка же в том, что собранные на его основе агенты могут бесшовно взаимодействовать друг с другом, помогая человеку решать широкий спектр задач в режиме одного окна. Он уже протестирован на продуктах «Сбера» и компаний-партнёров.

Бенчмарк 3MDBench включает 3 тыс. случаев с 34 диагнозами, мультиагентная симуляция с персонализированными пациентами обеспечивает более реалистичную и содержательную оценку моделей.

Медкарта