Российские учёные придумали, как избавить нейросети от «галлюцинаций»

Галлюцинации нейросетей — это когда модель уверенно выдаёт несуществующий факт, выдуманную цитату или ложную дату. Выглядит убедительно, проверить сложно. Команда из Университета Решетнева (Красноярск) создала методику, которая позволяет с этим бороться.

Сначала исследователи классифицировали типовые сценарии галлюцинаций — то есть разобрались, в каких ситуациях нейросеть врёт чаще всего: опечатки в запросе, противоречия в формулировке, неполнота базы данных. Затем создали автоматизированный пайплайн стресс-тестирования: система сама генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность.

Главный результат — прототип модуля мониторинга в режиме реального времени. Он логирует все входящие запросы, оценивает риск недостоверного ответа и присваивает модели балл уверенности. Если балл низкий или ответ выглядит ненадёжным — модуль сигнализирует оператору.

Важно: методика не привязана к конкретной нейросети. Её можно внедрить куда угодно — в чат-бот для абитуриентов, сервисы «Госуслуг», медицинские и юридические помощники.

Нейросеть теперь сама сигнализирует — «я не уверена». Это меняет правила работы с ИИ в чувствительных сферах, где цена ошибки высока.

💙АНО РТИИ в Мах