Новый метод повышения надежности генерации запросов для работы с данными

Исследователи группы «Прикладное NLP» AIRI усовершенствовали работу языковых моделей для генерации SQL-запросов, создав систему, которая помогает точнее создавать запросы к базам данных c помощью больших языковых моделей, а также оценивать собственную уверенность в корректности результата.

Чтобы нетехнические специалисты могли доверять такой модели, были разработаны 2 техники — внешний классификатор и оценка калиброванности. Внешний классификатор работает как автоматический фильтр, принимая решение о выдаче запроса пользователю на основе оценки уверенности модели. Для оценки уверенности моделей в своих решениях исследователи применили энтропийные методы, анализирующие распределение вероятностей выходных данных. Они не требуют значительных вычислительных ресурсов, что делает их удобными для интеграции в реальные системы.

В задаче генерации SQL-запросов энтропийная оценка позволяет определять, насколько можно доверять сгенерированному запросу, снижая риск ошибок в критически важных процессах, таких как анализ медицинских данных или управление бизнес-аналитикой. В ходе испытаний методика позволила выявлять до 90% ошибок при генерации SQL-запросов, значительно уменьшая вероятность получить некорректные результаты.

Научная статья | GitHub