Self-Adapting Language Models



Тут авторы придумывают что надо на лету генерировать синтетику по вопросам + ответами, оценивать через более умную модель/gt и потом рлится на этом. Авторы репортят что такая дистиляция позволяет докинуть метрик к QA

https://jyopari.github.io/posts/seal
https://github.com/Continual-Intelligence