Что такое RAG и как его используют с LLM?

Объясняем сложное простыми словами

Про RAG слышали, кажется, все. Многие им даже пользуются, когда подгружают свои файлы в ИИ, а что происходит внутри - представляют смутно.

Представь нейросеть своим сотрудником

Умный и начитанный. Но про твою компанию не знает ничего: ни договоров, ни регламентов, ни того, как у вас принято отвечать клиентам. Спрашиваешь его про внутренний процесс, и получаешь красивый ответ мимо кассы.

Хочется просто отдать ему все документы

Только их 10 000 страниц, и целиком они в голову не помещаются: чем больше грузишь в контекст, тем дороже и медленнее выходит каждый ответ.

Поэтому документы заранее режутся на маленькие кусочки, и каждый кусочек помнит, из какого он файла. Когда приходит вопрос, система пробегает по кусочкам и достаёт несколько подходящих. Так работает поиск (retrieval).

Дальше сотрудник читает вопрос вместе с найденными кусочками и отвечает уже по ним. Это и есть генерация (generation).

Retrieval-Augmented Generation - из этих слов собрано название. Генерация, дополненная поиском.

Генерация при этом строится на твоих документах. RAG ничего не выдумывает и снижает галлюцинации в ответах.

Как вам такой формат?

AI Practiq

#гайды