Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

Предсказание токенов и сжатие данных математически тождественны. Если смотреть на языковые модели как на lossy-кодеки, всё встаёт на свои места. Модель упаковывает терабайты датасетов в гигабайты весов, и при таком сжатии потери информации неизбежны.

Точные факты стираются первыми, как мелкие детали на пережатом JPEG. Наткнувшись на пробел, декодер просто достраивает правдоподобный фрагмент. Эту фундаментальную проблему не решить без внедрения RAG или бесконечного наращивания параметров.

Проанализируем математику этого процесса.