Почему ИИ не может написать длинный текст

На днях получили от подписчика закономерный вопрос – если компании заявляют, что их языковая модель может удерживать в памяти сразу всю „Войну и мир“, то почему ChatGPT не может написать не то что роман Толстого, но хотя бы текст на двадцать тысяч знаков?

Потому что, как вы могли догадаться, подобные заявления не более чем маркетинг. Они отсылают нас к тому самому волшебному «до» в объявлении «скидки до 250%». Реальность же куда прозаичнее.

Технически модели действительно могут держать в памяти «Войну и мир», контекстное окно в миллион-два токенов позволяет. Но есть нюанс: это общее количество на вход и выход. Окно быстро забивается историей чата, системными инструкциями, цепочкой рассуждений, вызовами инструментов/коннекторов, файлами и т. д.

Поэтому если скопировать текст «Войны и мир» в чат и попросить переписать на языке зумеров, то на ответ уже ресурсов не останется. Именно поэтому важно каждый раз начинать новый чат. Но это в теории – на практике даже вставить текст романа в чат не получится из-за технических ограничений.

Интерфейсы специально ограничивают длину контекстного окна. Она разная у разных сервисов. Если на вход дают более щедрые лимиты, то на длину ответа ИИ обычно ограничения от 8 до 64 тысяч токенов. Причина простая: вычисления растут нелинейно, и каждая следующая тысяча слов стоит заметно дороже предыдущей. Компания без жёстких лимитов сжигала бы деньги быстрее, чем страны успевают их печатать. И даже если дать печатный станок Альтману, ситуация вряд ли изменится.

Тут можно сказать: «Как же так? Можно без проблем загрузить pdf с длинным романом и попросить ChatGPT пересказать». Всё правильно – компании научились работать с большими файлами через RAG. Они делают эмбеддинги загруженных пользователем файлов, преобразуют в векторные базы данных и подгружают нужный фрагмент, исходя из контекста запроса пользователя. Для повторных и похожих запросов используется кэширование. Но это не более чем костыли и надстройки, хотя и очень удобные – реально LLM массовой аудитории пока контекст в 2 миллиона токенов не предоставляют.

«LLM с контекстом в триллион токенов, которая помнит всю вашу жизнь» уже занимает умы CEO ИИ-компаний, но пока остаётся несбыточной мечтой. И одним из основных бутылочных горлышек на пути развития ИИ.