Как ускоряют инференс LLM в character.ai. LLM компании обрабатывают 20 тысяч запросов в секунду, так что задача непростая.

Уменьшение KV Cache:
➖85% слоёв используют только Local Attention, вместо обычного (первая картинка). Это сильно уменьшает размер кэша, особенно для длинных контекстов. Этот же подход используется в Gemini и Gemma 2. А ещё он напоминает Jamba, там тоже "тяжёлый" attention использовали только для некоторых слоёв.
➖Используют Multi-Query Attention, вместо доминирующего сейчас Group Query Attention, это позволяет уменьшить размер кэша в восемь раз по сравнению с индустриальным стандартом, но с сильными просадками в качестве.
➖KV Cache шерится между слоями (статья).

Это уменьшает размер KV Cache более чем в 20 раз, что делает возможным хранение кэша:
➖На одну машину влезает KV Cache тысяч пользователей
➖Сегментирование KV Cache для каждого сообщения (вторая картинка) - позволяет продолжить разговор с любого момента без перегенерации кэша
➖Чтобы сохранение кэша работало используются Sticky Sessions - пользователей пытаются кидать на серверы где уже сохранён их KV Cache. Выходит с эффективностью более чем 95%.

И инференс и тренировка происходят в int8 , об этом они обещают написать ещё один пост.

Из-за этих оптимизаций стоимость инференса для стартапа упала за полтора года в 33 раза, в 13 раз дешевле чем у ближайших конкурентов.

Character ai - это стартап предоставляющий услуги "ИИ вайфу", подробнее я писал вчера тут и тут. Основан Noam Shazeer, одним из авторов трансформера. Он приложил руку ко многим инновациям в LLM за последние 7 лет (MoE, MQA, T5). Кстати из-за него трансформеры чуть не назвали CargoNet, благо не прижилось.

В общем, это не просто очередная обертка над API от OpenaI, тут челы реально разрабатывают свои модели и ускоряют их сами, что заслуживает большого репекта.

Блогпост

@ai_newz