У Сбера новая флагманская ИИ-модель

GigaChat ужали на 40% ради эффективности

Сбер выпустил в открытый доступ новую флагманскую модель GigaChat 3.5 Ultra. В отличие от прошлой Ultra-модели семейства GigaChat 3, новинка построена на гибридной архитектуре с линейным вниманием. Это значит, что она не перечитывает весь контекст заново с каждым новым словом, а один раз запоминает его в более компактном виде. За счёт этого скорость генерации длинных текстов, по заявлениям компании, выросла до четырёх раз, а нейросеть стала лучше справляться с программированием и агентными задачами. При этом число параметров существенно уменьшилось – с 702 до 432 миллиардов, то есть почти на 40%.

Уменьшение числа параметров подаётся как преимущество новой модели. Не спорим, на фоне дефицитных видеокарт и растущих затрат на электроэнергию это действительно может быть преимуществом – как минимум для самого Сбера, которому нужно всё это запускать и обучать. Не зря Герман Греф шутя жаловался президенту, что после затрат на ИИ денег не остаётся.

Но вот для пользователей это неочевидный плюс. Ведь для них важнее не то, сколько параметров сэкономил Сбер, а не стали ли ответы хуже. Например, у DeepSeek было два параллельных трека: и оптимизация инференса, и выпуск более крупных или более дешёвых вариантов модели. Тем не менее уже неплохо, если у команды получилось сделать модель компактнее и удешевить инференс, хотя бы сохранив качество ответов на прежнем уровне.