Сбербанк пересаживает GigaChat на китайские рельсы

На полях визита в КНР, единственный искренний евангелист ИИ — Герман Оскарович подтвердил то, что нам не раз говорили собеседники на рынке: Сбербанк рассчитывает закрыть потребности в «железе» для GigaChat за счет китайских ускорителей.

Тут важно понимать контекст. После того как лавочку с NVIDIA прикрыли официально, а «серый» импорт перестал вывозить нужные объемы для обучения моделей такого масштаба, у Сбера осталось не так много опций.

Но есть, конечно, нюансы, куда ж без них:

Сберу придется встать в очередь за чипами (неважно, речь о Huawei Ascend 950 или решениях от Moore Threads/Biren) вместе с китайскими гигантами. Проблема в том, что ByteDance, Tencent, Baidu, Alibaba (и ещё куча компаний) выгребают всё, что сходит с конвейеров SMIC, еще до того, как чипы упакуют в ускорители.

Переезд на китайское железо — это не просто «вставил и забыл». Это неизбежная боль с софтом (хотя некоторые китайцы тоже обещают работу с CUDA-кодом). Если в экосистеме CUDA всё отлажено годами, то с китайскими SDK ML-инженерам Сбера придется потрахаться заново пересобирать пайплайны. Ну и забыть про такую же плотность вычислений, хотя тут страдать будут инженеры в ЦОДах.

Тот же Ascend 950, на который многие делают ставку, формально тягается с топовыми решениями NVIDIA прошлых поколений, но в реальных задачах инференса и обучения всё упирается в пропускную способность памяти, интерконнект, а также возможность софта утилизировать бумажные флопсы.

Сбер пытается сохранить темп в гонке LLM, но теперь успех GigaChat зависит не столько от таланта дата-сайентистов, сколько от гибкости логистических цепочек и способности инженеров выжимать максимум из "китайцев".

Впрочем, выбор невелик: либо строить свои кластеры на том, что дают товарищи из КПК, либо переходить к «инициализации весами». 😏

@anti_agi