Годовая экономия «Яндекса» от оптимизации обучения нейросетей составит 4,8 млрд рублей или в среднем 400 млн в месяц. Ключевым решением стала разработанная компанией библиотека YCCL. Она позволила вдвое ускорить обмен данными между графическими процессорами, снизить объем передаваемых данных и перенести управление с графических на центральные процессоры.

Дополнительные улучшения дал переход на FP8 – формат с пониженной точностью вычислений, позволяющий быстрее обучать нейросети и тратить на это меньше ресурсов.