DiffusionGemma

Google релизнули дифузионную версию геммы 26BA4B. Модель в 4 раза быстрее при таком же количестве параметров — на H100 она выдаёт 1000 токенов в секунду, а на RTX 5090 очень неплохие 700. Качество падает по сравнению с авторегрессионной моделью, но тренировать текстовую диффузию всё ещё учатся, это не удивительно. Приятно видеть что работа над диффузией для ллм не останавливается, а то демка Gemini Diffusion год назад в релиз так и не ушла.

Веса
Блогпост

@ai_newz