Microsoft опубликовали подробнейший тех-репорт о том, как они тренировали свою новую фронтир LLM с ризонингом.

На арене ее вроде пока нет, но чтиво все равно интересное. Давно таких подробных репортов с техническими деталями никто из Биг Техов не выпускал.

MAI-Thinking-1 - это 35B active / 1T total parameter MoE.

256k token window (влазит 600-страничный документ)

Тренили ее на кластере с 8000 GB200.

Упор делали больше на данные и рецепт тренировки, нежели на новшевства в архитектуре.

В опенсорс не кладут, но дадут API для файнтюна.

Блогпост
Тех-репорт

@ai_newz