Google выкатил Gemma 2

Как и обещали на Google I/O, модель вышла в июне. Выпускают два размера: 9 и 27 миллиардов параметров. Обе достаточно маленькие, так что их можно запустить дома на одной геймерской видяхе. Показывают себя на бенчах они хорошо: 9B обгоняет LLaMa 3 8B, будучи не сильно больше, а 27B подбирается по качеству к Mixtral 8x22B.

27B версию тренили на 13 триллионах токенов, а вот 9B лишь на 8, но там дистиллировали из модели побольше.

Модель последние два дня тестили на арене, под названием im-also-a-late-june-chatbot. Пока говорить что-то рано, разброс слишком большой, но вроде вышло неплохо. Лишь бы не было кучи проблем, как было с оригинальной Gemma.

Веса
Блогпост
Техрепорт

@ai_newz