gonzo-обзоры ML статей
@gonzo_ML
Google зарелизил опен-сорсные LLM (или скорее даже SLM) под названием Gemma!
https://blog.google/technology/developers/gemma-open-models/
Выложены модели 2B и 7B, для каждой есть обычная pretrained версия и instruction-tuned. Обучены на 2T и 6T токенов соответственно. Без фокуса на мультимодальность и мультиязычность.
Более-менее обычный декодер трансформера, контекст размером 8192 токена. Токенизатор SentencePiece, словарь 256k.
Коммерческое использование независимо от размера организации разрешено.
По бенчмаркам бьют соразмерные (и следующие) LLaMa 2.
Сразу заготовлена куча тулинга: ноутбуки, HF (https://huggingface.co/blog/gemma/) и прочее.
Репорт: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
https://blog.google/technology/developers/gemma-open-models/
Выложены модели 2B и 7B, для каждой есть обычная pretrained версия и instruction-tuned. Обучены на 2T и 6T токенов соответственно. Без фокуса на мультимодальность и мультиязычность.
Более-менее обычный декодер трансформера, контекст размером 8192 токена. Токенизатор SentencePiece, словарь 256k.
Коммерческое использование независимо от размера организации разрешено.
По бенчмаркам бьют соразмерные (и следующие) LLaMa 2.
Сразу заготовлена куча тулинга: ноутбуки, HF (https://huggingface.co/blog/gemma/) и прочее.
Репорт: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
Google
Gemma: Introducing new state-of-the-art open models
Gemma is a family of lightweight, state-of-the art open models built from the same research and technology used to create the Gemini models.
❤🔥 8
👍 7
❤ 3
6 114 5.4K
Обсуждение 6
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram