Тэкс, свежий дроп - Mixtral-8x22B!

Mistral как обычно в своем стиле, тупо оставили magnet-ссылку на торрент с весами своей новой модели. Вот знатные троли.

Новая модель это Mixture of Experts Mixtral-8x22B:
- Размер модели 262 GB (я так понимаю веса в fp16)
- 8 экспертов / 2 активных
- В сумме 141 B параметров / активных 39B
- 56 слоев, hidden_dim=16384, 48 attention голов
- Размер контекста 65536 токенов.

Обстановочка в гонке моделей накаляется с каждым днем. Кажется, Command R+ могут подвинуть на лидерборде! Weclome to ARENA!

@ai_newz