🔥Сегодня вышла просто гигантская модель Falcon 180B!

Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.

Параметры модели Falcon-180B:
- 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B.
- Контекст 2048 токенов (но можно расширить с попощью RoPE scaling)
- Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker.
- Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов.
- Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров.
- Есть базовая и чатовая версии.

Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).

Лицензия позволяет очень ограниченное коммерческое использование.

❱❱ Веса и код доступны на HuggingFace HUB.
❱❱ Демо (жестко педалит).

@ai_newz