Movie Gen: A Cast of Media Foundation Models

Мы наконец выкатили нашу 30B модель для генерации видео! И я очень рад, что являюсь одним из контрибьютеров в этот грандиозный проект.

Bye-bye SORA. Movie Gen – это новая SOTA в генерации видео по тексту!

Модель генерит 16-секундные видео в 1080p, 16FPS.

Общая длина контекста - 73к видео токенов (256 кадров).

Выкатываем ещё:
- 13B модель для генерации видео одновременно со звуком в 48kHz.
- И ещё тюны для редактирования видео и генерации персонализированных видосов с вашим лицом по заданному фото.

В статье мы описываем много новых штук по части архитектуры, рецептов тренировки больших видео-моделей, параллелизации, увеличения скорости инференса, оценки качества, курирования данных и других трюков. В статье очень много деталей!

Сайт
Блогпост
Подробная статья (92 стр)

Скоро ждите ещё дополнительный пост с разбором.

@ai_newz