Runway Act-Two - mocap + нейронный рендеринг

Пока мы не научились полностью контролировать действия персонажа и делать качественный липсинк, у актёров всё ещё есть работа.

Runway анонсировали Act-Two — прямого наследника первой версии, но теперь с улучшенным трекингом лица и новой фичей — трекингом движений и рук. Полноценный AI-мокап. Не показали только ноги — кажется все туловище еще не завезли?

Выглядит очень добротно. На вход принимает видео с актёром и референсную картинку или видео.
Вроде бы ничего сложного, похоже на обычный video-to-video, где на вход идут токены видео актера, а рядом подаются токены референсного персонажа - для переноса внешности. Нужно только хороший датасет насобирать :)

Генерит до 30 сек в 1MP разрешении, 24 fps. Не очень много, но достаточтно чтобы склеивать клипы. 1 секунда — 5 токенов ~ $0,09.

Дипфейки вышли на новый уровень.

Анонс

@ai_newz