30 лет мучений с хромакеем. Решено

Мы в редакции обожаем такие применения для нейросетей. Зелёный экран — главный инструмент кинематографа. В теории всё просто: снял на зелёном, нажал кнопку, фон исчез. На практике... Нико из YouTube-канала Corridor Crew за два сезона их сериала Son of a Dungeon вытянул около 500 хромакейных кадров. Вручную. Подбирая оттенки зелёного пиксель за пикселем. По его словам, этот процесс «стоит кусочка души».

Волосы это кошмар. Размытие в движении — кошмар. Отражения на металле превращаются в зелёную кашу. А полупрозрачные объекты? Если снять красный гель на зелёном фоне, камера видит фиолетовый пиксель. Вырезаешь фон — пиксель остаётся фиолетовым, хотя он красный и полупрозрачный. Ни один существующий инструмент не умеет «размешать» цвет обратно. ИИ-ротоскоп вырежет силуэт — да. Но разделить смешанные цвета он не сможет.

И вот самое обидное: с 90-х годов инструменты для хромакея принципиально не изменились. Те же ползунки, тот же подбор оттенков. Нико начал работать с ними ещё в старших классах школы. Когда он рассказал про свою идею главному VFX-супервайзеру Weta FX (ответственные за Аватара), тот ответил: «Удачи. Мы в Weta пытаемся сделать то же самое уже годами».

Нико всё равно попробовал. Идея — обучить нейросеть на синтетических данных. Команда процедурно сгенерировала тысячи 3D-сцен в Houdini и Blender: случайные объекты, материалы, причёски, освещение. Для каждой сцены — рендер на зелёном фоне и идеальный вырез с альфа-каналом. Нейросеть получала задачу и правильный ответ одновременно.

Хитрый трюк: при проверке модель тестировала свой результат не только на зелёном, но и на случайных цветных фонах и на сером. Любой остаточный зелёный пиксель мгновенно бросался в глаза. Это заставило сеть научиться по-настоящему разделять цвета.

Когда Нико показал результат команде — те не поверили. Он воспроизвёл тестовые шоты, и коллеги несколько минут не могли понять, что смотрят на композитинг, а не на оригинальное видео. Кольчуга, меч, стекло, размытие — всё чисто. Один из художников назвал это лучшим кеем за всю историю студии.

Проект называется Corridor Key — код на GitHub, причём любой бесплатно может его использовать!

@droidergram