Делаем нейронный мэтч цветов дома - без интернета, регистрации и смс

Собрал портативку, которая мэтчит по цвету референсный кадр с шотом. Может пригодиться там, где автоматом не справляются Adobe Premiere и DaVinci Resolve.

Дальше идут техподробности, можно не читать.

Замечали, что модельки вообще не сильно дружат с цветом?
Генеришь видео по первому кадру - цвет плывёт. Генеришь видео со склейками - от шота к шоту цвет плывёт. Делаешь стилы - нет-нет да и не уследишь.

И потом на монтаже начинаются приключения: в Premiere автомэтч не помогает, а сторонние решения в среднем пытаются поправить картинку. Но «в среднем» - оно и есть в среднем. То цвет одежды уйдёт, хотя это фирменный цвет бренда, то цвет логотипа. Короче беда.

Поэтому решил найти себе помощника в опенсорсе.
Перебрал много вариантов, но большинство работает по принципу «ну в среднем похоже».

И наконец нашёл ColorFM.
Как я понял, эта штуковина отдельно сегментирует небо, траву, дорогу и прочие объекты, а потом мэтчит картинку уже с пониманием, что именно и куда переносить. Цвет с неба - на небо, с дороги - на дорогу. В онлайне можно поиграть тут.

Звучит круто, но код автор в репо не положил.
Поэтому я взял Claude подмышку, восстановил код по бумаге и написал нормальный интерфейс. Потому что Gradio - фу.

В процессе тестов выяснилось, что ColorFM отлично работает со всем, кроме людей. Сегментатор определяет человека целиком - вместе с кожей и одеждой - поэтому кожа иногда получается странного оттенка.

Пришлось дополнительно воткнуть Sapiens2, который отдельно работает с кожей.

Ну а поскольку ColorFM умел работать только с картинками, я воткнул туда ещё и видео:
- сначала видео делится на шоты;
- красится один кадр каждого шота;
- по нему строится LUT;
- LUT применяется к остальным кадрам.

Плюс всё это можно прогонять батчем.

Короче, получился такой домашний агрегат весом в 6 ГБ. Зато без интернета, без регистрации и без попытки продать тебе годовую подписку на перенос синего неба в синее небо.

P.S. Видео:
1 - правильно покрашенное видео
2 - неправильно покрашенное видео
3 - перекрашенное видео

P.S.S. Жду реакций, я спать, сборка в комментариях