Окей, расскажу вам немного о производстве подкаста с Большим Русским Боссом. Пока мы снимали выпуск, я держал в голове, что скорее всего мы сможем изменить лицо Босса с помощью deepfake. Однако, перейдя ближе к делу, я начал понимать, что кидать дипфейк на весь часовой видеоролик - задача крайне затратная и муторная, поэтому мы решили изменить нейросетью лишь несколько кадров с Шерлоками Холмсами, Харламовым и Путиным.
Всегда висел простой вариант просто зацензурить лицо героя, но каждый раз я задвигал его на САМЫЙ крайний случай. Кому захочется полтора часа глазеть на размытое пятно вместо гостя? Мы же все-таки видеоподкаст!
Отсюда появилась творческая задача: мне нужно было закрыть лицо Босса, но так, чтобы его эмоции и мимика были читаемы. И это нужно было сделать быстро и эффективно, потому что горел дедлайн. В моей голове сразу появился намек на решение - я хотел каким-то образом использовать упрощенную технологию трекинга лица, которую используют Инстаграм* или любые другие приложения с масками. Однако оказалось, что прихуячить маску из Инсты к футажу - не так то нахуй просто. Продрочившись с попытками воплотить эту идею в жизнь и испробовав очень странные варианты (типа плагинов для AE, которые очень медленно и тяжело тречили лицо), и не возымев никаких успехов - я уже был готов просто закрепить смартфон напротив экрана ноута, запустить на нем кадры с лицом Босса, а на телефоне - приложение с маской и запись экрана. Но, в момент отчаяния, ко мне пришел Макс и показал вариант, который используют некоторые твитчеры, применяя маски из Снэпчата на свои лица во время стримов. Единственное, что нам оставалось - заставить программу думать, что исходник с Боссом - это сигнал с вебки, а мне - разобраться в программе по созданию масок для Снэпчата и запилить кастомную маску, которую даже можно юзать в приложении по ссылке: https://lens.snapchat.com/15aa03f111154e81935398cb31d930a8
Пришлось 2 часа прогонять исходник через прогу, очень долго ебаться с тем, чтобы вырезать маской лицо с... маской... и засинхронизировать разнящийся фреймрейт этого кусочка с исходником. И вуаля - на выходе мы получили охуенный выпуск с интересным техническим решением и кучей комментариев "А нахуя вы так задрочились, если его фотки и так нагуглить можно?".