3D Avatar Diffusion

Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека. Да, он не супер реалистичный получается, но выглядит опрятно.

На вход одно фото (!), то что слева, и текстовое описание. А на выходе модель дает tri-plane репрезентацию 3D объема головы человека, которая декодидируется в radience field (типа как в NeRF) и рендерится. Архитектура очень занятная, и позовляет еще и редактировать как аватар будет выглядеть с помощью изменения текстового промпта, подаваемого на вход. За всеми деталями отправляю вас в статью.

❱❱ Сайт проекта
❱❱ Arxiv: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

@ai_newz