Генерация текстурированных 3D ассетов - это, то где нейронки ещё не зрелые, по сравнению с 2D генерацией.

NVIDIA AI поделились своей работой с NIPS2022 – Get3d: Quality 3D Textured Shapes Learned from Images, которая делает шаг в направлении улучшения генерации 3D объектов.

Метод довольно простой, сеть генерирует фичи из шума для текстуры и для формы, затем это преобразуется в мешь с помощью трюка tri-plane representation (из EG3D) и Deep Marching Tetrahedra. Затем мы растеризуем мешь в RGB картинку и в силуэт и показываем их двум дискриминатора.

Как бы все легко, но тут скомбинированы несколько идей, придуманных за последние 2 года.

❱❱ Сайт проекта
❱❱ Кода ещё нет

@ai_newz