DreamFusion

DreamFusion - это система текста в 3D, использующая генеративную модель текста в изображение на основе искусственного интеллекта, известную как Imagen. Она использует технику, называемую выборкой диффузии оценки (SDS), чтобы создавать 3D-сцены из входного текста. Этот метод позволяет им генерировать образцы из модели диффузии, оптимизируя функцию потерь, что позволяет строить сцены в любом параметрическом пространстве. Они использовали параметризацию 3D-сцены, подобную нейронным полевым радиусам (NeRF), для создания дифференцируемого отображения. SDS создает достаточно реалистичные сцены, однако DreamFusion внедрил дополнительные регуляризаторы и тактики оптимизации для улучшения геометрии. Обученные NeRF обладают высококачественной поверхностной геометрией, картами глубины и нормалей и могут быть переосвещены с использованием модели Ламберта.

Источник: https://dreamfusion3d.github.io/