ПревратитеSingleNode в 3D-город с помощью волшебной кисти AI Ma Liang Tool

Принстонский университет, Колумбийский университет и Cyberever AI совместно представили фреймворк 3DTown — инновационный инструмент, способный создавать реалистичные 3D пейзажи городов всего из одного сверху направленного взгляда. Отметим, что этот процесс не требует обучения, так как он использует предварительно обученные генераторы 3D объектов для оживления этих ярких сцен.

Традиционное 3D моделирование долгое время сталкивалось с проблемами, такими как высокая стоимость оборудования, необходимость сбора большого объема данных и трудоемкая ручная работа, требующая времени и профессиональных навыков. Несмотря на значительные успехи ИИ в генерации 3D объектов, он часто терпит неудачу при работе с комплексными сценами, вызывая несоответствия в геометрии, логических раскладках и низкое качество сетки.

3DTown решает эти проблемы с помощью подхода "разделяй и властвуй", разделяя сверху направленный вид на перекрывающиеся области для пошаговой генерации 3D контента. Этот метод не только повышает разрешение и детализацию, но и обеспечивает точную синхронизацию между входным изображением и его 3D аналогом. Кроме того, его пространственно осведомленная технология заполнения пропущенных структур безупречно восстанавливает недостающие элементы, сохраняя общую непрерывность сцены.

Экспериментальные результаты показывают, что 3DTown превосходит существующие модели в плане геометрической точности, логической согласованности и верности текстур. Это нововведение обещает огромный потенциал для применения в разработке игр, производстве фильмов, строительстве метавселенной и даже в симуляции тренировок для роботов.

Несмотря на достигнутые успехи, 3DTown имеет некоторые ограничения. Например, зависимость от предварительно обученных генераторов, сосредоточенных на отдельных объектах, иногда приводит к локальным неточностям или "глюкам". Кроме того, могут возникать уязвимости во время начальной оценки 3D структуры. Будущие улучшения могут включать интеграцию многозрительных данных, введение семантических предпосылок или проведение мелкой настройки на уровне сцены для дальнейшего совершенствования фреймворка.

Статья: https://arxiv.org/pdf/2505.15765 Проект: https://eric-ai-lab.github.io/3dtown.github.io/