Создание реалистичных 3D-сцен из повседневных онлайн-фотографий.

Новый подход упрощает визуализацию реалистичной трехмерной среды на основе повседневных фотографий, уже опубликованных в Интернете, открывая новые возможности в таких отраслях, как игры, виртуальный туризм и сохранение культурного наследия.

Хадар Авербух-Элор, доцент Корнельского технологического института, является частью исследовательской группы, работающей над WildCAT3D, новой структурой, которая значительно расширяет возможности синтеза новых представлений (NVS), метода, который создает реалистичные ракурсы сцены из одной существующей фотографии.

Работа, которая была представлен 4 декабря на конференции и семинаре по нейронным системам обработки информации (г.НейрИПС 2025), фокусируется на ключевом ограничении современной технологии создания 3D-изображений: большинство систем могут учиться только на небольших, тщательно подобранных наборах данных, которые совсем не похожи на беспорядочные, противоречивые изображения, которые люди на самом деле делают и делятся в Интернете. Бумага также доступный на arXiv сервер препринтов.

Как WildCAT3D преодолевает существующие проблемы

WildCAT3D показывает, как можно обучать компьютеры, используя большие коллекции свободно доступных изображений — туристических снимков; фотографии, сделанные в разную погоду, освещение и время года; или частично затемненные сцены. Это именно те изображения, которые могли бы использоваться в таких приложениях, как виртуальный туризм, видеоигры, сохранение исторического наследия и иммерсивное картографирование, но они традиционно были слишком непоследовательными для использования в существующих моделях.

«Основная задача заключалась в том, как разработать многопроекционную диффузионную модель, которая могла бы учиться на реальных Интернет-коллекциях, где наблюдения за сценами демонстрируют значительные различия — например, в освещении, погоде, переходных объектах и т. д.», — сказал Авербух-Элор, который также является сотрудником Корнеллского колледжа вычислительной техники и информатики Энн С. Бауэрс.

WildCAT3D помогает искусственному интеллекту сосредоточиться на том, что важно в сцене. Вместо того, чтобы сбиваться с толку изменениями освещения, погоды или ракурса камеры, система учится распознавать стабильную структуру места, рассматривая такие визуальные различия как преходящие детали.

Потенциальные применения и будущее влияние

Такой подход делает его гораздо более полезным в реальных условиях. WildCAT3D может сделать одну фотографию и создать несколько реалистичных видов одного и того же места, что позволяет «прогуляться» по сцене, которая была сфотографирована только один раз. Эта возможность открывает двери для более богатого опыта виртуального туризма, более захватывающих видеоигр и более точных цифровых реконструкций реальных мест.

Это также позволяет создателям и исследователям легко исследовать, как сцена может выглядеть при различных погодных условиях и условиях освещения. Такая гибкость особенно ценна для сохранения культурных достопримечательностей, планирования окружающей среды до их постройки или реставрации, а также для создания реалистичных виртуальных пространств без необходимости дорогостоящих и тщательно контролируемых фотосессий.

Авербух-Элор рассматривает эту работу как шаг к тому, чтобы сделать создание высококачественных 3D-сцен более доступным, позволяя любому, у кого есть обычные фотографии, а не только специализированным командам со специальными наборами данных, создавать реалистичные цифровые миры.

«Мы надеемся, что наша работа станет катализатором перехода к 3D-совместимым генеративным платформам, которые напрямую учатся на лицензированных интернет-данных, уменьшая зависимость этой области от тщательно курируемых наборов данных с несколькими представлениями», — сказала она.