1766092238
2025-12-18 20:33:00
Новый подход упрощает визуализацию реалистичной трехмерной среды на основе повседневных фотографий, уже опубликованных в Интернете, открывая новые возможности в таких отраслях, как игры, виртуальный туризм и сохранение культурного наследия.
Авербух-Элорм Хадардоцент Корнеллского технологического института, входит в исследовательскую группу WildCAT3D, новой платформы, которая значительно расширяет возможности синтеза новых представлений (NVS) — метода, который создает реалистичные ракурсы сцены из одной существующей фотографии.
Работакоторый был представлен 4 декабря на Конференция и семинар по нейронной обработке информациифокусируется на ключевом ограничении современной технологии создания 3D-изображений: большинство систем могут учиться только на небольших, тщательно подобранных наборах данных, которые совсем не похожи на беспорядочные, непоследовательные изображения, которые люди на самом деле делают и делятся в Интернете.
WildCAT3D показывает, как можно обучать компьютеры, используя большие коллекции свободно доступных изображений – туристических снимков; фотографии, сделанные в разную погоду, освещение и время года; или частично затемненные сцены. Это именно те виды изображений, которые могли бы использоваться в таких приложениях, как виртуальный туризм, видеоигры, сохранение исторического наследия и иммерсивное картографирование, но они традиционно были слишком непоследовательными для использования в существующих моделях.
«Основная задача заключалась в том, как разработать многопроекционную диффузионную модель, которая могла бы учиться на реальных Интернет-коллекциях, где наблюдения за сценами демонстрируют значительные различия — например, в освещении, погоде, переходных объектах и т. д.», — сказал Авербух-Элор, который также является сотрудником Корнеллского колледжа вычислительной техники и информатики Энн С. Бауэрс.
WildCAT3D помогает искусственному интеллекту сосредоточиться на том, что важно в сцене. Вместо того, чтобы сбиваться с толку изменениями освещения, погоды или ракурса камеры, система учится распознавать стабильную структуру места, рассматривая такие визуальные различия как преходящие детали.
Такой подход делает его гораздо более полезным в реальных условиях. WildCAT3D может сделать одну фотографию и создать несколько реалистичных видов одного и того же места, что позволяет «прогуляться» по сцене, которая была сфотографирована только один раз. Эта возможность открывает двери для более богатого опыта виртуального туризма, более захватывающих видеоигр и более точных цифровых реконструкций реальных мест.
Это также позволяет создателям и исследователям легко исследовать, как сцена может выглядеть при различных погодных условиях и условиях освещения. Такая гибкость особенно ценна для сохранения культурных достопримечательностей, планирования окружающей среды до их постройки или реставрации, а также для создания реалистичных виртуальных пространств без необходимости дорогостоящих и тщательно контролируемых фотосессий.
Авербух-Элор рассматривает эту работу как шаг к тому, чтобы сделать создание высококачественных 3D-сцен более доступным, позволяя любому, у кого есть обычные фотографии, а не только специализированным командам со специальными наборами данных, строить реалистичные цифровые миры.
«Мы надеемся, что наша работа станет катализатором перехода к 3D-согласованным генеративным структурам, которые напрямую учатся на лицензированных интернет-данных, уменьшая зависимость этой области от тщательно курируемых наборов данных с несколькими представлениями», — сказала она.
Это исследование было проведено в сотрудничестве с исследователями из Meta AI и Тель-Авивского университета.
Эндрю Кларк — писатель Корнеллского технологического института.
#Исследователи #упрощают #визуализацию #3Dсцен #по #фотографиям
Ещё по этой теме
