В этой статье по искусственному интеллекту представлен подход, основанный на 3D-диффузии, для случайных захватов NeRF, улучшения артефактов и улучшения геометрии сцены с использованием локальных 3D-приоритетов и новой функции потерь.

Поля нейронного излучения (NeRF), снятые случайно, часто имеют худшее качество, чем большинство снимков, показанных в статьях NeRF. Конечная цель типичного пользователя (например, любителя), который снимает NeRF, часто состоит в том, чтобы создать сквозной маршрут из совершенно другого набора представлений, чем первые полученные фотографии. Этот значительный сдвиг точки обзора между режимами обучения и рендеринга часто показывает неправильную геометрию и плавающие артефакты, как показано на рис. 1а. Стандартной практикой в ​​таких программах, как Polycam1 и Luma2, является указание пользователям нарисовать три круга на трех разных высотах, глядя внутрь интересующего объекта. Этот метод устраняет эти артефакты, инструктируя или поощряя пользователей записывать больше изображений.

Однако эти процедуры захвата могут занимать много времени, и пользователям может потребоваться уделять больше внимания сложным инструкциям захвата, чтобы обеспечить захват без артефактов. Создание методов, позволяющих улучшить визуализацию NeRF вне дистрибутива, является еще одним методом удаления артефактов NeRF. Оптимизация поз камеры для устранения шумных поз камеры, встраивание внешнего вида для каждого изображения для обработки изменений экспозиции или функции устойчивых потерь для управления переходными окклюдерами рассматривались в более ранних исследованиях как потенциальные методы минимизации артефактов. Несмотря на то, что эти и другие методологии превосходят обычные эталонные тесты, большинство стандартов основаны на измерении качества изображения в пропущенных кадрах обучающей последовательности, что часто не свидетельствует о визуальном качестве новых видов.

На рис. 1c показано, как подход Nerfacto ухудшается по мере увеличения нового вида. В этом исследовании исследователи из Google Research и UCB предлагают как (1) уникальную технику восстановления случайно полученных NeRF, так и (2) новый подход к оценке качества NeRF, который более точно отражает качество визуализируемого изображения с необычных ракурсов. Два фильма будут записаны как часть предложенного ими протокола оценки: один для обучения NeRF, а другой для оценки нового вида (рис. 1b). Они могут рассчитать набор метрик для видимых областей, где они ожидают, что сцена была правильно записана в обучающей последовательности, используя изображения из второго снимка в качестве наземной правды (а также глубину и нормали, извлеченные из реконструкции на всех кадрах). .

Они записывают новый набор данных с 12 сценами, каждая с двумя последовательностями камер, для обучения и оценки, придерживаясь этого процесса оценки. Они также предлагают Nerfbusters, метод, который направлен на улучшение когерентности поверхности, устранение плавающих объектов и устранение туманных артефактов в рутинных записях NeRF. В их подходе используется диффузионная сеть, обученная на синтетических 3D-данных, для получения локальной 3D-геометрической априорной, и она использует это перед поддержкой реалистичной геометрии во время оптимизации NeRF. Локальная геометрия менее сложна, более независима от категорий и воспроизводима, чем глобальные 3D-приоритеты, что делает ее подходящей для случайных сцен и сетей меньшего масштаба (U-Net 28 Мбит эффективно моделирует распределение всех возможных участков поверхности).

Учитывая этот управляемый данными локальный 3D-априор, они используют новую безусловную потерю дискретной выборки с показателем плотности (DSDS) для упорядочения NeRF. Они обнаружили, что этот метод удаляет плавающие объекты и делает геометрию сцены более четкой. Насколько им известно, они первыми продемонстрировали, что предварительное изучение локального 3D может улучшить NeRF. Эмпирически они показывают, что Nerfbusters достигает самой современной производительности для случайных захватов по сравнению с другими регуляризаторами геометрии. Они реализуют свою процедуру оценки и метод Nerfbusters в репозитории Nerfstudio с открытым исходным кодом. Код и данные можно найти на GitHub.

---

Проверьте Бумага, Ссылка на GitHub, и Проект. Не забудьте присоединиться наш 20k+ ML SubReddit, Дискорд-канал, и Информационный бюллетень по электронной почте, где мы делимся последними новостями об исследованиях ИИ, крутыми проектами в области ИИ и многим другим. Если у вас есть какие-либо вопросы относительно статьи выше или если мы что-то пропустили, напишите нам по адресу [email protected]

🚀 Ознакомьтесь с инструментами искусственного интеллекта 100 в клубе инструментов искусственного интеллекта