Революционная техника создания 3D-сцен.

Джордж Дреттакис может быть доволен собой. Вместе со своей командой из Национального института исследований в области цифровых наук и технологий (Inria) в Софии-Антиполисе (Приморские Альпы), GraphDeco и коллегой из Института компьютерных наук Макса Планка в Саарбрюккене (Германия) они разработали алгоритм, который превосходит конкурентов из крупных компаний, таких как Google и Nvidia, в области, где они превосходны, — компьютерном зрении. Точнее, эта новая программа воплощает в жизнь давнюю мечту: трехмерную визуализацию сцен из простых фотографий.

Другими словами, достаточно нескольких кадров объекта, здания, толпы, чтобы затем рассмотреть их под любым углом, масштабировать, повернуть… Профессионалы по спецэффектам в кино, видеоигры, архитекторы визуализируют свои проекты в своих окружающая среда, агентства недвижимости для показа домов, инженеры-роботы (чтобы направлять машину, лучше иметь «планы» в трех измерениях)… любят такую ​​функцию.

До 2020 года методы позволяли сделать такой рендеринг, но требовали много времени на расчеты для достаточно неточных результатов (отсутствие отражений, невидимые детали, «дыры»…). Для начала из двух изображений, снятых под разными углами, но имеющих общие пиксели, рассчитывается карта глубины. Это создает редкое облако точек в пространстве, своего рода прозрачный призрак сцены. Затем это облако уплотняется, чтобы конкретизировать призрак. Затем, что требует больших вычислительных затрат, из этих точек выводится сетка из маленьких треугольников, на которые наносятся поверхности, цвета и текстуры для создания форм.

Веселые демонстрации

В 2020 году команда Google совершает революцию в этой области, предлагая его метод NeRF, основанный на искусственных нейронных сетях. Этот объект, лежащий в основе современного искусственного интеллекта, используется для очень абстрактного кодирования сцены. Это кодирование требует времени, сорока восьми часов расчета сцен, которые служат отправной точкой для исследователей для проверки своих алгоритмов, но точность изображений намного выше.

Летом 2023 года команда Софии Антиполис сильно бьет своим методом. «3D Gaussian Splatting» или 3DGS, за «разрыв трехмерных гауссианов». За тридцать минут она получает из ста фотографий трехмерную модель, которую затем можно рассматривать со всех сторон со скоростью сто высококачественных изображений в секунду. Это в сто раз больше, чем Instant NGP от Nvidia, который сам по себе работает в сто раз лучше, чем NeRF. «У меня нет привычки выдвигать себя вперед. Но я не думал, что столкнусь с такой ситуацией, когда после более чем двадцати лет работы, посвященной этой проблеме, я могу почти сказать, что она решена».свидетельствует Джордж Дреттакис, который настаивает на государственном финансировании этой работы (в частности, Inria и грантах Европейского исследовательского совета).

Вам осталось прочитать 43,64% этой статьи. Остальное зарезервировано для подписчиков.