Камера в вашем кармане

Когда вы думаете о «видео с пробелом времени», то, что обычно приходит на ум,-это камера, закрепленная на штативе, снимая изображение за изображением с заранее определенными интервалами. Но что, если бы вы могли сделать то же самое, вытащив свой телефон и снимая картину каждый раз, когда вы проходите мимо определенного дерева по дороге на работу? Никакого штатива не требуется.

Исследовательская группа Cornell разработала программное обеспечение, которое могло бы позволить любому, у кого был оснащен камерой, снимать тонкие изменения с течением времени, скажем, Строительная площадка или меняющиеся времена года – и превратите их в панорамный Время за плит видеоПолем

Эйб Дэвис, доцент кафедры компьютерных наук в Колледже по компьютерным и информационным наукам Корнелла Энн С. Бауэрса, является старшим автором «Карманное время», которую его исследовательская группа представит в Ассоциации по вычислительной технике Siggraph 2025 Конференция, состоявшаяся 10–14 августа в Ванкувере, Британская Колумбия.

Эрик Чен 24 года, ныне докторант в Массачусетском технологическом институте, является ведущим автором статьи. Другие участники включают Жига Ковачич ’26 и Мадхав Аггарвал, MS ’24. Исследование есть опубликовано в Материалы группы с особыми интересами по компьютерной графике и интерактивным методам конференции конференцииПолем

Дэвис прибыл в Корнелл летом 2020 года, в начале пандемии, когда блокировки стали невозможно создать типичную лабораторию с традиционным оборудованием. Итак, вместо этого он начал фотографировать.

«Даже под замком мы все еще могли бы уйти на улицу, – сказал он, – поэтому я начал много думать о том, как поддержать полевая работа– Приложения, где люди должны собирать данные вне, в неконтролируемых настройках ».

Чтобы изучить этот интерес, он начал снимать фотографии мобильных телефонов «из мест, которые я посещал каждый день». В течение нескольких лет он накопил более 50 000 изображений из различных мест вокруг Итаки – высказывания из -за пределов своей квартиры, автобусной остановки и гаража с видом на строительство нового здания CIS Bowers. На этих фотографиях исследователи построили видео по времени.

Дэвис начал эту работу с Руйу Яном 23 года, ныне докторантом в Принстонском университете, и вскоре после этого набрал Чена. Чен помог разработать новые методы, чтобы выровнять и визуализировать растущий набор данных, исправляя небольшие несоответствия в том, как были сделаны снимки. Считается, что их новая техника является первой, кто обрабатывает регистрацию для тысяч панорамных изображений в одно последовательное время с промежуткой времени.

«Мы должны были выяснить новый трюк для выполнения этого выравнивания, который использует тот факт, что у нас так много данных в течение столь длительного периода времени, когда видит так много разных условий», – сказал Чен. «Мы связываем вместе высококачественные выравнивания из фотографий, которые не обязательно в последовательном порядке, поэтому мы можем подключить дневную фотографию с одним сделанным ночью, вставив фотографию, сделанную во время сумерек в другой день».

Другое ключевое инновация – метод реконструкции, который они называют «разбрызгиванием времени» – инвентарями, соответствующими положению солнца и локальным координат GPS, наряду с локальными данными о погоде для каждой сеансы фотографии, для информирования о позиционировании теней в видео. «Из этого,-сказал Чен,-мы можем делать такие вещи, как переиздать фотографию от восхода солнца в закат, или изменить там, где находятся тени, или, возможно, изменить освещение от дневного времени на ночное время».

Дэвис видит в карманном времени, которая потенциально применима в ряде областей-поля наук, строительство, здравоохранение Мониторинг – и также как способ взглянуть на окружающую среду в новом свете.

«Этот инструмент дает вам другой способ взглянуть на мир», – сказал он. «Большая часть данных для этого проекта поступает из мест, которые я вижу каждый день, но есть так много маленьких деталей, которые я никогда не заметил, пока не увидел их на засадке. Это как другое окно в то, что вокруг вас».