Система невидимых тегов улучшает отслеживание 3D-объектов | Новости Массачусетского технологического института

Остановите меня, если вы видели это раньше: черно-белый пиксельный квадрат вместо физического меню в ресторане.

QR-коды повсеместно используются в повседневной жизни. Видите ли вы его на купоне в продуктовом магазине, на листовке на доске объявлений или на стене музейной выставки, каждый код содержит встроенные данные.

К сожалению, QR-коды в физических пространствах иногда заменены или изменены обманом заставить вас передать ваши данные нежелательным сторонам — казалось бы, безобидный набор пикселей может привести вас к опасным ссылкам и вирусам. Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали еще один потенциальный вариант: BrightMarker, невидимую флуоресцентную метку, спрятанную в напечатанных на 3D-принтере объектах, таких как мяч, контейнер, футляр для гаджета или снаряжение. Исследователи считают, что их система может улучшить отслеживание движения, виртуальную реальность и обнаружение объектов.

Чтобы создать BrightMarker, пользователи могут загрузить программный плагин команды CSAIL для программ 3D-моделирования, таких как Blender. После размещения тега в геометрии своего дизайна они могут экспортировать его в виде файла STL для 3D-печати. С флуоресцентными нитями, вставленными в принтер, пользователи могут изготовить объект со скрытой меткой, очень похожей на невидимый QR-код. Пользователям нужно будет встроить свои маркеры в объект до того, как он будет изготовлен, а это означает, что теги нельзя добавлять к существующим элементам.

Флуоресцентные материалы позволяют каждой метке излучать свет с определенной длиной волны ближнего инфракрасного диапазона, что делает их видимыми с высокой контрастностью в инфракрасных камерах. Исследователи разработали две подключаемые аппаратные установки, способные обнаруживать маркеры BrightMarkers: одну для смартфонов и одну для гарнитур дополненной реальности (AR) и виртуальной реальности (VR). Оба имеют возможность просматривать и сканировать маркеры, которые напоминают светящиеся в темноте QR-коды. Окружающие объекты можно было скрыть из поля зрения с помощью фильтра длинного пропускания, еще одного присоединяемого элемента, который улавливал бы только флуоресценцию.

BrightMarkers незаметны невооруженным глазом и ненавязчивы, то есть не изменяют форму, внешний вид или функцию объекта. Это делает их защищенными от несанкционированного доступа, а метаданные легко встраиваются в физический мир. Добавив уровень связи между данными и физическими объектами, пользователи получат доступ к более интерактивному взаимодействию с окружающим миром.

«В сегодняшнем быстро развивающемся мире, где границы между реальной и цифровой средами продолжают стираться, постоянно растет спрос на надежные решения, которые беспрепятственно соединяют физические объекты с их цифровыми аналогами», — говорят MIT CSAIL и Департамент электротехники и электротехники. Кандидат компьютерных наук Мустафа Дога Доган. «Яркие маркеры служат воротами к «вездесущим метаданным» в физическом мире. Этот термин относится к концепции встраивания метаданных — описательной информации об идентичности объекта, происхождении, функции и т. д. — непосредственно в физические предметы, подобно невидимой цифровой подписи, сопровождающей каждый продукт».

Яркие маркеры в действии

Их система показала многообещающие результаты в настройках виртуальной реальности. Например, игрушечный световой меч со встроенным маркером BrightMarker можно использовать в качестве внутриигрового инструмента для разрезания виртуальной среды с помощью аппаратной части, обнаруживающей метки. Этот инструмент может включать другие игровые объекты для более захватывающего опыта виртуальной реальности.

«В будущем, когда доминирует парадигма AR и VR, распознавание объектов, отслеживание и прослеживаемость имеют решающее значение для соединения физического и цифрового миров: BrightMarker — это только начало», — говорит приглашенный исследователь MIT CSAIL Рауль Гарсия-Мартин, который проводит свою работу. Доктор философии в Университете Карлоса III в Мадриде. «Бесшовное отслеживание BrightMarker знаменует собой начало этого захватывающего путешествия в будущее, основанное на технологиях».

Что касается отслеживания движения, BrightMarkers можно внедрить в носимые устройства, которые могут точно отслеживать движения конечностей. Например, пользователь может носить браслет с имплантированным маркером BrightMarker, что позволяет устройству обнаружения оцифровывать движения пользователя. Если гейм-дизайнер хотел создать аутентичный вид от первого лица, он мог смоделировать руки своих персонажей после точного отслеживания каждого маркера. Система также может поддерживать пользователей с ограниченными возможностями и разным размером конечностей, преодолевая разрыв между цифровым и физическим опытом для широкой пользовательской базы.

BrightMarkers также можно отслеживать по всей цепочке поставок. Производители на месте могут сканировать метки в разных местах, чтобы получить метаданные о происхождении продукта и перемещениях. Аналогичным образом, потребители могут проверять цифровую подпись продукта, чтобы подтвердить информацию об этичном источнике и переработке, подобно предложенному Европейским Союзом Цифровые паспорта продукции.

Еще одно потенциальное применение: мониторинг ночного видения в домашних камерах безопасности. Если пользователь хотел, чтобы его имущество было в безопасности в течение ночи, камера может быть оборудована для наблюдения за объектами с аппаратным обеспечением, предназначенным для отслеживания и уведомления владельца о любых перемещениях. В отличие от своих готовых аналогов, этой камере не нужно снимать всю комнату пользователя, тем самым сохраняя его конфиденциальность.

Лучше, чем InfraredTags и AirTags

Работа Догана и его команды может показаться знакомой: ранее они разработали ИнфракрасныйТеги, технология встраивания данных в напечатанные на 3D-принтере метки в физические объекты, которая была номинирована на приз зрительских симпатий за лучшую демонстрацию на конференции ACM CHI 2022 года, посвященной человеческому фактору в вычислительных системах. В то время как их предыдущий проект работал только для черных объектов, у пользователей есть несколько вариантов цвета с помощью BrightMarker. Благодаря флуоресцентным материалам метки излучают свет с определенной длиной волны, что значительно упрощает их изоляцию и отслеживание по сравнению с инфракрасными метками, которые можно обнаружить только при низком контрасте из-за шума от других длин волн в захваченной среде.

«Флуоресцентные нити излучают свет, который можно надежно отфильтровать с помощью нашего оборудования для обработки изображений», — говорит Доган. «Это устраняет «размытость», часто связанную с традиционными встроенными ненавязчивыми маркерами, и позволяет эффективно отслеживать в реальном времени, даже когда объекты находятся в движении».

По сравнению с AirTags от Apple, маркеры BrightMarkers недороги и потребляют меньше энергии. Однако, в зависимости от приложения, одно потенциальное ограничение заключается в том, что в настоящее время теги нельзя добавлять к объектам постфактум. Кроме того, отслеживание каждой метки может быть затруднено, если рука пользователя или другой предмет в комнате загораживает обзор камеры. В качестве средства потенциального улучшения обнаружения команда рекомендует комбинировать эту технологию с магнитными нитями, чтобы также можно было отслеживать магнитное поле объекта. Эффективность обнаружения маркеров также может быть улучшена за счет производства нитей с более высокими концентрациями флуорохрома.

«Технологии с эффектом погружения требуют мощных возможностей понимания сцены, — говорит научный сотрудник Google Мар Гонсалес-Франко, не участвовавшая в работе. «Встроенные невидимые маркеры, такие как маркеры BrightMarker, могут упростить потребности в компьютерном зрении и помочь устройствам идентифицировать объекты, с которыми можно взаимодействовать, и сократить разрыв для пользователей AR и VR».

Доган с оптимизмом смотрит на потенциал системы для интеграции метаданных в нашу повседневную жизнь. «BrightMarker имеет огромные перспективы в изменении нашего реального взаимодействия с технологиями», — отмечает он. «Поскольку эта технология продолжает развиваться, мы можем представить себе мир, в котором маркеры BrightMarker органично интегрируются в наши повседневные объекты, способствуя легкому взаимодействию между физическим и цифровым мирами. От розничной торговли, где потребители могут получить доступ к подробной информации о продукте в магазинах, до промышленных предприятий, где BrightMarkers упрощают отслеживание цепочки поставок, возможности огромны».

Доган и Гарсия-Мартин написали статью вместе со студентами бакалавриата MIT CSAIL Патриком Хертелем, Джеймисоном О’Кифом, Ахмадом Така и Акаршем Авророй. Рауль Санчес-Рейо, профессор Университета Карлоса III в Мадриде, и Стефани Мюллер, член CSAIL и доцент кафедры электротехники, компьютерных наук и машиностроения Массачусетского технологического института, также являются авторами. Исследователи использовали флуоресцентные нити, предоставленные DIC Corp. Они представят свои выводы на Симпозиуме по программному обеспечению и технологиям пользовательского интерфейса Ассоциации вычислительной техники в 2023 году (UIST).