Виртуальная реальность объединяется с робототехникой для создания бесшовных физических взаимодействий

Компьютерные ученые в Принстоне работают над тем, чтобы внести виртуальную реальность в физический мир с потенциалом для улучшения разнообразных впечатлений, включая удаленное сотрудничество, образование, развлечения и игры.

По словам Parastoo Abtahi, доцента кафедры компьютерных наук, когда -нибудь технология виртуальной и дополненной реальности, скорее всего, станет обычным явлением. Будет важно, чтобы пользователи этой технологии могли плавно взаимодействовать с физическим миром.

Абтахи и постдокторский научный сотрудник Мохамед Кари Работа, чтобы сделать это возможным Соединение виртуальная реальность Технология с физическим роботом, которым пользователь может управлять. Их исследования будут представлены в следующем месяце в Симпозиум ACM по программному обеспечению и технологии пользовательского интерфейса В Пусане, Корея.

Кто -то, использующий эту систему, может при ношении гарнитуры смешанной реальности, выбирать напиток из списка вариантов, а затем поместите его практически на стол перед ними. Или, более фантастически, они могут попросить анимированную пчелу доставить им мешок с чипсами на диван.

Сначала напиток и чипсы могут быть только пикселями. Но через минуту или около того они будут физически материализоваться, как будто магией. Но это не волшебство – это робот, представляемый пользователю невидимым, который доставил закуску. «Визуально это кажется мгновенным», – сказал Абтахи.

Удаляя «все ненужные технические детали, даже самого робота», сказал Кари, опыт кажется плавным. Цель состоит в том, чтобы технология исчезнула и обретала взаимодействие между человеком и компьютером интуитивно понятным.

Ключевой технической задачей в этой системе является общение. Пользователь должен быть в состоянии сообщать свои желания просто – выбирать ручку через комнату, и перемещать ее к столу перед ними. Кари и Абтахи создали метод взаимодействия, где простой жест ручной работы позволяет пользователю выбирать объект, даже издалека.

Эти жесты затем переводятся в команды для выполнения робота. Робот оснащен собственной гарнитурой смешанной реальности, поэтому он знает, где размещать объекты в Виртуальная средаПолем

Другой Технический вызов добавляет и стирает физические объекты из поля зрения пользователя. Используя технологию под названием 3D гауссовый распад, Abtahi и Kari создают реалистичную цифровую копию физического пространства. Как только все в комнате будет отсканировано, это позволяет системе стереть что -то из просмотра, например, движущийся робот или добавлять что -то, например, анимированную пчелу.

Чтобы достичь этого, каждый дюйм комнаты и каждый объект внутри нее должен быть отсканирован и отображаться в цифровом виде. Прямо сейчас этот процесс несколько утомитель, сказал Абтахи. Оптимизируя его, возможно, путем назначения задачи роботпредмет для будущего исследовать в ее лаборатории.