Тактильная система создает ощущение касания пальцами без аппаратного обеспечения

Один из самых странных впечатлений от виртуальной реальности, который у меня когда-либо был, был возможность прикоснуться к несуществующему объекту. Погрузиться в виртуальный мир с помощью гарнитуры, обеспечивающей видео и аудио, — это одно, а добавление прикосновения — это нечто преобразующее; физическое взаимодействие приводит вас в этот виртуальный мир гораздо более непосредственным образом. Но, как и во всем, что связано с виртуальной или дополненной реальностью, все это чрезвычайно требовательно к оборудованию. И особенно в случае с дополненной реальностью все это оборудование может мешать.

Этот аппаратный уровень является проблемой для виртуального прикосновения, потому что кажется, что его просто невозможно обойти. У видео и аудио есть способы сделать себя прозрачными, например, с очки или контактные линзы или костной проводимости, которые позволяют вам испытать реальный мир с дополнительным слоем реальности, добавленным сверху — дополненной реальностью. Однако с осязанием нет хороших вариантов прозрачности, потому что должен быть какой-то физический предмет, касающийся, скажем, ваших пальцев, чтобы вы действительно чувствовали ощущения. Как правило, это какая-то перчаткаи независимо от того, передает ли перчатка тактильный сигнал, вы все равно носите ее все время, что совсем не прозрачно.

Исследователи из Чикагский университет придумали хитрый способ обойти эту проблему. В докладе, который будет представлен на Конференция 2023 года по человеческому фактору в вычислительных системахили CHI 2023 (где она также будет отмечена наградой за лучшую работу), они демонстрируют носимую систему, которая может генерировать тактильные ощущения на нижней части ваших пальцев и ладони без каких-либо помех, взламывая нервы. вместо этого на тыльной стороне ладони.

---

Этот метод основан на так называемом «отраженном ощущении», когда стимуляция вашего тела в одном месте ощущается в другом месте — это похоже на случай, когда вы случайно ударяетесь локтем о что-то, но чувствуете покалывание сквозь пальцы, потому что сигнал прошел вдоль ваши нервы вверх через вашу руку. В некоторых местах, в том числе в пальцах, отнесенное ощущение может быть определено с достаточной степенью точности. С помощью сигнального электрода на верхней части пальца и заземляющего электрода ближе к запястью можно стимулировать отдельные части каждого пальца, создавая 11 отдельно контролируемых тактильных зон на пяти пальцах и ладони.

Тем не менее, просто щелкая пальцами, вы не сможете получить эти сигналы. только на нижней (ладонной) стороне пальцев, а не на верхней (тыльной) стороне, откуда исходит сигнал. К счастью, асимметричное расположение нервов в наших руках делает это возможным. Техника стимуляции тыльной стороной руки работает, потому что ваши ладони и подушечки пальцев гораздо более чувствительны, чем тыльная сторона ваших ладоней, благодаря примерно в 60 раз большему количеству механорецепторов на ладонной стороне. Таким образом, если вы используете электрод для стимуляции тыльной стороны одного из ваших пальцев, чувствительность на передней стороне настолько выше, что вы почувствуете ее гораздо сильнее, даже если электрод находится в прямом контакте с тыльной стороной. сторона. Исследователи смогли найти интенсивность стимуляции, достаточную для срабатывания нервов на подушечках пальцев, оставаясь при этом ниже порога обнаружения на тыльной стороне пальцев, что аккуратно решило проблему.

Мы спросили Педро Лопеса, управляющего Лаборатория интеграции человека и компьютера в Чикагском университетечтобы описать, каково это использовать эту систему:

Электротактильная стимуляция не похожа на настоящее прикосновение. Но при контакте это похоже на прикосновение к моей коже, что довольно реалистично. Касаясь стены для боулдеринга, которую вы видите на видео, вы чувствуете, как ваша рука касается стены там, где вы и ожидали. Удивительно, но вы чувствуете это совершенно в разных точках ладони, а не там, где находятся электроды — в виртуальной реальности, когда я вижу, как моя рука касается стены, мой мозг ожидает ощущения в нескольких точках спереди, и это именно то, что я чувствую. Это приятно при контакте, и в тот момент, когда я впервые хватаюсь за захват, это кажется правильным. Есть еще некоторые усовершенствования, чтобы чувствовать постоянное давление, и если я продолжаю хвататься за захват в течение минуты, я начинаю замечать, что это не то же самое, что настоящий захват.

В паре пользовательских исследований большинство участников сообщили, что более 90 процентов тактильных ощущений ощущаются на ладонной стороне их руки, несмотря на то, что электроды были установлены на тыльной стороне. И ориентация на местоположение тоже была довольно надежной. В задачах манипулирования смешанной реальностью, которые включали работу с глиной и виртуальное скалолазание, участники отметили, что «само ощущение было теплым и покалыванием» и «я чувствовал именно то, что ожидал чувствовать». Возможно, самое главное то, что эта система позволяет вам одновременно использовать руки для других целей, не влияя на опыт виртуальной/дополненной реальности. Как объясняет Лопес, это может быть так же просто, как возможность использовать клавиатуру или настроить гарнитуру виртуальной реальности, или так же сложно, как диджеинг:

Хотя вы видите много VR в видео, с этим новым уровнем тактильных ощущений без помощи рук, мы думаем, что сможем раскрыть новые варианты использования тактильных ощущений, выходящие за рамки VR/AR. Например, мы думаем, что тактильные ощущения можно использовать в обучающих приложениях (например, во время игры на пианино или барабанах) или даже во время сложных взаимодействий. Например, в видео вы можете увидеть, как я диджею, и мне помогает цифровая диджейская система — пока я хватаюсь за фейдеры и проигрыватель, я чувствую тактильные уведомления, которые говорят мне, когда выпустить запись, чтобы добиться лучшего микса. Ни один ди-джей не будет носить перчатки только для того, чтобы насладиться этой дополнительной обратной связью, но таким образом мы считаем, что компромисс намного более сбалансирован.

Еще многое можно сделать для улучшения этой технологии. Лопес говорит, что в дополнение к способности чувствовать контакты, у них уже есть система, настроенная для создания ощущения текстур, которое достигается путем отправки непрерывных сигналов (а не коротких импульсов) на электроды.

Электротактильная обратная связь всей руки без препятствий для ладонной стороны рукисозданный Юдаем Танакой, Аланом Шеном, Энди Конгом и Педро Лопесом из Чикагского университета, будет представлен на выставке CHI 2023 в Гамбурге.