Студент использует свой опыт для трансформации ассистивного общения

В 15 лет, когда неврологическое заболевание лишило Тобиаса Вайнберга способности говорить, некоторые аспекты его личности стало труднее выражать.

Набирая текст для общения, он изо всех сил старался поддерживать разговор, особенно шутить или саркастически комментировать, что было для него нормой. И его первое устройство преобразования текста в голос было монотонным, с мексиканским или испанским акцентом, но не с его родным аргентинским акцентом.

«Монотонные голоса, время междометий и передача моей личности с помощью этого нового способа общения определенно расстраивали», — пишет Вайнберг, ныне аспирант и научный сотрудник Siegel PiTech в Корнеллском технологическом институте. В рамках лаборатории Matter of Tech он исследует, как искусственный интеллект (ИИ) может улучшить технологии, которые он и более двух миллионов американцев с нарушениями речи используют для общения.

Благодаря постоянному партнерству между Cornell Tech и YAI — некоммерческой организацией, которая поддерживает более 20 000 людей с нарушениями интеллекта и развития в Нью-Йорке, Нью-Джерси и Калифорнии — Вайнберг провел год, работая с группой пользователей дополнительных и альтернативных коммуникаций (AAC), которые живут в групповых домах в Тэрритауне, штат Нью-Йорк, чтобы лучше понять потребности и поведение, а также улучшить прототипы.

Полученные в результате исследования и направления исследований, включающие собственный опыт Вайнберга, могут изменить дизайн ассистивных технологий.

Поле обращает на это внимание. Вайнберга первая статья — «Почему так серьезно?»— получил почетное упоминание за лучшую статью и награду жюри за лучшую демонстрацию на престижной конференции по человеческому фактору в вычислительных системах (CHI). По словам его советника Тейса Румена, доцента Корнеллского технологического института, это очень желанная награда.

«Тоби действительно является первопроходцем», — сказал Румен, работающий по совместительству в Корнеллском колледже вычислительной техники и информатики Энн С. Бауэрс. «Он разрабатывает технологию, одновременно используя ее, которая меняет ее форму и то, как мы о ней думаем. В процессе он открывает богатство, которое сделает будущее технологии AAC намного лучше, а также он вдохновляет целое поколение исследователей».

Джудит Бэйли-Хунг, руководитель Центра инноваций и взаимодействия YAI, сказала, что он также вдохновляет пользователей AAC, участвующих в его исследованиях.

«Для людей, которых мы поддерживаем, было очень важно видеть, что этот человек работает над своей докторской диссертацией, они заинтересованы в улучшении вашего общения и хотят вовлечь вас в этот процесс», — сказал Бэйли-Хунг, который руководил тремя стажерами Корнеллского технологического института в рамках более крупного партнерства. «Это дает им право голоса и возможность отстаивать свои интересы».

Юмор, обратные каналы и злодеи искусственного интеллекта

Хизер Клиппель, у которой церебральный паралич и которая живет в групповом доме YAI, испытывает такое же разочарование в отношении устройств AAC, как и Вайнберг: она расстраивается, когда говорит слишком много людей, и ей трудно передать тон и юмор.

«Эти вещи очень трудно выразить невербальному человеку», — написал Клиппель.

В первом из двух исследований Вайнберг взял интервью у Клиппеля и еще шести человек и разработал интерфейс, который может помочь пользователям писать шутки или юмористические комментарии, которые они затем могут добавлять в режиме реального времени.

«При разработке инструментов искусственного интеллекта, поддерживающих общение, существует неизбежный компромисс между свободой действий и эффективностью», — пишет Вайнберг. «Хотя автозаполнение ИИ позволит быстрее оставлять юмористические комментарии, существует риск того, что оно ослабит чувство свободы воли пользователя, шутя для пользователей, а не вместе с ними».

Вайнберг разработал интерфейсы, учитывающие этот компромисс: в одном пользователи выбирали ключевые слова, которые, по их мнению, ИИ использовал при создании шутки; в другом они смогли редактировать и модифицировать шутки, написанные ИИ; а в другом они могли просто выбрать шутку, предложенную ИИ.

«Мы обнаружили, что в сценариях с ограниченным временем, например, при написании юмористического комментария, пользователи AAC были готовы отказаться от некоторых полномочий, чтобы доставить комментарий быстрее», — написал Вайнберг. «Это бросило вызов существующим исследованиям, согласно которым пользователи AAC больше всего заботятся о максимальной свободе действий, что в целом верно, но не всегда».

Это заставило Вайнберга и его сотрудников задуматься о цели юмора. Часто, по его словам, сама шутка менее важна, чем участие и вовлеченность в разговор. Команда начала рассматривать другие типы «обратного канала», или способы передачи взаимодействия, помимо основного разговора, например, «угу» или кивок.

Во втором исследовании с участием пользователей AAC, по итогам которого была опубликована статья:Человек не просто говорит: «Мм-хмм».»», представленный на конференции ASSETS по компьютерам и доступности в октябре. Вайнберг и его команда обнаружили, что участники сформировали свою собственную микрокультуру обратного канала, например, постукивали по подлокотникам в знак согласия или поднимали брови. Интервью и наблюдения побудили его и его команду рекомендовать подход к дизайну, который усиливает и включает в себя то, что пользователи уже делают, а не навязывает общепринятое поведение.

«Может возникнуть тенденция просто создать приложение и решить проблему», — сказал Румен. «Но, задавая себе эти фундаментальные вопросы и стимулируя любопытство Тоби как исследователя, чтобы действительно понять, что происходит, мы теперь можем начать понимать, как мы можем быть действительно влиятельными в этой области».

Эти фундаментальные вопросы часто являются также этическими. Для третьей статьи, которая в настоящее время находится на рассмотрении, Вайнберг разработал приложение, которое собирало все, что он набирал за семь месяцев, и использовало этот текст для обучения большой языковой модели, которая могла бы помочь облегчить и ускорить его общение.

Хотя получившийся в результате «ИИ-двойник» уловил вербальную идентичность, включив характерные фразы и аргентинский сленг, на практике он не смог предложить или предоставить этот язык в соответствующих контекстах и рисковал раскрыть личную информацию в неподходящее время. Вайнберг также чувствовал, что приложение ослабляет контроль над его собственной самопрезентацией.

«ИИ — замечательная, но опасная технология, особенно если он опосредует все, что мы говорим как пользователи AAC», — написал Вайнберг. «Итак, моя работа служит обеим сторонам, предоставляя рекомендации по дизайну будущим разработчикам, а также играя злодея, предупреждая о социотехнических последствиях ИИ в жизни таких пользователей AAC, как я».

Создаём сообщество, вдохновляем других

Вайнберг разобрал свой первый компьютер в два года, а в семь лет сказал родителям, что хочет изобрести вещи, которые помогут людям. Но когда он приехал в Корнеллский технологический институт на летнюю стажировку в 2022 году, он не знал, что такое докторская степень. был и не видел этого в своем будущем.

Венди Джу, доцент Корнеллского технологического института, призвала Вайнберга подать заявку на докторантуру после получения степени бакалавра машиностроения в Технионе (Израильский технологический институт). В 2023 году он присоединился к лаборатории Румена, намереваясь заняться цифровым производством. Но Румен призвал Вайнберга, как и всех студентов, найти проект, который ему действительно интересен.

«Я сказал Тайсу, что меня действительно волнует еще кое-что, но ни у кого из нас нет опыта в этом», — написал Вайнберг. «Он был на борту, чтобы попробовать, и вот мы здесь».

Вайнберг и Румен объединились со Стефани Валенсией из Университета Мэриленда, которая специализируется на искусственном интеллекте и агентстве по использованию AAC. Преодолев крутые кривые обучения — отправившись в то, что Румен называет «путешествием» для них обоих, — Вайнберг теперь вдохновляет других.

«Меня удивляет, что кто-то с устройством AAC собирался получить докторскую степень», — написал Клиппель. «Я знаю, что люди с ограниченными возможностями могут достичь таких высоких степеней в образовании, но для меня было большой честью встретиться с таким человеком».

Исследования также создали сообщество. Клиппель сказала, что во время учебы она сблизилась с другим пользователем AAC и продолжила дружбу.

Для Вайнберга наблюдение за этой формой связи было одной из самых полезных частей исследования. «Это не было похоже на семинар, это было похоже на то, как пара друзей тусуется и делится анекдотами о наших препятствиях и использовании AAC, не только для меня, но и для них», – написал он.

Другой наградой было то, что участники использовали системы для самовыражения по-новому. Вайнберг часто воспроизводит видео из исследования юмора, где пользователь AAC работает с платформой, чтобы написать шутку, и смеется над тем, что она создала.

«Это оправдало всю тяжелую работу», — написал он.

Заглядывая в будущее, Вайнберг надеется переосмыслить AAC – не как средство устранения пропущенной речи, а как средство выражения. «Это видение представляет собой шаг к более широкой цели — предоставить пользователям AAC возможность в полной мере участвовать в устном общении и процветать в обществе», — написал он.