Робот учится синхронизировать губы, просматривая YouTube

Почти половина нашего внимания во время разговора лицом к лицу сосредотачивается на движении губ. Тем не менее, роботам все еще сложно правильно двигать губами. Даже самые продвинутые гуманоиды делают не более чем жесты рта куклы — если у них вообще есть лицо.

Мы, люди, придаем огромное значение мимике в целом и движению губ в частности. Хотя мы можем простить смешную походку или неловкое движение руки, мы не прощаем даже малейшего жеста лица. Этот высокий бар известен как «Зловещая долина». Роботы часто выглядят безжизненными, даже жуткими, потому что их губы не двигаются. Но это скоро изменится.

Команда разработчиков Columbia объявила сегодня, что они создали робота, который впервые способен изучать движения губ лица для выполнения таких задач, как речь и пение. В опубликовано новое исследование в Научная робототехникаИсследователи демонстрируют, как их робот использовал свои способности произносить слова на разных языках и даже пел песню из своего дебютного альбома, созданного искусственным интеллектом.Привет, мир.”

Робот приобрел эту способность посредством обучения путем наблюдения, а не с помощью правил. Сначала он научился использовать 26 лицевых моторов, наблюдая за своим отражением в зеркале, а затем научился имитировать движения губ человека, просматривая часы видео на YouTube.

«Чем больше он будет взаимодействовать с людьми, тем лучше он станет», — пообещал Ход Липсон, Джеймс и Салли Скапа, профессор инноваций на факультете машиностроения и директор Колумбийской лаборатории творческих машин, где и проводилась работа.

Робот наблюдает за тем, как он разговаривает

Достижение реалистичного движения губ робота является сложной задачей по двум причинам: во-первых, для этого требуется специализированное оборудование, содержащее гибкую кожу лица, приводимую в действие многочисленными крошечными моторами, которые могут работать быстро и бесшумно согласованно. Во-вторых, специфическая динамика губ представляет собой сложную функцию, диктуемую последовательностями голосовых звуков и фонем.

Человеческие лица оживляются десятками мышц, которые расположены под мягкой кожей и естественным образом синхронизируются с голосовыми связками и движениями губ. Напротив, гуманоидные лица в основном жесткие, действуют с относительно небольшим количеством движений, а движения их губ регулируются в соответствии с жесткими, заранее определенными правилами. Получающееся в результате движение получается неестественным, неестественным и сверхъестественным.

В этом исследовании исследователи преодолели эти препятствия, разработав гибкое лицо с широкими возможностями управления, а затем позволив роботу научиться использовать свое лицо непосредственно, наблюдая за людьми. Сначала они поместили перед зеркалом роботизированное лицо, оснащенное 26 моторами, чтобы робот мог узнать, как движется его собственное лицо в ответ на мышечную активность. Подобно ребенку, который впервые корчит рожицы перед зеркалом, робот делал тысячи случайных выражений лица и жестов губ. Со временем он научился управлять своими моторами для достижения определенного внешнего вида лица. Этот подход получил название «видение к действию“Языковая модель (VLA).

Затем исследователи поместили робота перед записанными видео людей, говорящих и поющих, предоставив ИИ, который управляет роботом, возможность узнать, как именно двигаются человеческие рты в контексте различных звуков, которые они издают. Имея в руках эти две модели, ИИ робота теперь может преобразовывать звук непосредственно в движения губ.

Исследователи проверили эту способность, используя различные звуки, языки и контексты, а также некоторые песни. Без каких-либо конкретных знаний о значении аудиоклипов робот смог синхронно двигать губами.

Исследователи признают, что движение губ далеко от совершенства. «У нас были особые трудности с твердыми звуками, такими как «Б», и со звуками, требующими сморщивания губ, такими как «W». Но эти способности, скорее всего, улучшатся со временем и практикой», — сказал Липсон.

Однако еще более важно рассматривать синхронизацию губ как часть более целостной коммуникативной способности робота.

«Когда возможность синхронизации губ В сочетании с диалоговым искусственным интеллектом, таким как ChatGPT или Gemini, этот эффект добавляет совершенно новую глубину связи, которую формирует робот с человеком», — объяснил Юхан Ху, который руководил исследованием для получения докторской степени. «Чем больше робот наблюдает за тем, как люди разговаривают, тем лучше он будет имитировать тонкие мимические жесты, с которыми мы можем эмоционально соединиться».

«Чем длиннее контекстное окно разговора, тем более контекстно-зависимыми станут эти жесты», — добавил он.

Недостающее звено роботизированных способностей

Исследователи полагают, что лицевой аффект является «недостающим звеном» робототехники.

«Большая часть гуманоидной робототехники сегодня сосредоточена на движении ног и рук, таких как ходьба и хватание», — сказал Липсон. «Но распознавание лица одинаково важно для любого роботизированного приложения, включающего взаимодействие с человеком».

Липсон и Ху предсказывают, что теплые, реалистичные лица будут становиться все более важными, поскольку гуманоидные роботы находят применение в таких областях, как развлечения, образование, медицина и даже уход за пожилыми людьми. Некоторые экономисты предсказывают, что в ближайшее десятилетие будет создано более миллиарда гуманоидов.

«Не существует будущего, в котором у всех этих гуманоидных роботов не было бы лица. И когда у них наконец появится лицо, им нужно будет правильно двигать глазами и губами, иначе они навсегда останутся сверхъестественными», — оценивает Липсон.

«Мы, люди, просто так устроены, и ничего не можем с этим поделать. Мы близки к тому, чтобы пересечь зловещую долину», — добавил Ху.

Риски и ограничения

Эта работа является частью десятилетних поисков Липсона по поиску способов заставить роботов более эффективно взаимодействовать с людьми посредством освоения мимических жестов, таких как улыбка, взгляд и речь. Он настаивает на том, что эти способности необходимо приобретать путем обучения, а не программировать с помощью жестких правил.

«Что-то волшебное происходит, когда робот учится улыбаться или говорить, просто наблюдая и слушая людей», — сказал он. «Я измученный робототехник, но не могу не улыбнуться роботу, который спонтанно улыбается мне».

Ху объяснил, что человеческие лица являются идеальным интерфейсом для общения, и мы начинаем раскрывать их секреты.

«Роботы с этой способностью, очевидно, будут иметь гораздо лучшую способность общаться с людьми, потому что такая значительная часть нашего общения включает в себя язык тела и лица, и весь этот канал все еще не задействован», — сказал Ху.

Исследователи осознают риски и противоречия, связанные с предоставлением роботам большей способности общаться с людьми.

«Это будет мощная технология. Нам нужно действовать медленно и осторожно, чтобы получить выгоду и минимизировать риски», — сказал Липсон.