Умные очки помогают роботам обучение

В Недавний предварительный напечатоккоторый служит доказательством концепции подхода, исследователи обучали робота выполнить семь задач манипуляции, такие как подбор куска хлеба и поместить его на ближайшую тарелку. Для каждой задачи они собирали 20 минут данных от людей, выполняющих эти задачи при записи своих действий в очках из Meta’s Проект АрияПолем (Эти насыщенные датчиками очки используются исключительно для исследовательских целей.) Когда затем развернута для автономного выполнения этих задач с помощью робота, система достигла 70-процентного успеха.

Преимущество эгоцентрических данных

«Эго» часть Egozero относится к «эгоцентрической» природе данных, что означает, что он собирается с точки зрения человека, выполняющего задачу. «Камера как бы движется с вами», например, как наши глаза движутся вместе с нами, говорит Раунак Бхирангипостдокторский исследователь в лаборатории Нью -Йоркского университета.

Это имеет два основных преимущества: во -первых, настройка более портативна, чем внешние камеры. Во -вторых, очки с большей вероятностью захватят необходимую информацию, потому что владельцы убедится, что они – и, таким образом, камера – может увидеть, что нужно для выполнения задачи. «Например, скажем, у меня было что-то подключенное под столом, и я хочу отцепить его. Я бы наклонился, посмотрел на этот крюк, а затем отцепил его, в отличие от камеры третьего лица, которая не активна»,-говорит Бхиранги. «С этой эгоцентрической точки зрения вы получаете эту информацию бесплатно в ваши данные».

Вторая половина имени Эгозера относится к тому факту, что система обучается без каких -либо данных о роботах, которые могут быть дорогостоящими и трудно собрать; Только человеческие данные достаточно для робота, чтобы выучить новую задачу. Это включено структурой, разработанной лабораторией Пинто, которая отслеживает точки в космосе, а не полные изображения. При обучении роботов по данным на основе изображений, «несоответствие слишком велика между тем, как выглядят человеческие руки и что робот оружие Посмотрите », – говорит Бхиранги. Эта структура вместо этого отслеживает точки на руке, которые нанесены на точки на роботе.

Система Egozero получает данные от людей, носящих умные очки и превращает его в полезные данные 3D -навигации для роботов для выполнения общих задач манипуляции.Винсент Лю, Адеми Адениджи, Хаотиан Чжан и соавт.

Снижение изображения до точек в трехмерном пространстве означает, что модель может отслеживать движение таким же образом, независимо от конкретного роботизированного придатка. «Пока точки робота движутся относительно объекта так же, как и человеческие точки, мы в порядке», – говорит Бхиранги.

Все это приводит к обобщаемой модели, которая в противном случае потребует много разнообразных данных о роботах для обучения. Если робот обучался данным, собирая один кусок хлеба – скажем, рулон гастролей – он может обобщить эту информацию, чтобы забрать кусок чиабатты в новой среде.

Масштабируемое решение

В дополнение к Egozero, исследовательская группа работает над несколькими проектами, которые помогут сделать роботов общего назначения реальностью, включая дизайн роботов с открытым исходным кодом, гибкий сенсорыи дополнительные методы сбора реальных учебных данных.

Например, в качестве альтернативы Egozero, исследователи также разработали установку с 3D-печатным ручным управлением захват Это более близко напоминает большинство роботов «руки». Смартфон, прикрепленный к Gripper, снимает видео с тем же методом пространства точечного пространства, который используется в Egozero. Но, заставляя людей собирать данные без необходимости привлечения робота в свои дома, оба подхода могут обеспечить более масштабируемое решение для сбора данных обучения.

Эта масштабируемость в конечном итоге является целью исследователя. Большие языковые модели может использовать весь Интернетно нет интернет -эквивалента для физического мира. Использование повседневных взаимодействий с умными очками может помочь заполнить этот пробел.