Новая система, основанная на зрении, учит машины понимать свои тела

В офисе в лаборатории информатики и искусственного интеллекта MIT (CSAIL) мягкая роботизированная рука осторожно закручивает пальцы, чтобы понять небольшой объект. Интригующая часть не является механической конструкцией или встроенными датчиками – на самом деле, рука не содержит ни одного. Вместо этого вся система опирается на одну камеру, которая наблюдает за движениями робота и использует эти визуальные данные для управления их.

Эта возможность поступает от новой системы CSAIL, разработанной CSAIL, предлагая другой взгляд на роботизированный контроль. Вместо того, чтобы использовать модели, разработанные вручную или сложные массивы датчиков, это позволяет роботам узнать, как их тела реагируют на команды управления, исключительно через зрение. Подход, называемый нервными якобианскими полями (NJF), дает роботам своего рода телесное самосознание.

А бумага о работе был опубликован в ПриродаПолем

«Эта работа указывает на переход от роботов по программированию к обучению роботов», – говорит Сизхе Лестер Ли, магистратуры. студент в электротехника и компьютерные науки, филиал CSAIL и ведущий исследователь по работе.

«Сегодня многие задачи робототехники требуют обширного инженера и кодирования. В будущем мы представляем показывать робот Что делать, и позволить ему научиться достигать цели автономно ».

Мотивация проистекает из простого, но мощного рефрминга: основной барьер для доступной, гибкой робототехники – это не оборудование – это контроль над возможностями, которые могут быть достигнуты несколькими способами.

Традиционные роботы созданы для жестких и богатых датчиками, что облегчает построение цифрового близнеца, точную математическую копию, используемую для управления. Но когда робот мягкий, деформируемый или нерегулярно форма, эти предположения разваливаются. Вместо того, чтобы заставлять роботов соответствовать нашим моделям, NJF переворачивает сценарий – роботов, способствующие способности изучать свою внутреннюю модель из наблюдения.

Смотри и учиться

Эта развязка моделирования и дизайна оборудования может значительно расширить пространство дизайна для робототехники. В мягких и био-вдохновленных роботах дизайнеры часто встраивают датчики или усиливают части структуры, чтобы сделать моделирование возможным.

NJF поднимает это ограничение. Система не нуждается в бортовых датчиках или дизайне, чтобы сделать контроль возможным. Дизайнеры более свободны, чтобы исследовать нетрадиционную, неограниченную морфологию, не беспокоясь о том, смогут ли они моделировать или контролировать их позже.

«Подумайте о том, как вы учитесь управлять пальцами: вы показываете, наблюдаете, вы адаптируете», – говорит Ли. «Это то, что делает наша система. Она экспериментирует со случайными действиями и выясняет, какие контролируют, какие части робота».

Система оказалась надежной по ряду типов роботов. Команда проверила NJF на пневматической мягкой роботизированной руке, способной зажимать и схватить, жесткую руку аллегро, роботизированная рука с 3D-печатью и даже вращающуюся платформу без встроенных датчиков.

В каждом случае система изучала как форму робота, так и то, как она реагировала на контрольные сигналы, просто от зрения и случайного движения.

Исследователи видят потенциал далеко за пределами лаборатории. Роботы, оснащенные NJF, могут однажды выполнять сельскохозяйственные задачи с точностью локализации на уровне сантиметра, работать на строительных площадках без сложных массивов датчиков или ориентироваться в динамических средах, где традиционные методы разрушаются.

В основе NJF лежит Нейронная сеть Это отражает два переплетенных аспекта осуществления воплощения робота: его трехмерная геометрия и его чувствительность к контролю входных данных. Система основана на полях нервного сияния (NERF), методике, которая реконструирует трехмерные сцены из изображений путем отображения пространственных координат с значениями цвета и плотности.

NJF расширяет этот подход, изучая не только форму робота, но и якобианскую поле, функцию, которая предсказывает, как движется любая точка на теле робота в ответ на моторные команды.

Чтобы тренировать модель, робот выполняет случайные движения, в то время как несколько камер записывают результаты. Никакого человеческого надзора или предварительного знания структуры робота не требуется – система просто делает взаимосвязь между контрольными сигналами и движением, наблюдая.

После завершения тренировки робот нуждается только в одной монокулярной камере для управления с закрытым контуром в режиме реального времени, работающего примерно на 12 герц. Это позволяет ему постоянно наблюдать за собой, планировать и действовать отзывчиво. Эта скорость делает NJF более жизнеспособным, чем многие симуляторы, основанные на физике, для мягких роботов, которые часто слишком интенсивно вычислительно используются для использования в реальном времени.

В ранних симуляциях даже простые 2D -пальцы и ползунки смогли выучить это отображение, используя всего несколько примеров. Моделируя, как конкретные точки деформируются или сдвинуты в ответ на действие, NJF создает плотную карту управляемости. Эта внутренняя модель позволяет ему обобщать движение через тело робота, даже если данные являются шумными или неполными.

«Что действительно интересно, так это то, что система выясняет самостоятельно, какие моторы контролируют какие части робота», – говорит Ли. «Это не запрограммировано – это происходит естественно благодаря обучению, во многом как человек, обнаруживающий кнопки на новом устройстве».

Будущее мягкое

В течение десятилетий робототехника предпочитала жесткие, легко смоделированные машины – как промышленные руки, найденные на фабриках – потому что их свойства упрощают контроль. Но поле движется к мягким, вдохновленным био-вдохновленным роботам, которые могут адаптироваться к реальному миру более плавно. Компромисс? Эти роботы сложнее моделировать.

«Робототехника сегодня часто чувствует себя недоступной из -за дорогостоящих датчиков и сложных программ. Наша цель с нейронными якобианскими полями – снизить барьер, делая робототехнику доступной, адаптируемой и доступной для большего количества людей. Видение – это устойчивый, надежный датчик», – говорит старший автор и доцент MIT Vincent Sitzmann, который ведет группу сцены.

«Он открывает дверь для роботов, которые могут работать в грязной, неструктурированной среде, от ферм до строительных площадок, без дорогой инфраструктуры».

«Одно только зрение может дать сигналы, необходимые для локализации и контроля, что позволило получить необходимость в GPS, системах внешнего отслеживания или сложных бортовых датчиков. Это открывает дверь для надежного адаптивного поведения в неструктурированных условиях, от беспилотных летательных аппаратов, навигающих в помещении или под землей без карт, до мобильных манипуляторов, работающих в домах Рус, профессор электротехники и компьютерных наук и директор CSAIL.

«Учившись на визуальной обратной связи, эти системы разрабатывают внутренние модели своего собственного движения и динамики, обеспечивая гибкую, самоотверженную операцию, где традиционные методы локализации потерпят неудачу».

Хотя обучение NJF в настоящее время требует нескольких камер и должно быть переделано для каждого робота, исследователи уже представляют более доступную версию. В будущем любители смогут записать случайные движения робота со своим телефоном, так же, как вы снимали видео с прокатом автомобиля, прежде чем уезжать, и использовать эти кадры для создания модели управления, без предварительного знания или специального оборудования.

Система еще не обобщается по разным роботам, и ей не хватает силы или тактильного зондирования, ограничивая ее эффективность на задачах, богатых контактами. Но команда изучает новые способы устранения этих ограничений: улучшение обобщения, обработка окклюзий и расширение способности модели рассуждать на более длительные пространственные и временные горизонты.

«Точно так же, как люди развивают интуитивное понимание того, как их тела движутся и реагируют на команды, NJF дает роботам, которые воплощают самосознание только через видение»,-говорит Ли.

«Это понимание является основой для гибких манипуляций и контроля в реальных условиях. Наша работа, по сути, отражает более широкую тенденцию в робототехнике: уход от ручного программирования подробных моделей к обучению роботов посредством наблюдения и взаимодействия».

Эта статья объединила компьютерное зрение и самоотверженную учебную работу из лаборатории Sitzmann и опыт в мягких роботах из лаборатории RUS.

Эта история переиздана предоставлена MIT News (web.mit.edu/newsoffice/), популярный сайт, который охватывает новости о исследованиях, инновациях и преподавании MIT.