Роботизированные руки с искусственным интеллектом учатся ловкости, имитируя движения и анатомию человека.

Зайдя в лабораторию мягкой робототехники в ETH Zurich, вы окажетесь в пространстве, которое является отчасти детской детской, отчасти высокотехнологичной мастерской и отчасти кабинетом раритетов. Лабораторные столы усыпаны пенопластовыми блоками, мягкими игрушками, в том числе милым кальмаром, и другими яркими игрушками, используемыми для тренировки ловкости роботов. На каждой поверхности разбросаны датчики, кабели и измерительные приборы. Скелетные пальцы, выставленные на витринах или прикрепленные к мощным роботизированным рукам, словно тянутся, чтобы схватить вас из каждого угла.

В лаборатории работает команда из 19 инженеров-робототехников, ученых-компьютерщиков, химиков и биологов, которые работают под пристальным вниманием Роберта Кацшмана, профессора робототехники на факультете машиностроения и технологического проектирования ETH Zurich.

Когда дело доходит до проектирования роботов следующего поколения, Кацшманн любит брать пример с животных и анатомии человека. Его последние роботизированные руки имеют пальцы, которые больше не приводятся в движение моторами, встроенными в суставы, а приводятся в действие искусственные сухожилия которые движутся через шарниры качения. Цель состоит в том, чтобы создать роботов, которые будут мягкими, гибкими и маневренными. Заменяя металлы, винты и двигатели гибридными корпусами из мягких и жестких материалов, его команда разрабатывает машины, которые могут выполнять широкий спектр задач и легко адаптироваться к новым условиям.

Адаптивные руки

Кацшманн использует возможности искусственного интеллекта, хотя он по-прежнему предпочитает более точный термин «машинное обучение», подчеркивая, что мы далеки от чего-то похожего на действительно живой интеллект. «Раньше мы решали проблемы робототехники путем упрощения и использования физических моделей и техники управления», — говорит он. «Сегодня мы полагаемся в первую очередь на машинное обучение».

Этот подход, основанный на данных, проник почти во все области робототехники: от генеративного проектирования с 3D-моделированием и приобретением навыков от видео до управления движением на основе алгоритмов. «Около половины моей группы активно занимается применением и совершенствованием методов машинного обучения», — говорит Кацшманн.

Традиционные методы, такие как техника управления, превосходны в структурированных, повторяющихся процессах, например, в заводских цехах. Но они терпят неудачу, когда дело касается хаотичной среды и неструктурированных задач. Как отмечает Кацшманн, такая простая задача, как сортировка различных стеклянных бутылок в ящик, остается сложной задачей для роботов из-за различных форм и размеров бутылок.

Чтобы решить эту проблему, его группа разработала роботизированную руку с 21 степенью свободы. Обученная посредством сочетания обучения с подкреплением и имитацией, эта ловкая рука стала частью более крупной системы, которая вместе с роботизированной рукой теперь предлагает впечатляющие 28 степеней свободы.

Чтобы обучить робота, исследователи надевают перчатки, оснащенные датчиками движения и камерой. Пока они демонстрируют, как брать бутылку, их движения фиксируются внешними камерами. Этот богатый набор данных, иногда дополненный изображениями виртуальной реальности, используется для обучения так называемому модель трансформера— архитектура, похожая на большие языковые модели, лежащие в основе современного ИИ. После тренировки роботизированная рука также сможет брать незнакомые предметы и перемещать их в нужное место.

«При использовании традиционных методов нам пришлось бы создать трехмерную модель окружающей среды в виде облака точек, а затем запрограммировать каждое положение пальца, необходимое для захвата бутылки», — говорит Кацшманн. «Даже малейшее изменение положения бутылок или ящика привело бы к тому, что роботизированная рука не знала бы, как реагировать». Но это уже не так. «Движения, необходимые для того, чтобы взять бутылку, теперь полностью изучены, и это делает руку удивительно адаптивной», — объясняет он.

В 2024 году это исследование породило Mimic Robotics, дочернюю компанию ETH, созданную Кацшманном и четырьмя его бывшими докторантами и магистрантами. Молодая компания стремится произвести революцию в производстве и логистике с помощью своих роботизированных рук, управляемых искусственным интеллектом.

Обучение в облаке

Стелиан Корос — ученый-компьютерщик, который разрабатывает алгоритмы для робототехники, визуальных вычислений и автоматизированного производства. Его основное внимание уделяется программному обеспечению, формирующему мозг робота, а его исследования за последнее десятилетие были основаны на достижениях в области глубокого обучения — формы машинного обучения, в которой используются искусственные нейронные сети. «Мы достигли этапа, когда у нас достаточно данных и вычислительной мощности, чтобы использовать глубокое обучение для конкретных приложений в робототехнике, таких как автоматическое распознавание объектов на изображениях», — говорит он.

Нейронные сети также составляют основу другого типа машинного обучения, известного как обучение с подкреплением — метода, в котором роботы совершенствуются методом проб и ошибок. Исследователи вознаграждают робота за желаемые результаты, например движение вперед без падения, и робот постоянно совершенствует свои действия, чтобы максимизировать свой результат.

«Это своего рода обучение на практике, примерно так же, как люди учатся играть в теннис», — говорит Корос. «Роботам недостаточно смотреть видео на YouTube, где люди выполняют задание. Они должны попробовать это сами».

Таким образом, его команда генерирует огромное количество данные обучения посредством телеоперации. Именно это позволяет роботу повторять движения человека-оператора. Они также используют технологию захвата движения из анимационной индустрии для записи действий человека. Используя подходящие алгоритмы, эти данные позволяют роботам выполнять соответствующие контексту движения, подобные человеческим, что является важнейшим условием, утверждает Корос, для беспрепятственного взаимодействия человека и робота.

Параллельное обучение

В Лаборатории систем робототехники (RSL), возглавляемой профессором Марко Хаттером, исследователи также полагаются на обучение с подкреплением, но оно применяется в больших масштабах в виртуальных условиях. «Мы используем моделирование для одновременного обучения тысяч роботов», — говорит Сезар Кадена, старший научный сотрудник лаборатории. «Теперь за один час мы генерируем столько же данных, сколько раньше производили за год».

Такое моделирование стало возможным благодаря огромному развитию микрочипов и графических процессоров. Параллельные процессоры могут выполнять тысячи задач одновременно и имеют основополагающее значение для приложений искусственного интеллекта, поэтому RSL также тесно сотрудничает с NVIDIA, одним из крупнейших в мире разработчиков графических процессоров и наборов микросхем. Это уже породило два тезиса, напрямую связанных с калифорнийской компанией.

Виртуальное обучение с подкреплением происходит в облаке и требует огромной вычислительной мощности. Однако в режиме непрерывного обучения эта зависимость может поставить под угрозу автономность робота. Например, заводской робот может оставаться подключенным к облаку, чтобы оптимизировать выполнение сложных задач. Но что происходит с роботом-спасателем, который ищет выживших в отдаленной зоне бедствия? Если нет покрытия сети, как он сможет принимать быстрые решения?

Чтобы обойти эту проблему, исследователи устанавливают часть вычислительных мощностей в самого робота вместе с заранее сгенерированными данными из облака. «Мы жертвуем некоторой вычислительной мощностью», — говорит Кадена. «Но для четко определенных задач обычно этого достаточно».

Цель: универсальные роботы

Означает ли нынешний бум искусственного интеллекта революцию в робототехнике или скорее эволюцию? Корос считает, что последнее. «Данные, необходимые для ИИ, и данные, необходимые для робототехники, принципиально различаются по своему виду», — говорит он. У робота есть тело, и он должен посредством физического взаимодействия научиться обобщать движения и применять их в различных средах. Напротив, ИИ достигает обобщения посредством бесконечного потока данных — в первую очередь текста, а также изображений и видео.

Некоторые представители сообщества робототехники продолжают придерживаться подхода, основанного исключительно на данных, обучая роботов терабайтам данных о движениях человека. «Но это просто нежизнеспособно», — настаивает Корос. Он указывает на исследовательские группы, которые разработали роботов для складывания рубашек, отмечая, что потребовалось около 10 000 часов демонстрационных данных, прежде чем робот смог выполнить задачу — и даже тогда он допустил ошибки: «Если для изучения одного навыка требуется столько данных, то этот подход принципиально немасштабируем».

Поэтому его группа пошла по другому пути, объединив полученные данные с физическими моделями, чтобы заполнить пробелы в демонстрациях. Корос приводит пример руки робота, бросающей мяч: «Мы понимаем физику того, как мяч движется по воздуху». Робот может использовать эти физические законы, чтобы корректировать свой бросок так, чтобы мяч приземлялся именно там, где предполагалось. «И мы можем сделать это, не требуя большого количества данных», — говорит Корос.

В 2023 году Coros в партнерстве с бывшими аспирантами запустила дочернюю компанию Flink Robotics. Компания использует обработку изображений и физические модели на основе искусственного интеллекта, чтобы сделать стандартные промышленные роботы-манипуляторы более интеллектуальными, что позволяет им упаковывать, выгружать и сортировать материалы с большей точностью. Swiss Post, первый клиент Flink Robotics, планирует использовать эту технологию для автоматизации операций с посылками.

Сухожилия превосходят моторы

В лаборатории мягкой робототехники биологи разрабатывают клеточную ткань для искусственных сухожилий, а химики вводят жизнь в искусственные мышцы с помощью электрических импульсов. Кацшманн убежден, что традиционные роботы с электроприводом достигают своих пределов, когда дело доходит до обобщений, независимо от того, насколько сложен их искусственный интеллект. «Подобные системы просто не будут достаточно адаптируемыми, чтобы справиться со всеми ситуациями, с которыми они могут столкнуться в реальном мире».

Для него тело так же важно, как и мозг, поэтому он работает над скелетно-мышечными роботами, повторяющими естественные конструкции. «Мышцы обеспечивают мягкость, — говорит он, — а скелет обеспечивает несущую способность, необходимую для сложной физической работы». Природа создала удивительно стабильные и универсальные системы, не нуждающиеся в двигателях или металлах. «Это должна быть наша модель», – утверждает он.