В гонке по обучению роботов с искусственным интеллектом тому, как вести себя по-человечески в реальном мире

ЧЕННАИ, Индия — Теперь, когда искусственный интеллект освоил почти все, что мы делаем в Интернете, ему нужна помощь в изучении того, как мы физически передвигаемся в реальном мире.

Растущая глобальная армия тренеров помогает ему уйти от наших компьютеров и проникнуть в наши гостиные, офисы и фабрики, обучая его тому, как мы двигаемся.

В промышленном городе на юге Индии 28-летний Навин Кумар стоит за своим столом и приступает к своей дневной работе: складывает полотенца для рук сотни раз, как можно точнее.

Он не работает в отеле; он работает в стартапе, который создает физические данные, используемые для обучения ИИ.

Он прикрепляет камеру GoPro ко лбу и выполняет регламентированный список движений рук, чтобы точно заснять, как сгибается человек.

В тот день ему пришлось взять каждое полотенце из корзины на правой стороне стола, используя только правую руку, встряхнуть полотенце обеими руками, а затем аккуратно сложить его три раза. Затем ему пришлось положить каждое сложенное полотенце в левый угол стола.

Если это займет больше минуты или он пропустит какие-либо шаги, ему придется начинать заново.

Его фирма Objectways, занимающаяся маркировкой данных, отправила своему клиенту в США 200 видеороликов о складывании полотенец. В компании работает более 2000 сотрудников; около половины из них маркируют данные датчиков автономных автомобилей и робототехники, а остальные работают над генеративным искусственным интеллектом.

Большинство из них — инженеры, и лишь немногие умеют складывать полотенца, поэтому они по очереди выполняют физическую работу.

«Иногда нам приходится удалить около 150 или 200 видеороликов из-за глупых ошибок в том, как мы складываем или размещаем предметы», — говорит Кумар, выпускник инженерного факультета, проработавший в Objectways шесть лет.

Тщательно срежиссированные движения призваны передать все нюансы того, что делают люди — тянутся руки, сжимают пальцы, скользят тканью — при складывании одежды.

Захваченные видео затем комментируются Кумаром и его командой. Они рисуют рамки вокруг разных частей видео, отмечают полотенца и отмечают, двигалась ли рука влево или вправо, а также классифицируют каждый жест.

Кумар и его коллеги из города Карур, который находится примерно в 300 милях к югу от Бангалора, вряд ли станут наставниками для следующего поколения роботов с искусственным интеллектом.

«Компании создают фундаментальные модели, подходящие для физического мира», — сказал Ульрик Стиг Хансен, соучредитель Encord, платформы управления данными в Сан-Франциско, которая заключает контракт с Objectways на сбор демонстрационных данных с участием людей. «Происходит огромное возрождение робототехники».

Encord сотрудничает с такими компаниями, занимающимися робототехникой, как Physical Intelligence, поддерживаемая Джеффом Безосом, и Dyna Robotics.

Tesla, Boston Dynamics и Nvidia входят в число лидеров в США в гонке по разработке роботов следующего поколения. Tesla уже использует своих роботов Optimus, которые, похоже, часто управляются дистанционно, для различных корпоративных мероприятий. У Google есть собственные модели искусственного интеллекта для робототехники. OpenAI наращивает свои амбиции в области робототехники.

Нвидиа проекты рынок роботов-гуманоидов может достичь 38 миллиардов долларов в течение следующего десятилетия.

Есть также много менее известных компаний, пытающихся предоставить аппаратное обеспечение, программное обеспечение и данные, чтобы сделать серийного многозадачного робота-гуманоида реальностью.

Крупные языковые модели, на которых работают чат-боты, такие как ChatGPT, освоили использование языка, изображений, музыки, кодирования и других навыков, собирая все в Интернете. Они используют весь Интернет, чтобы выяснить, как все взаимосвязано, и имитировать то, как мы что-то делаем, например, отвечая на вопросы и создавая фотореалистичные видеоролики.

Данные о том, как устроен физический мир (например, сколько силы требуется, чтобы сложить салфетку), труднее получить и преобразовать в то, что может использовать ИИ.

По мере того, как робототехника совершенствуется и сочетается с искусственным интеллектом, который знает, как передвигаться в физическом мире, это может привести к появлению большего количества роботов на рабочих местах и дома. Хотя многие опасаются, что это может привести к потере рабочих мест и безработице, оптимисты полагают, что усовершенствованные роботы избавят людей от утомительной работы, снизят затраты на рабочую силу и, в конечном итоге, дадут людям больше времени, чтобы расслабиться или сосредоточиться на более интересной и важной работе.

Многие компании вступили в борьбу в качестве продавцов лопат в золотой лихорадке ИИ, видя возможность собрать данные для того, что называется физическим ИИ.

Одна группа компаний обучает ИИ тому, как действовать в реальном мире, заставляя людей управлять роботами удаленно.

Али Ансари, основатель Micro1 из Сан-Франциско, сказал, что сбор данных в новой робототехнике все больше фокусируется на телеоперациях. Люди с контроллерами заставляют робота что-то делать, например, брать чашку или заваривать чай. ИИ получает видео успешных и неудачных попыток что-то сделать, и он учится это делать.

Обучение дистанционному управлению может проходить в той же комнате, что и роботы, или с контроллером в другой стране. Хансен из Encord сообщил, что в Восточной Европе планируется построить склады, где большие группы операторов будут сидеть с джойстиками, управляя роботами по всему миру.

По словам Мохаммеда Мусы, основателя компании Deepen AI, компании по аннотированию данных со штаб-квартирой в Калифорнии, их становится больше, их называют «оружейными фермами». Они появляются по мере роста спроса.

«Сегодня используется смесь реальных и синтетических данных, собранных в ходе человеческих демонстраций, сеансов телеоперации и постановочных сред», — сказал он. «Большая часть этой работы по-прежнему выполняется за пределами Запада, но автоматизация и моделирование со временем уменьшают эту зависимость».

У некоторых есть критиковали телеуправляемые гуманоиды за то, что они скорее шипят, чем вещественны. Они могут быть впечатляющими, когда их контролируют другие, но все же далеки от полной автономии.

Micro1 от Ansari также выполняет функцию, называемую сбором человеческих данных. Людям выгодно носить умные очки, которые фиксируют повседневные действия. Это происходит в Бразилии, Аргентине, Индии и США.

Компания Fig AI из Сан-Хосе в партнерстве с гигантом недвижимости Brookfield засняла кадры изнутри 100 000 домов. Это будет собирать данные о человеческом движении, чтобы научить гуманоидных роботов передвигаться в человеческих пространствах. Об этом заявила компания потратю большую часть 1 миллиарда долларов компания собрала на сбор данных о людях от первого лица.

Компания Scale AI, поддерживаемая мета-поддержкой, собрала 100 000 часов аналогичных обучающих материалов по робототехнике в своей лаборатории прототипов, созданной в Сан-Франциско.

Тем не менее, обучение ботов не всегда легко.

Двадцатилетний Дев Мандал создал компанию в Бангалоре, надеясь заработать на потребности в физических данных для обучения ИИ. Он предложил недорогую индийскую рабочую силу для отслеживания движений. После рекламы своих услуг он получил просьбу помочь обучить роботизированную руку для приготовления еды, а также робота для подключения и отключения кабелей в центрах обработки данных.

Но ему пришлось отказаться от бизнеса, поскольку потенциальным клиентам требовались данные о физическом передвижении, собранные очень специфическим образом, что затрудняло ему заработок, даже с использованием недорогой рабочей силы в Индии. Клиенты хотели, например, использовать конкретную роботизированную руку, используя определенный тип стола с фиолетовой подсветкой.

«Им пришлось указать все, вплоть до цвета стола», — сказал он. «И они сказали, что это должен быть именно тот цвет».

Тем не менее, у папок для полотенец Карура еще много работы.

Их босс, основатель Objectways Рави Шанкар, говорит, что в последние месяцы его фирма снимала и комментировала кадры, на которых роботизированные руки складывают картонные коробки и футболки и выбирают определенные цветные предметы на столе.

Недавно компания начала комментировать видеоролики более продвинутых роботов-гуманоидов, помогая им обучать сортировке и складыванию полотенец и одежды, складывать их и размещать в разных углах стола. Его команде пришлось аннотировать 15 000 видеороликов, на которых роботы выполняют свою работу.

“Иногда руки робота выбрасывают одежду и не складываются должным образом. Иногда она разбрасывает стопку вещей”, – но роботы быстро учатся, – говорит 27-летний Кавин, сотрудник Objectways, известный под одним именем. «Через пять-десять лет они смогут выполнять всю работу, а нам ничего не останется».