Исследователь обсуждает, как недавно разработанный метод может помочь роботам идентифицировать объекты в захламленных пространствах.

Представьте себе чашку кофе, стоящую на столе. Теперь представьте себе книгу, частично закрывающую чашку. Как люди, мы все еще знаем, что такое кофейная чашка, хотя и не можем видеть ее целиком. Но робот может запутаться.

Роботам на складах и даже в наших домах сложно идентифицировать и подобрать предметы, если они расположены слишком близко друг к другу или если пространство загромождено. Это потому, что роботам не хватает того, что психологи называют «единством объекта», или нашей способности идентифицировать вещи, даже если мы не можем видеть их все.

Исследователи из Вашингтонского университета разработали способ научить роботов этому навыку. Метод, сокращенно названный THOR, позволил недорогому роботу идентифицировать предметы, в том числе бутылку горчицы, банку Pringles и теннисный мяч, на захламленной полке. В недавняя статья опубликовано в Транзакции IEEE в робототехникеКоманда продемонстрировала, что THOR превосходит современные модели.

UW News связался со старшим автором Ашисом Банерджи, доцентом UW в области промышленности и системная инженерия и факультеты машиностроения, чтобы узнать подробности о том, как роботы идентифицируют объекты и как работает THOR.

Как роботы чувствуют окружающую среду?

Мы ощущаем мир вокруг нас с помощью зрения, звука, обоняния, вкуса и осязания. Роботы воспринимают свое окружение с помощью одного или нескольких типов датчиков. Роботы «видят» вещи, используя либо стандартные цветные камеры, либо более сложные стереокамеры или камеры глубины. В то время как стандартные камеры просто записывают цветные и текстурированные изображения окружающей среды, стереокамеры и камеры глубины также предоставляют информацию о том, как далеко находятся объекты, точно так же, как это делают наши глаза.

Однако сами по себе датчики не могут позволить роботам «осмыслить» свое окружение. Роботам нужна система зрительного восприятия, похожая на зрительную кору человеческого мозга, чтобы обрабатывать изображения и определять, где находятся все объекты, оценивать их ориентацию, определять, какими могут быть объекты, и анализировать любой текст, написанный на них.

Почему роботам сложно идентифицировать объекты в захламленном пространстве?

Здесь есть две основные проблемы. Во-первых, вероятно, существует большое количество объектов различной формы и размера. Это затрудняет системе восприятия робота различение различных типов объектов. Во-вторых, когда несколько объектов расположены близко друг к другу, они загораживают обзор других объектов. У роботов возникают проблемы с распознаванием объектов, если они не имеют полного обзора объекта.

Есть ли типы объектов, которые особенно сложно идентифицировать в захламленном пространстве?

Многое зависит от того, какие объекты присутствуют. Например, сложно распознать меньшие объекты, если присутствуют разные размеры. Также сложнее различать объекты схожей или одинаковой формы, например разные виды шаров или коробок. Дополнительные проблемы возникают с мягкими или мягкими объектами, которые могут менять форму, когда робот собирает изображения с разных точек зрения в комнате.

Так как же работает THOR и почему он лучше предыдущих попыток решить эту проблему?

THOR на самом деле является детищем ведущего автора Экты Самани, которая завершила это исследование, будучи аспирантом Университета Вашингтона. Суть THOR заключается в том, что он позволяет роботу имитировать то, как мы, люди, знаем, что частично видимые объекты не являются сломанными или совершенно новыми объектами.

THOR делает это, используя форму объектов сцены для создания трехмерного представления каждого объекта. Отсюда он использует топологию, область математики, изучающую связи между различными частями объектов, чтобы отнести каждый объект к «наиболее вероятному» классу объектов. Это делается путем сравнения своего трехмерного представления с библиотекой сохраненных представлений.

THOR не полагается на обучение моделей машинного обучения изображениям захламленных комнат. Ему просто нужны изображения каждого из разных объектов сами по себе. THOR не требует от робота специализированных и дорогих датчиков или процессоров, а также хорошо работает с обычными камерами.

Это означает, что THOR очень легко построить и, что более важно, он легко полезен для совершенно новых пространств с разнообразным фоном, условиями освещения, расположением объектов и степенью загроможденности. Он также работает лучше, чем существующие методы распознавания на основе трехмерных форм, поскольку его трехмерное представление объектов более детальное, что помогает идентифицировать объекты в реальном времени.

Как можно использовать ТОР?

THOR можно использовать с любым обслуживающим роботом, независимо от того, работает ли робот у кого-то дома, в офисе, магазине, на складе или на производственном предприятии. Фактически, наша экспериментальная оценка показывает, что THOR одинаково эффективен для складских помещений, гостиных и помещений типа семейных комнат.

Хотя THOR работает значительно лучше, чем другие существующие методы, для всех видов объектов в этих захламленных пространствах, он лучше всего справляется с идентификацией предметов кухонного стиля, таких как кружка или кувшин, которые обычно имеют отличительные, но правильные формы и умеренные различия в размерах. .

Что дальше?

Есть еще несколько проблем, которые необходимо решить, и над некоторыми из них мы работаем. Например, сейчас THOR учитывает только форму объектов, но будущие версии могут также обратить внимание на другие аспекты внешнего вида, такие как цвет, текстура или текстовые метки. Также стоит изучить, как можно использовать THOR для борьбы с мягкими или поврежденными объектами, форма которых отличается от ожидаемой конфигурации.

Кроме того, некоторые пространства могут быть настолько загромождены, что некоторые объекты вообще не будут видны. В этих сценариях робот должен иметь возможность передвигаться, чтобы лучше «видеть» объекты, или, если это разрешено, перемещаться вокруг некоторых объектов, чтобы лучше видеть закрытые объекты.

И последнее, но не менее важное: робот должен уметь справляться с объектами, которых он раньше не видел. В этих сценариях робот должен уметь поместить эти объекты в категорию «разное» или «неизвестное», а затем обратиться за помощью к человеку, чтобы правильно идентифицировать эти объекты.