RoboTool позволяет творчески использовать инструменты в роботах

Если ингредиент находится вне досягаемости на высокой полке кладовой, вам понадобится не более нескольких секунд, чтобы найти ступеньку или, может быть, просто стул, на который можно встать и принести ингредиент в пределах досягаемости. Это простое решение является результатом сложного подхода к решению проблем, который исследователи называют творческим использованием инструментов.

Хотя использование инструментов по назначению является полезным навыком, творческое использование инструментов зависит не только от способности идентифицировать инструменты и эффективно их использовать, но и от склонности предсказывать результаты, что делает его признаком развитого интеллекта, который, за исключением людей, мало кто знает. животные освоились.

Исследователи факультета машиностроения Университета Карнеги-Меллон в сотрудничестве с Google DeepMind задали следующий вопрос: поскольку люди понимают творческое использование инструментов, можем ли мы научить роботов тоже ими пользоваться?

«Основная проблема использования творческих инструментов заключается в том, что это по определению «неизвестная неизвестная» проблема, то есть отсутствие демонстрации», — сказал Дин Чжао.

«В противном случае речь идет об обучении, а не о создании. Поэтому мы должны привлечь внешние знания, чтобы помочь роботам провести мозговой штурм. Большие языковые модели, которые извлекают все знания из Интернета, являются идеальными ингредиентами в этой схеме», — сказал Чжао. , доцент кафедры машиностроение и директор лаборатории безопасного искусственного интеллекта CMU.

Чтобы изучить это, исследователи разработали RoboTool, систему творческого использования инструментов, основанную на большие языковые модели (LLM), которые принимают инструкции на естественном языке о среде робота, включая размер и расположение объектов в его рабочем пространстве, а также другие ограничения, связанные с вариантом реализации. Затем RoboTool выводит непосредственно исполняемый код Python в качестве плана выполнения задачи.

«В отличие от существующих моделей, которые дают роботам конкретные указания, такие как «используй эту вилку, чтобы съесть этот торт», мы даем нашему роботу только цель высокого уровня, например, «съесть торт», — объяснил Мэнди Сюй, Кандидат наук. кандидат технических наук.

RoboTool был подвергнут испытанию, когда исследовательская группа попросила двух разных роботов выполнить три задачи, требующие выбора инструмента, последовательного использования инструмента и изготовления инструмента.

Выбор инструмента оценивалось путем задания роботизированная рука схватить пакет молока вне досягаемости и попросить четвероногого робота перебраться с одного дивана на другой, не забывая о промежутке между ними. Для достижения успеха обоим роботам пришлось выбрать наиболее подходящий инструмент среди множества вариантов. Они продемонстрировали широкое понимание размера и формы объекта, а также способность анализировать связь между этими свойствами и конечной целью прохождения теста.

Последовательное использование инструмента требует, чтобы роботы использовали ряд инструментов в определенном порядке для достижения цели. Роботы команд продемонстрировали это, перемещая блоки вместе, чтобы залезть на диван, и с помощью палки толкая банку на лист бумаги, чтобы подтянуть банку в пределах досягаемости.

Производство инструментов призвал роботов выполнять задачи, создавая инструменты из доступных материалов, например, используя доску и трубу, чтобы создать рычаг для подъема куба. Этот тест требует, чтобы робот распознавал неявные связи между объектами и собирал компоненты посредством манипуляций.

«Эта способность важна в робототехнике, поскольку она позволяет роботам выполнять задачи, которые изначально казались невозможными», — сказал Пейде Хуанг, доктор философии. кандидат технических наук.

В дальнейшем команда включит в систему модели видения, чтобы раскрыть еще более сильные способности восприятия и рассуждения. Они также стремятся разработать более интерактивные способы участия людей в творческом использовании инструментов роботов и управления ими.