Инструмент искусственного интеллекта, который может сделать производство быстрее и эффективнее – с помощью кирпичей LEGO

Новый инструмент с AI, созданный исследователями в Школе компьютерных наук Университета Карнеги-Меллона, может изменить способ производства и строительства.

Brickgpt Использует текстовые подсказки, чтобы помочь людям – и даже роботам – ворчать идеи в жизнь с кирпичами Lego. Требуется простое слово, такое как «гитара», и создает руководство по кирпику для человека или робота, чтобы создать физически стабильную модель этого объекта. В настоящее время этот инструмент сосредоточен на строительстве с кирпичами Lego, но превращение текстовой подсказки во что -то, что физически стабильное выходит за рамки игры.

“Это исследование прокладывает путь к генеративному производству, когда люди могут использовать Генеративная модель Чтобы спроектировать повседневные объекты, они могут построить себя »,-сказал Джун-Янь Чжу, доцент по вопросам компьютерных наук и робототехники Майкла Б. Донохью в Институте робототехники CMU (RI).

«Они могут построить стул, диван или детскую игрушку. Это новая граница, новое использование этих моделей, помимо создания видео или фотографий в социальных сетях. Эти кирпичные игрушки являются простой средой, и это отправная точка».

Исследователи сказали, что это слияние ИИ и робототехники может ускорить процесс проектирования и создания новых вещей.

«Это может принести огромную выгоду для производственного мира», – сказал Чанглиу Лю, доцент в RI. «Требуется много времени, чтобы превратить идеи в физический дизайн и прототип. Но если вы можете интегрировать генеративный ИИ в процесс, он может значительно повысить эффективность и снизить контрольно -пропускные пункты для начала проектов».

В настоящее время демонстрация Brickgpt может производить пошаговые руководства для людей или роботов, чтобы создать 21 тип моделей из кирпичей Lego, включая птичьего дома, диван и пианино. Если кто -то хотел создать диван, он вводит «диван» в Brickgpt, который генерирует трехмерную модель. Затем алгоритм преобразует трехмерную модель в кирпичные структуры и проверки Brickgpt, чтобы убедиться, что структура является стабильной. Человек или роботизированная рука может следовать шагам и построить диван.

Чтобы обучить Brickgpt, исследователи сгенерировали StableText2brick, набор данных, содержащий более 47 000 кирпичных структур, изготовленных из более чем 28 000 уникальных 3D -объектов, сопровождаемых подробными подписями. Исследователи взяли существующий набор данных из 3D -форм, Shapenetcore и преобразовали эти формы в сетку мелких кубиков, процесс, который исследование описывает как вокселизм. Затем они обучили авторегрессивную большую языковую модель (LLM), которая прогнозирует будущие значения на основе предыдущих.

Например, в Brickgpt LLM предсказывает следующий кирпич на основе предыдущего, гарантируя, что структура стабильна и не упадет. Если на этом пути есть ошибка, Brickgpt возвращается и устраняет нестабильные точки, чтобы гарантировать стабильность структуры.

Наряду с Лю и Чжу, исследовательская группа SCS включает в себя Ava Pun, докторантуру в факультете компьютерных наук; Кэнгл Дэн и Руйсуань Лю, докторанты в RI; и Дева Раманан, профессор RI.

«Если структура нестабильна, есть процесс отката», – сказал Пан. «Во время этого шага модель определяет, какие кирпичи были неправильными или нестабильными, и мы возвращаемся к точке до этого. Мы обнаруживаем нестабильность с помощью нашего алгоритма рассуждений физики, который генерирует показатель стабильности для каждого кирпича в структуре. Если оценка достаточно высока, это означает, что кирпич был стабильным».

Исследователи надеются расширить эту модель, что позволит ей генерировать больше, чем текущие 21 объекты. Они также надеются расширить разнообразие своих библиотечных произведений, чтобы повысить точность и сложность генерируемых конструкций.