Проектирует системы на основе искусственного интеллекта и создает многокомпонентные объекты по подсказкам пользователя.

Системы автоматизированного проектирования (САПР) — это проверенные инструменты, используемые для проектирования многих физических объектов, которые мы используем каждый день. Но для освоения программного обеспечения САПР требуется обширный опыт, а многие инструменты имеют настолько высокий уровень детализации, что их невозможно использовать для мозгового штурма или быстрого прототипирования.

Стремясь сделать проектирование более быстрым и доступным для неспециалистов, исследователи из Массачусетского технологического института и других организаций разработали систему роботизированной сборки, управляемую искусственным интеллектом, которая позволяет людям создавать физические объекты, просто описывая их словами.

Их система использует генеративную модель искусственного интеллекта для создания трехмерного представления геометрии объекта на основе подсказок пользователя. Затем вторая генеративная модель ИИ рассуждает о желаемом объекте и определяет, где должны располагаться различные компоненты в соответствии с функцией и геометрией объекта.

Система может автоматически построить объект из набора готовых деталей с помощью роботизированной сборки. Он также может дорабатывать дизайн на основе отзывов пользователя.

Исследователи использовали эту комплексную систему для изготовления мебели, включая стулья и полки, из двух типов готовых компонентов. Компоненты можно разбирать и собирать по желанию, что снижает количество отходов, образующихся в процессе производства.

Они оценили эти проекты посредством исследования пользователей и обнаружили, что более 90% участников предпочитают объекты, созданные их системой, управляемой искусственным интеллектом, по сравнению с другими подходами.

Хотя эта работа является первоначальной демонстрацией, платформа может быть особенно полезна для быстрого прототипирования сложных объектов, таких как компоненты аэрокосмической отрасли и архитектурные объекты. В долгосрочной перспективе его можно будет использовать дома для изготовления мебели или других предметов на месте, без необходимости доставки громоздких изделий с центрального предприятия.

«Рано или поздно мы хотим иметь возможность общаться и разговаривать с роботом и системой искусственного интеллекта так же, как мы разговариваем друг с другом, чтобы создавать что-то вместе. Наша система — это первый шаг на пути к такому будущему», — говорит ведущий автор Алекс Кьяу, аспирант факультетов электротехники, информатики (EECS) и архитектуры Массачусетского технологического института.

К Кьяу присоединяется Рича Гупта, аспирант архитектуры Массачусетского технологического института; Фаез Ахмед, доцент кафедры машиностроения; Лоуренс Сасс, профессор и руководитель вычислительной группы факультета архитектуры; старший автор Рэндалл Дэвис, профессор EECS и член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL); а также другие сотрудники Google Deepmind и Autodesk Research.

Этот документ недавно был представлен на конференции по нейронным системам обработки информации (НейрИПС 2025) и есть доступный на arXiv сервер препринтов.

Создание многокомпонентного проекта

Пока генеративные модели ИИ хорошо генерируют трехмерные представления, известные как сетки, из текстовых подсказок, большинство из них не создают единообразных представлений геометрии объекта, которые имеют детали на уровне компонентов, необходимые для роботизированной сборки.

Разделение этих сеток на компоненты является сложной задачей для модели, поскольку назначение компонентов зависит от геометрии и функциональности объекта и его частей.

Исследователи решили эти проблемы, используя модель языка видения (VLM), мощную генеративную модель искусственного интеллекта, которая была предварительно обучена понимать изображения и текст. Они поручают VLM выяснить, как два типа сборных деталей, структурные компоненты и панельные компоненты, должны сочетаться друг с другом, образуя объект.

«Есть много способов, которыми мы можем положить панели на физическом объекте, но роботу необходимо видеть геометрию и анализировать эту геометрию, чтобы принять по ней решение. Выступая одновременно в качестве глаз и мозга робота, VLM позволяет роботу делать это», — говорит Чжо.

Пользователь запрашивает систему текстом, например, набрав «сделай мне стул», и дает ей для начала сгенерированное ИИ изображение стула.

Затем VLM рассуждает о стуле и определяет, где компоненты панели располагаются поверх структурных компонентов, основываясь на функциональности многих примеров объектов, которые он видел раньше. Например, модель может определить, что сиденье и спинка должны иметь панели, чтобы иметь поверхности для того, чтобы кто-то сидел и опирался на стул.

Он выводит эту информацию в виде текста, например «сиденье» или «спинка». Затем каждая поверхность кресла маркируется номерами, и информация передается обратно в VLM.

Затем VLM выбирает метки, соответствующие геометрическим частям стула, которые должны получить панели на 3D-сетке для завершения дизайна.

Совместное проектирование человека и искусственного интеллекта

Пользователь остается в курсе всего этого процесса и может усовершенствовать дизайн, дав модели новую подсказку, например: «Используйте панели только на спинке, а не на сиденье».

” дизайн пространства очень большой, поэтому мы сужаем его с помощью отзывов пользователей. Мы считаем, что это лучший способ сделать это, потому что у людей разные предпочтения, и построить идеализированную модель для всех было бы невозможно», — говорит Чжо.

«Процесс с участием человека позволяет пользователям управлять проектами, созданными с помощью ИИ, и чувствовать свою ответственность за конечный результат», — добавляет Гупта.

После завершения создания 3D-сетки роботизированная система сборки собирает объект из готовых деталей. Эти многоразовые детали можно разобрать и собрать в различные конфигурации.

Исследователи сравнили результаты своего метода с алгоритмом, который размещает панели на всех горизонтальных поверхностях, обращенных вверх, и алгоритмом, который размещает панели случайным образом. По данным исследования пользователей, более 90% людей предпочли дизайн, созданный их системой.

Они также попросили VLM объяснить, почему они решили разместить панели именно в этих местах.

«Мы узнали, что модель языка видения способна в некоторой степени понимать функциональные аспекты стула, такие как наклон и сидение, и понимать, почему панели размещаются на сиденье и спинке. Это не просто случайное распределение этих назначений», — говорит Кьяу.

В будущем исследователи хотят усовершенствовать свою систему, чтобы она могла обрабатывать более сложные и тонкие пользовательские запросы, например, стол из стекла и металла. Кроме того, они хотят включать дополнительные сборные компоненты, такие как шестерни, петли или другие движущиеся части, чтобы объекты могли иметь больше функциональности.

«Мы надеемся радикально снизить барьер доступа к инструментам проектирования. Мы показали, что можем использовать генеративный искусственный интеллект и робототехнику для быстрого, доступного и устойчивого преобразования идей в физические объекты», — говорит Дэвис.

Эта история переиздана с любезного разрешения MIT News (web.mit.edu/newsoffice/), популярный сайт, освещающий новости об исследованиях, инновациях и преподавании MIT.