Новый алгоритм обеспечивает эффективное машинное обучение с симметричными структурами данных

Если вы поверните изображение молекулярной структуры, человек может сказать, что повернутое изображение остается той же молекулой, но модель машинного обучения может подумать, что это новая точка данных. На языке информатики молекула является «симметричной», что означает, что фундаментальная структура этой молекулы остается прежней, если она подвергается определенным преобразованиям, таким как вращение.

Если модель обнаружения наркотиков не понимает симметрияэто может сделать неточные прогнозы о молекулярных свойствах. Но, несмотря на некоторые эмпирические успехи, было неясно, существует ли вычислительно эффективный метод для обучения хорошей модели, которая гарантированно будет уважать симметрию.

Новое исследование, проведенное исследователями MIT, отвечает на этот вопрос и показывает первый метод машинного обучения с симметрией, который доказуемо эффективен с точки зрения как количества необходимых данных, так и необходимых данных.

Эти результаты проясняют основополагающий вопрос, и они могут помочь исследователям в разработке более мощных моделей машинного обучения, которые предназначены для обработки симметрии. Такие модели были бы полезны в различных приложениях, от обнаружения новых материалов до выявления астрономических аномалий до раскрытия сложных климатических моделей.

«Эти симметрии важны, потому что они представляют собой какую-то информацию, о которой нам рассказывает о данных, и мы должны учитывать ее в наших моделях машинного обучения. Теперь мы показали, что можно эффективно выполнять машинное обучение с симметричными данными»,-говорит Behrooz Tahmasebi, студент-выпускник MIT и совместный автод автора изучать теперь опубликовано в arxiv Сервер препринта.

Он присоединился к газете автором соавтора и аспирантом MIT Ашкан Солеймани; Стефани Джегелька, доцент кафедры электротехники и компьютерных наук (EECS) и член Института данных, систем и общества (IDS) и Лаборатории компьютерного и искусственного интеллекта (CSAIL); и старший автор Патрик Джайле, профессор электротехники и компьютерных наук Дугальда К. Джексона, и главный следователь в лаборатории для информации и систем принятия решений (крышки). Исследование было недавно представлено на Международной конференции по машинному обучению (ICML 2025) состоялся 13–19 июля в Ванкувере.

Изучение симметрии

Симметричные данные появляются во многих областях, особенно в естественных науках и физике. Модель, которая распознает симметрию, способна идентифицировать объект, например, автомобиль, независимо от того, где этот объект находится в изображении, например.

Если Модель машинного обучения предназначен для обработки симметрии, она может быть менее точной и подверженной отказам при столкновении с новыми симметричными данными в реальных ситуациях. С другой стороны, модели, которые используют симметрию, могут быть быстрее и потребовать меньше данных для обучения.

Но обучение модели для обработки симметричных данных – нелегкая задача.

Один общий подход называется увеличением данных, где исследователи преобразуют каждую точку симметричной передачи данных в несколько точек данных, чтобы помочь модели лучше обобщать новые данные. Например, можно повернуть молекулярную структуру много раз для получения новых учебных данных, но если исследователи хотят, чтобы модель была гарантированно уважать симметрию, это может быть вычислительно запретительным.

Альтернативный подход заключается в кодировании симметрии в архитектуру модели. Хорошо известным примером этого является нейронная сеть графика (GNN), которая по своей природе обрабатывает симметричные данные из-за того, как она разработана.

«Графические нейронные сети быстро и эффективны, и они довольно хорошо заботятся о симметрии, но никто не знает, что эти модели изучают или почему они работают. Понимание GNN является основной мотивацией нашей работы, поэтому мы начали с теоретической оценки того, что происходит, когда данные симметрично», – говорит Тахмасеби.

Они исследовали статистическую компьютерной компромисс в машинном обучении с симметричными данными. Этот компромисс означает методы, которые требуют меньшего количества данных, могут быть более дорогими вычислительными вычислениями, поэтому исследователям необходимо найти правильный баланс.

Опираясь на эту теоретическую оценку, исследователи разработали Эффективный алгоритм Для машинного обучения с симметричными данными.

Математические комбинации

Для этого они позаимствовали идеи из алгебры, чтобы сократить и упростить проблему. Затем они переформулировали проблему, используя идеи из геометрии, которые эффективно отражают симметрию.

Наконец, они объединили алгебру и геометрию в Проблема оптимизации Это можно решить эффективно, что приведет к их новому алгоритму.

«Большая часть теории и применений сосредоточилась на алгебре или геометрии. Здесь мы только что их объединили», – говорит Тахмасеби.

Алгоритм требует меньше образцов данных для обучения, чем классические подходы, что повысило бы точность и способность модели адаптироваться к новым приложениям.

Доказав, что ученые могут разрабатывать эффективные алгоритмы для машинного обучения с симметрией и демонстрируя, как это можно сделать, эти результаты могут привести к разработке новых архитектур нейронных сети, которые могут быть более точными и менее ресурсными, чем современные модели.

Ученые могут также использовать этот анализ в качестве отправной точки для изучения внутренней работы GNN и того, как их операции отличаются от алгоритма, разработанного исследователями MIT.

“Как только мы узнаем, что лучше, мы можем спроектировать более толковаемые, более надежные и более эффективные Нейронная сеть Архитектуры », добавляет Сулеймани.

Эта история переиздана предоставлена MIT News (web.mit.edu/newsoffice/), популярный сайт, который охватывает новости о исследованиях, инновациях и преподавании MIT.