Дискретная пространственная диффузия моделирует данные, соблюдая научные принципы

Исследователи из Национальной лаборатории Лос-Аламоса разработали новый подход, устраняющий ограничения генеративных моделей искусственного интеллекта. В отличие от моделей генеративной диффузии, подход дискретной пространственной диффузии, разработанный командой, учитывает научные и физические принципы. Команда проверила свою модель на двух сложных научных приложениях — микроструктурах подземных горных пород и электродах литий-ионных аккумуляторов — с многообещающими результатами.

«В настоящее время модели генеративной диффузии создают красивые изображения, но они не учитывают реальные, научно обоснованные ограничения, которые являются необходимой предпосылкой для моделирования научных данных», — сказал Хавьер Э. Сантос, ученый из Лос-Аламоса и ведущий автор исследования. «Мы разработали первый реальный процесс физической диффузии, который строго подчиняется таким ограничениям, как соотношение общей массы, и, таким образом, может быть применим для решения проблем науки, техники и промышленности».

Модели генеративной диффузии обычно работают с непрерывной интенсивностью и независимо рассеиваются по пикселям и цветовым каналам, что делает их полезными для создания изображений, но плохо подходящими для приложений, включающих дискретные величины. Но подход дискретной пространственной диффузии обучает модель генерировать данные, используя уже доступные дискретные величины — например, количество частиц или единицы материала, — которые могут обеспечить точное представление тем, представляющих интерес для науки.

Новый подход к диффузионным моделям

Модели генеративной диффузии создают новые данные, добавляя шум к обучающим данным (например, к изображению) до тех пор, пока исходные данные не станут чистым шумом, а затем обращают процесс шумообразования вспять. В процессе модели учатся восстанавливать данные для создания новых изображений. Используя аддитивный шум, этот подход нарушает научный принцип сохранения материи, который гласит, что материя не может быть создана или уничтожена в закрытой системе.

Модель дискретной пространственной диффузии сохраняет количество частиц как в прямом процессе добавления шума, так и в обратном процессе шумоподавления. Такой подход заставляет модель генерировать изображения только с уже доступной ей информацией. Использование пространственной диффузии обеспечивает сохранение частиц (первая модель дискретной диффузии, которая делает это), в то же время привнося стохастичность, случайные изменения, которые полезны для математических расчетов, лежащих в основе прогнозирующей способности прогнозирующей модели.

Команда оценила свой подход, используя стандартные наборы контрольных данных, обычно используемые в литературе по машинному обучению. Первоначальные проверки показали, что модель способна воспроизводить изображения из CIFAR-10 (набор данных из 10 категорий объектов, таких как собаки, кошки и транспортные средства) и CelebA (набор данных с человеческими лицами). Примечательно, что модель достигла этого, работая в дискретном пространстве с фиксированным количеством пикселей, что представляет собой серьезные технические проблемы.

Затем они перешли к проверке подхода дискретной пространственной диффузии на подземных микроструктурах горных пород. Тестируя модель с тремя сложными наборами данных о пористых породах, модель доказала свою способность генерировать реалистичные образцы изображений, подчиняющиеся принципу сохранения материи, что является потенциально ценным инструментом для промышленного применения в области разведки нефти и газа, улавливания углерода и многого другого.

Команда также проверила модель на наборах данных электроды литий-ионного аккумуляторагенерируя изображения, которые могут показать особенности электродов, например, как электричество проходит через структуру. Проверка соответствовала структурной точности электрода, а также количественным показателям, используемым в полевых условиях. Это понимание может помочь исследователям разработать более эффективные структуры для литий-ионных батарей.

«Наша модель дискретной пространственной диффузии основана на моделях, которые были глубоко изучены и уже лежат в основе исследований в таких областях, как биология и геология», — сказал Йен Тинг Линь, ученый из Лос-Аламоса и главный исследователь проекта. «Наша работа показывает, как понимание этих традиционных физических моделей может вдохновить на совершенно новые подходы к машинному обучению и, в свою очередь, как эти подходы могут принести пользу науке».

Результаты команды по проекту «Моделирование диффузии с физическими ограничениями для научных данных» будут представлены в декабре на НейрИПС 2025 как прожекторная бумага на конференции и семинаре по нейронной обработке информации. Этот документ доступный на arXiv сервер препринтов.