Прерывание обучения энкодера в диффузионных моделях обеспечивает более эффективное генеративное ИИ

Новая структура для моделей генеративной диффузии была разработана исследователями в Science Tokyo, что значительно улучшило генеративные модели искусственного интеллекта. Метод переосмыслил модели моста Шернинга в качестве вариационных автоэкодоров с бесконечно многими скрытыми переменными, снижая вычислительные затраты и предотвращая переосмысление. Проведенно прерывая подготовку энкодера, этот подход позволил разработать более эффективное генеративное ИИ, с широкой применимостью за пределами стандартных диффузионных моделей.

Диффузионные модели являются одними из наиболее широко используемых подходов в генеративном ИИ для создания изображений и аудио. Эти модели генерируют новые данные, постепенно добавляя шум (Nooling) к реальным образцам, а затем изучая, как обратить вспять этот процесс (денообразование) в реалистичные данные. Широко используемая версия, модель на основе баллов, достигает этого в результате процесса диффузии, соединяющего до данных с достаточно давним интервалом. Этот метод, однако, имеет ограничение того, что когда данные сильно отличаются от предыдущего, временные интервалы процессов Nooling and Enoing становятся длиннее, что вызывает замедление генерации выборки.

Теперь исследовательская группа из Института наук Токио (Science Tokyo), Япония, предложила новую основу для диффузионных моделей, которая быстрее и вычислительно требовательно. Они достигли этого, переосмысливая Модели моста Schrödinger (SB)тип диффузионной модели, в качестве вариационных автоэкодоров (VAE).

Исследование проводилось аспирантом г -ном Кентаро Каба и профессором Масаюки Озеки из факультета физики в науке Токио, в сотрудничестве с г -ном Рео Симидзу (тогдашним аспирантом) и доцентом Юки Сугиямой из аспирантуры информационных наук в Университете Тохоку, Япония. Их выводы были опубликованы в Исследование физического обзора 3 сентября 2025 года.

Модели SB предлагают большую гибкость, чем стандартные модели на основе баллов, потому что они могут подключить любые два распределения вероятностей за конечное время с использованием стохастического дифференциального уравнения (SDE). Это поддерживает более сложные процессы затраты и более качественную генерацию выборки. Компромисс, однако, заключается в том, что модели SB являются математически сложными и дорогими для обучения.

Предлагаемый метод рассматривает это путем переформулирования моделей SB как VAE с несколькими скрытыми переменными. «Ключевое понимание заключается в расширении количества скрытых переменных от одной до бесконечности, используя неравенство обработки данных. Эта перспектива позволяет нам интерпретировать модели типа SB в рамках VAE»,-говорит Каба.

В этой настройке энкодер представляет собой процесс прямой, который отображает реальные данные в шумное скрытое пространство, в то время как декодер переворачивает процесс для реконструкции реалистичных образцов, и оба процесса смоделированы как SDE, изучаемые нейронными сетями.

В модели используется обучение цель с двумя компонентами. Первым является предшествующая потеря, которая гарантирует, что кодер правильно отображает распределение данных с предыдущим распределением. Вторым является сопоставление дрейфов, которое обучает декодера имитировать динамику процесса обратного энкодера. Более того, после того, как предыдущая потеря стабилизируется, обучение энкодера может быть остановлено на ранней стадии. Это позволяет нам быстрее завершать обучение, снижая риск пережитки и сохранения высокой точности в моделях SB.

«Целевая функция состоит из предыдущих частей, соответствующих потерю и дрейфа, которые характеризуют обучение нейронных сетей в кодере и декодере, соответственно. Вместе они снижают вычислительные затраты на обучение моделей типа SB. Было продемонстрировано, что прерывание обучения энкодера смягчает проблему перевышения»,-объясняет Озеки.

Этот подход является гибким и может быть применен к другим вероятностным наборам правил, даже не Markov-процессам, что делает его широко применимой схемой обучения.