1769238051
2026-01-24 04:18:00
Автономная оптимизация «черного ящика» представляет собой серьезную проблему в различных областях, от секвенирования ДНК до робототехники, требуя выявления оптимальных решений на основе уже существующих наборов данных. Е Юань, Кан Чен (из MILA – Квебекского института искусственного интеллекта) и Ципенг Сан (из Макгилла, MILA – Квебекского института искусственного интеллекта) вместе с Динхуаем Чжаном и Кристофером Палом (из Политехнического университета Монреаля, кафедра искусственного интеллекта CIFAR в Канаде) демонстрируют новый подход, использующий диффузионные модели большого языка (dLLM) для преодоления ограничений существующих методов. Их исследования направлены на устранение трудностей, с которыми сталкиваются традиционные методы при учете двунаправленных зависимостей в сложных проектах, вместо этого они используют возможности итеративного уточнения и двунаправленного моделирования диффузионных LLM. Внедрив модуль контекстного шумоподавления и поиск по маскированному диффузионному дереву, команда эффективно обуславливает LLM имеющимися данными для создания улучшенных проектов, достигая самых современных показателей производительности на тестовых стендах проектирования, открывая путь для более эффективных и надежных стратегий оптимизации.
LLM оптимизируют проекты на основе ограниченных офлайн-данных
Ученые продемонстрировали новый подход к автономной оптимизации черного ящика (BBO), используя возможности диффузных моделей большого языка (LLM). Это революционное исследование решает задачу поиска оптимальных конструкций, когда доступен только ограниченный автономный набор данных о конструкциях и соответствующих им метках, что является обычным сценарием в таких областях, как проектирование последовательностей ДНК и робототехника. Команда добилась значительных успехов, выйдя за рамки традиционных методов, основанных на прокси-серверах для конкретных задач или генеративных моделях, вместо этого используя возможности контекстного обучения, присущие предварительно обученным LLM. Исследование раскрывает метод, который напрямую генерирует улучшенные проекты из подсказок на естественном языке, содержащих описания задач и офлайн-данные, преодолевая ограничения более ранних адаптаций авторегрессии LLM, которые боролись с двунаправленными зависимостями, имеющими решающее значение во многих проблемах проектирования.
В этой работе представлен модуль контекстного шумоподавления, обеспечивающий диффузионный LLM как для описания задачи, так и для автономного набора данных, тщательно отформатированных как подсказки на естественном языке. Затем диффузионному LLM предлагается итеративно шумоподавить замаскированные проекты, преобразуя их в улучшенные возможные решения. Эксперименты показывают, что этот подход эффективно использует возможности двунаправленного моделирования и итеративного уточнения диффузионных LLM, позволяя модели улавливать сложные зависимости в пространстве проектирования, которые часто упускаются моделями авторегрессии слева направо. Исследователи специально сосредоточились на повышении производительности в сценариях, где доступны только несколько помеченных точек данных, что является серьезным препятствием во многих реальных задачах оптимизации.
Чтобы еще больше улучшить процесс генерации и направить его к созданию высокопроизводительных проектов, команда разработала поиск по маскированному диффузионному дереву. Этот инновационный модуль представляет процесс шумоподавления как пошаговый поиск по дереву Монте-Карло, динамически балансируя исследование и эксплуатацию для эффективной навигации в пространстве проектирования. Каждый узел в дереве поиска представляет собой частично замаскированный проект, где каждый шаг шумоподавления представляет собой действие. Кандидаты тщательно оцениваются с использованием ожидаемого улучшения, рассчитанного в рамках Гауссова процесса, обученного на автономном наборе данных, что обеспечивает надежную и основанную на данных оценку производительности.
Исследование показывает, что их метод, получивший название dLLM, позволяет достичь самых современных результатов при нескольких настройках в тесте на стенде проектирования. Это означает существенный скачок вперед в производительности BBO, особенно в средах с дефицитом данных. Работа открывает захватывающие возможности для автоматизации проектирования сложных систем: от оптимизации последовательностей ДНК для определения специфического сродства связывания до разработки более эффективных стратегий роботизированного управления, и все это без необходимости дорогостоящих и трудоемких онлайн-оценок. Сочетание диффузионного LLM и поиска по маскированному дереву обеспечивает мощную основу для решения сложных задач оптимизации в широком спектре научных и инженерных дисциплин.
Диффузионные LLM для автономной оптимизации черного ящика
Ученые впервые разработали новый подход к автономной оптимизации черного ящика (BBO), используя возможности диффузных моделей большого языка (LLM). Эта работа решает задачу поиска оптимальных конструкций, таких как последовательности ДНК или конфигурации роботов, когда доступен только ограниченный автономный набор данных о конструкциях и их характеристиках. Вместо того, чтобы полагаться на прокси-модели или генеративные модели для конкретных задач, исследователи использовали возможности контекстного обучения предварительно обученных LLM для непосредственного создания улучшенных проектов на основе существующих данных. В исследовании было признано, что авторегрессионные LLM борются с двунаправленными зависимостями, присущими многим проблемам проектирования, что мотивирует исследование диффузных LLM с присущими им возможностями двунаправленного моделирования и итеративного уточнения.
Ядро их метода, называемого dLLM, сосредоточено вокруг модуля контекстного шумоподавления. Команда отформатировала как описания задач, так и автономный набор данных в виде подсказок на естественном языке, предоставив эту контекстную информацию в диффузный LLM вместе с инструкциями для создания улучшенных проектов. Важно отметить, что исследователи побудили LLM снизить уровень шума. в маске проекты, итеративно превращая их в многообещающих кандидатов. Этот инновационный метод позволяет модели учитывать зависимости во всем пространстве проектирования, преодолевая ограничения моделей авторегрессии слева направо. Диффузионный LLM был обусловлен описанием задачи и автономным набором данных, представленными на естественном языке, для управления процессом шумоподавления и создания улучшенных кандидатов.
Чтобы еще больше улучшить процесс создания дизайна, ученые ввели поиск по масочному диффузионному дереву. Этот метод представляет процесс шумоподавления как пошаговый поиск по дереву Монте-Карло, динамически балансируя исследование новых возможностей проектирования с использованием перспективных регионов. Каждый узел в дереве поиска представляет собой частично замаскированный проект, где каждый шаг шумоподавления представляет собой действие. Затем проекты-кандидаты оцениваются с использованием ожидаемого улучшения, рассчитанного с помощью гауссовского процесса, обученного на исходном автономном наборе данных. Этот Гауссовский процесс обеспечивает прогнозирующую модель эффективности проектирования, позволяя алгоритму поиска эффективно выявлять и расставлять приоритеты высокопроизводительных кандидатов.
В экспериментах использовалась платформа проектирования для демонстрации производительности dLLM. Команда достигла самых современных результатов в условиях небольшого количества снимков, продемонстрировав эффективность своего подхода в сценариях с ограниченными размеченными данными. Этот метод обеспечивает значительные улучшения за счет эффективного сочетания сильных сторон диффузионного LLM со сложным алгоритмом поиска по дереву, что позволяет находить оптимальные конструкции для решения сложных задач автономной оптимизации.
DLLM превосходно справляется с оптимизацией «черного ящика» за несколько шагов, достигая самого современного уровня.
Ученые достигли самых современных результатов в автономной оптимизации черного ящика (BBO) с использованием диффузных моделей большого языка (LLM). Команда разработала новый метод dLLM, который использует возможности двунаправленного моделирования и итеративного уточнения диффузных LLM для обнаружения оптимальных конструкций из автономных наборов данных. Эксперименты показали, что dLLM значительно превосходит существующие методы в тестовых тестах на стенде проектирования при нескольких настройках. Этот прорыв обеспечивает новый подход к решению проблем оптимизации в таких областях, как проектирование последовательностей ДНК и робототехника, где получение меченых данных обходится дорого.
Исследование было сосредоточено на устранении ограничений традиционных методов BBO, которые часто полагаются на прокси-серверы для конкретных задач или генеративные модели. Эти методы борются с ограниченностью данных и не могут в полной мере использовать возможности контекстного обучения предварительно обученных LLM. Ученые представили модуль контекстного шумоподавления, обуславливающий распространение LLM описаниями задач и автономными наборами данных, отформатированными как подсказки на естественном языке. Затем диффузионный LLM итеративно удаляет шумы замаскированных проектов, превращая их в улучшенных кандидатов. Измерения подтверждают, что этот процесс эффективно фиксирует двунаправленные зависимости, имеющие решающее значение в сложных пространствах проектирования, в отличие от авторегрессионных LLM, которые работают слева направо.
Для дальнейшего повышения производительности команда реализовала поиск по маскированному диффузионному дереву, оформив процесс шумоподавления как пошаговый поиск по дереву Монте-Карло. Каждый узел в дереве поиска представляет собой частично замаскированный проект, где каждый шаг шумоподавления представляет собой действие. Кандидаты оцениваются с использованием ожидаемого улучшения, рассчитанного с помощью гауссова процесса, обученного на автономном наборе данных. Испытания доказывают, что такое динамическое балансирование исследований и эксплуатации приводит к превосходным открытиям в проектах. Этот метод систематически исследует пространство дизайна, отдавая приоритет перспективным кандидатам, но при этом рассматривая менее изученные варианты.
Результаты показывают, что dLLM эффективно учится на ограниченных офлайн-данных, создавая высокопроизводительные проекты без необходимости онлайн-оценок. Команда измеряла производительность, используя ожидаемое улучшение в качестве сигнала вознаграждения, и распространяла эту информацию обратно по дереву для уточнения стратегии поиска. Данные показывают, что сочетание контекстного шумоподавления и поиска по маскированному диффузионному дереву раскрывает весь потенциал диффузионных LLM для BBO. Эта работа открывает захватывающие возможности для автоматизации процессов проектирования в различных научных и инженерных дисциплинах, потенциально ускоряя инновации в таких областях, как открытие лекарств и материаловедение.
#Распространение #больших #языковых #моделей #обеспечивает #оптимизацию #черного #ящика #ограниченными #размеченными #данными
Ещё по этой теме
