Помощь агентам ИИ в поиске для получения наилучших результатов из больших языковых моделей.

Являетесь ли вы ученым, обдумывающим исследовательские идеи, или генеральным директором, надеющимся автоматизировать задачу в области человеческих ресурсов или финансов, вы обнаружите, что инструменты искусственного интеллекта (ИИ) становятся помощниками, о которых вы даже не подозревали. В частности, многие профессионалы используют возможности полуавтономных программных систем, называемых агентами ИИ, которые могут вызывать ИИ в определенных точках для решения проблем и выполнения задач.

Агенты ИИ особенно эффективны, когда используют большие языковые модели (LLM), поскольку эти системы мощные, эффективные и адаптируемые. Один из способов запрограммировать такую технологию — описать в коде то, что вы хотите, чтобы ваша система делала («рабочий процесс»), включая случаи, когда ей следует использовать LLM. Если бы вы были компанией-разработчиком программного обеспечения, пытающейся обновить свою старую кодовую базу, чтобы использовать более современный язык программирования для лучшей оптимизации и безопасности, вы могли бы создать систему, которая использует LLM для трансляции кодовой базы по одному файлу за раз, тестируя каждый файл по ходу работы.

Но что происходит, когда студенты LLM совершают ошибки? Вы захотите, чтобы агент вернулся и предпринял еще одну попытку, учтя уроки, извлеченные из предыдущих ошибок.

Написание этого кода может потребовать столько же усилий, сколько и реализация исходного агента — если ваша система перевода базы кода содержит тысячи строк кода, вам придется вносить тысячи строк кода в изменения или дополнения для поддержки логики возврата, когда LLM совершают ошибки. Чтобы сэкономить время и усилия программистов, Лаборатория компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Asari AI разработали структуру под названием «EnCompass».

Благодаря EnCompass вам больше не придется вносить эти изменения самостоятельно. Вместо этого, когда EnCompass запускает вашу программу, она автоматически возвращается назад, если LLM допускают ошибки. EnCompass также может создавать клоны среды выполнения программы, чтобы параллельно выполнять несколько попыток в поисках лучшего решения. В общем, EnCompass перебирает различные возможные пути, по которым ваш агент может пойти в результате различных возможных результатов всех вызовов LLM, ища путь, по которому LLM находит лучшее решение.

Затем все, что вам нужно сделать, это аннотировать места, где вы, возможно, захотите вернуться или клонировать среду выполнения программы, а также записать любую информацию, которая может быть полезна для стратегии, используемой для поиска по различным возможным путям выполнения вашего агента (стратегия поиска). Затем вы можете отдельно указать стратегию поиска: вы можете либо использовать ту, которую EnCompass предоставляет «из коробки», либо, при желании, реализовать свою собственную стратегию поиска.

«С помощью EnCompass мы отделили стратегию поиска от основного рабочего процесса агента искусственного интеллекта», — говорит ведущий автор Чжэнин Ли ’25 MEng ’25, доктор философии по электротехнике и информатике Массачусетского технологического института (EECS). студент, исследователь CSAIL и консультант по исследованиям в Asari AI. «Наша структура позволяет программистам легко экспериментировать с различными стратегиями поиска, чтобы найти ту, которая позволит агенту ИИ работать лучше всего».

EnCompass был реализован для агентов, реализованных в виде программ Python, вызывающих LLM, и продемонстрировал заметную экономию кода. EnCompass сократил затраты на кодирование для реализации поиска между агентами до 80 %, например, агентом для перевода репозиториев кода и для обнаружения правил преобразования цифровых сетей.

В будущем EnCompass может позволить агентам решать крупномасштабные задачи, включая управление огромными библиотеками кодов, проектирование и проведение научных экспериментов, а также создание чертежей ракет и другого оборудования.

Работа команды была представлена на конференции по нейронным системам обработки информации (г.НейрИПС) в прошлом месяце. Работа опубликовано на arXiv сервер препринтов.

Разветвление

Программируя своего агента, вы отмечаете определенные операции, например вызовы LLM, результаты которых могут различаться. Эти аннотации называются «точками ветвления». Если вы представляете, что ваша программа-агент генерирует единственную сюжетную линию истории, то добавление точек ветвления превращает историю в сюжетную игру «выбери свое приключение», где точки ветвления — это места, где сюжет разветвляется на несколько будущих сюжетных линий.

Затем вы можете указать стратегию, которую EnCompass использует для навигации по этой сюжетной игре в поисках наилучшего возможного конца истории. Это может включать в себя запуск параллельных потоков выполнения или возврат к предыдущей точке ветвления, когда вы застряли в тупике.

Пользователи также могут сразу подключить несколько распространенных стратегий поиска, предоставляемых EnCompass, или определить свою собственную стратегию. Например, вы можете выбрать поиск по дереву Монте-Карло, который строит дерево поиска путем балансирования исследования и эксплуатации, или лучевой поиск, который сохраняет несколько лучших результатов на каждом этапе. EnCompass позволяет легко экспериментировать с различными подходами, чтобы найти лучшую стратегию, позволяющую максимизировать вероятность успешного выполнения вашей задачи.

Эффективность кодирования EnCompass

Так насколько же эффективен код EnCompass при добавлении поиска в программы-агенты? Согласно выводам исследователей, фреймворк значительно сократил объем программистов, которые нужно было добавлять в свои программы-агенты для добавления поиска, помогая им экспериментировать с различными стратегиями, чтобы найти ту, которая работает лучше всего.

Например, исследователи применили EnCompass к агенту, который переводит репозиторий кода с языка программирования Java (обычно используемого для программирования приложений и корпоративного программного обеспечения) на Python. Они обнаружили, что реализация поиска с помощью EnCompass — в основном включающая добавление аннотаций точек ветвления и аннотаций, фиксирующих эффективность каждого шага — потребовала на 348 строк кода меньше (около 82%), чем реализация его вручную.

Они также продемонстрировали, как EnCompass позволил им легко опробовать различные стратегии поиска, определив наилучшую стратегию в виде двухуровневого алгоритма поиска лучей, добившись повышения точности от 15 до 40% в пяти различных хранилищах при бюджете поиска, в 16 раз превышающем вызовы LLM, сделанные агентом без поиска.

«Поскольку LLM становятся все более неотъемлемой частью повседневного программного обеспечения, становится все более важным понимать, как эффективно создавать программное обеспечение, которое использует их сильные стороны и обходит их ограничения», — говорит соавтор Армандо Солар-Лезама, профессор Массачусетского технологического института по EECS и главный исследователь CSAIL. «EnCompass — важный шаг в этом направлении».

Исследователи добавляют, что EnCompass нацелен на агентов, в которых программа определяет этапы рабочего процесса высокого уровня; текущая версия их структуры менее применима к агентам, которые полностью контролируются LLM.

«В этих агентах вместо того, чтобы иметь программу, которая определяет шаги, а затем использовать LLM для выполнения этих шагов, LLM сам решает все», — говорит Ли. «Не существует базового программного рабочего процесса, поэтому вы можете выполнять поиск во время вывода по всему, что LLM изобретает, на лету. В этом случае меньше необходимости в таком инструменте, как EnCompass, который изменяет способ выполнения программы с помощью поиска и обратного отслеживания».

Ли и его коллеги планируют распространить EnCompass на более общие системы поиска для агентов ИИ. Они также планируют протестировать свою систему на более сложных задачах, чтобы усовершенствовать ее для реального использования, в том числе в компаниях.

Более того, они оценивают, насколько хорошо EnCompass помогает агентам работать с людьми над такими задачами, как мозговой штурм при разработке аппаратного обеспечения или перевод гораздо более крупных библиотек кода. На данный момент EnCompass — это мощный строительный блок, который позволяет людям легче работать с агентами ИИ, повышая их производительность.

«EnCompass появился вовремя, поскольку агенты, управляемые искусственным интеллектом, и методы поиска начинают менять рабочие процессы в разработке программного обеспечения», — говорит профессор Университета Карнеги-Меллон Имин Ян, который не участвовал в исследовании.

«Четко отделяя логику программирования агента от его стратегии поиска во время вывода, платформа предлагает принципиальный способ изучить, как структурированный поиск может улучшить генерацию, трансляцию и анализ кода. Эта абстракция обеспечивает прочную основу для более систематических и надежных подходов к разработке программного обеспечения, основанных на поиске».

Ли и Солар-Лезама написали статью вместе с двумя исследователями искусственного интеллекта Asari: профессором Калифорнийского технологического института Исонгом Юэ, советником компании, и старшим писателем Стефаном Чжэном, основателем и генеральным директором. Их работу поддержал Asari AI.