Мультиагентный ИИ может изменить все — если исследователи смогут оценить риски

Возможно, вы видели заголовки, бьющие тревогу по поводу безопасности новой технологии под названием агентный ИИ.

И тут на помощь приходит Сарра Алькахтани. Доцент кафедры информатики в Университете Уэйк Форест, она изучает безопасность агентов ИИ с помощью новой области многоагентного обучения с подкреплением (MARL).

Алькахтани получил награду Национального научного фонда CAREER за разработку стандартов и тестов, позволяющих лучше гарантировать, что многоагентные системы искусственного интеллекта будут продолжать работать правильно, даже если один из агентов выйдет из строя или будет взломан.

Агенты ИИ делают больше, чем просто просеивают информацию, чтобы отвечать на вопросы, как, например, технология большой языковой модели (LLM), лежащая в основе таких инструментов, как ChatGPT и Google Gemini. Агенты ИИ думают и принимают решения, основываясь на меняющейся среде — например, парк беспилотных автомобилей, разделяющих дорогу.

Мультиагентный ИИ предлагает бесчисленные возможности. Но неудача может поставить под угрозу жизни людей. Вот как Алькахтани предлагает решить эту проблему.

В чем разница между искусственным интеллектом Chat GPT и многоагентным искусственным интеллектом, который вы изучаете?

ChatGPT обучен на огромном объеме текста, чтобы защитить то, каким должно быть следующее слово и каким должен быть следующий ответ. Это обусловлено написанием людей. Агенты искусственного интеллекта, которые я создаю (многоагентное обучение с подкреплением), думают, рассуждают и принимают решения на основе динамической среды вокруг них. Таким образом, они не просто предсказывают, они предсказывают и принимают решения на основе этого прогноза. Они также определяют уровень неопределенности вокруг себя и затем принимают решение по этому поводу: безопасно ли мне принимать решение или мне следует проконсультироваться с человеком?

Агенты ИИ живут в определенной среде, реагируют и действуют в этой среде, чтобы со временем изменить ее, как беспилотный автомобиль. ChatGPT все еще имеет некоторый интеллект, но этот интеллект связан с текстом, предсказуемостью текста, а не с действиями или принятием решений.

Вы обучаете команды агентов ИИ с помощью процесса, называемого многоагентным обучением с подкреплением, или MARL. Как это работает?

Существует команда агентов ИИ, которые сотрудничают для достижения определенной задачи. Вы можете думать об этом как о команде медицинские дроны доставка крови или медикаментов. Им нужно скоординироваться и вовремя принять решение, что делать дальше — ускориться, замедлиться, подождать. Мои исследования сосредоточены на создании и разработке алгоритмов, которые помогут им эффективно и безопасно координировать свои действия, не вызывая каких-либо катастрофических последствий для них самих и людей.

Обучение с подкреплением — это парадигма обучения, которая фактически лежит в основе того, как мы, люди, учимся. Он учит агента вести себя, совершая ошибки и учась на своих ошибках. Поэтому мы награждаем их и наказываем, если они делают что-то хорошее или плохое. Награды и наказания — это математические функции, или число — значение. Если вы как агент сделаете что-то хорошее, я дам вам положительный результат. Это говорит мозгу агента, что это хорошо.

Мы, исследователи, предвидим проблемы, которые могут возникнуть, если мы развернем наши алгоритмы ИИ в реальном мире, а затем смоделируем эти проблемы, решим их, а затем исправим проблемы безопасности, будем надеяться, до того, как мы развернем алгоритмы. В рамках своего исследования я хочу разработать основополагающие критерии и стандарты для других исследователей, чтобы побудить их работать в этой очень многообещающей области, которая все еще недостаточно развита.

Похоже, что мультиагентный ИИ может предложить множество преимуществ: от выполнения задач, которые могут подвергнуть опасности людей, до заполнения пробелов в кадрах здравоохранения. Но каковы риски многоагентного ИИ?

Когда я начал работать над многоагентным обучением с подкреплением, я заметил, что когда мы добавляем небольшие изменения в среду или описание задачи для агентов, они будут допускать ошибки. Таким образом, они не будут полностью безопасны, если мы не обучим их выполнять одну и ту же задачу снова и снова, примерно миллион раз. Кроме того, когда мы скомпрометируем одного агента (под словом «компромисс» я имею в виду, что мы предполагаем, что злоумышленник возьмет на себя управление и изменит действия оптимального поведения этого агента), другие агенты также будут серьезно затронуты, то есть их процесс принятия решений будет нарушен, потому что один из членов команды делает что-то неожиданное.

Мы тестируем наши алгоритмы в игровых симуляциях, потому что они безопасны, и у нас есть четкие правила для игр, поэтому мы можем предвидеть, что произойдет, если агенты допустят ошибку. большой риск перемещает их из симуляций в реальный мир. Это область моих исследований: как заставить их вести себя предсказуемо и избежать ошибок, которые могут повлиять на них и на людей.

Меня больше всего беспокоит не научно-фантастическая часть ИИ, а то, что ИИ возьмет верх или что ИИ украдет наши рабочие места. Меня больше всего беспокоит то, как мы собираемся использовать ИИ и как мы собираемся его развертывать? Мы должны протестировать и убедиться, что наши алгоритмы понятны нам и конечным пользователям, прежде чем мы внедрим их в мире.

Вы получили награду NSF CAREER за повышение безопасности многоагентного искусственного интеллекта. Что ты делаешь?

Часть моих исследований заключается в разработке стандартов, эталонов и базовых показателей, которые побудят других исследователей более творчески подходить к технологиям для разработки новых, передовых алгоритмов.

Мое исследование направлено на решение проблемы перехода алгоритмов от симуляции к реальному миру, что предполагает уделение внимания безопасности агентов и их надежности. Нам нужна определенная предсказуемость их действий, и в то же время мы хотим, чтобы они вели себя безопасно. Поэтому мы хотим не только оптимизировать их для эффективного выполнения задачи, но и обеспечить безопасность для себя, оборудования и людей.

Я протестирую свои алгоритмы MARL на группах дронов, летающих над перуанскими тропическими лесами Амазонии, чтобы обнаружить незаконную добычу золота. Идея состоит в том, чтобы обеспечить безопасность дронов, пока они исследуют, перемещаются и обнаруживают незаконную деятельность по добыче золота, избегая при этом стрельбы со стороны нелегальных золотодобытчиков. Я работаю с командой разносторонних специалистов — инженерами по оборудованию, исследователями в области экологии, биологии и наук об окружающей среде, а также с Центром Сэбина по окружающей среде и устойчивому развитию в Уэйк Форест.

Вокруг будущего искусственного интеллекта много шумихи. Какова реальность? Вы доверяете ИИ?

Я доверяю ИИ, над которым работаю, поэтому я бы перевернул вопрос и спросил: доверяю ли я людям, которые работают над ИИ? Вы бы доверились поездке с водителем Uber посреди ночи в чужом городе? Вы не знаете этого водителя. Или вы бы доверились беспилотному автомобилю, испытанному в такой же ситуации, в чужом городе?

В этом случае я бы доверился беспилотному автомобилю. Но я хочу понять, что делает машина. И это часть моего исследования, чтобы предоставить объяснения поведения системы искусственного интеллекта для конечных пользователей, прежде чем они фактически ее начнут использовать. Чтобы они могли взаимодействовать с ним и спросить: что произойдет, если я это сделаю? Или, если я поставлю тебя в такую ситуацию, как ты будешь себя вести? Когда вы взаимодействуете с чем-то, задаете эти вопросы и понимаете систему, вы начинаете ей больше доверять.

Я думаю, вопрос должен заключаться в следующем: достаточно ли у нас усилий, чтобы сделать эти системы более надежными? Тратим ли мы больше усилий и времени, чтобы сделать их заслуживающими доверия?