Множественные «я» модульных агентов ускоряют обучение ИИ

Как и почему мы принимаем тысячи решений каждый день, уже давно стало популярной областью исследований и комментариев.

«Предсказуемая иррациональность: скрытые силы, формирующие наши решения», Дэн Ариели; «Подталкивание: улучшение решений о здоровье, богатстве и счастье», Ричард Талер и Касс Санстейн; и «Просто рационально: принятие решений в реальном мире» Герда Гигеренцера — лишь некоторые из множества книг, анализирующих механику принятия решений, которые фигурируют в текущих списках бестселлеров.

Группа исследователей из Принстонского института неврологии присоединилась к обсуждению с докладом, в котором исследуется Процесс принятия решений когда дело доходит до машинного обучения. Они говорят, что нашли подход, который улучшает обычно применяемый одноагентный процесс.

В статье, опубликованной 3 июля в Труды Национальной академии наукисследователи наметили исследование, в котором сравниваются подходы к обучению с подкреплением, используемые в системах с одним агентом ИИ и модульных системах с несколькими агентами ИИ.

Они обучали глубокому обучению с подкреплением агенты в простой игре на выживание в двухмерной сетке. Агенты были обучены искать различные ресурсы, спрятанные по всему полю, и поддерживать достаточный уровень снабжения, чтобы победить.

Один агент, рассматриваемый как «объединенный мозг» или «я», действовал стандартным образом, применяя пошаговый подход к оценке каждой цели и путем проб и ошибок узнавая, какие решения являются лучшими на каждом этапе. путь.

Однако модульный агент полагался на данные субагентов, у которых были более узко определенные цели и собственный уникальный опыт, успехи и неудачи. После того, как входные данные от нескольких модулей были оценены в одном «мозге», агент сделал выбор, как действовать дальше.

Исследователи сравнили установку с принципами, используемыми в классических давних дебатах о том, как человек справляется с конфликтующими потребностями и целями.

Опирается ли решение на одного монолитного агента (или «я»), который комплексно учитывает все потребности, или, скорее, отражает возникающий процесс конкуренции между множеством модульных агентов (т. », — сказал ведущий исследователь Джонатан Коэн. «Это фокус теоретической и эмпирической работы практически во всех научных дисциплинах, изучающих поведение агентов, от нейронауки, психологии, экономики и социологии до искусственного интеллекта и машинного обучения».

Единственный агент достиг целей игры после 30 000 шагов обучения. Однако модульный агент обучался быстрее, добившись значительного прогресса всего после 5000 шагов обучения.

«По сравнению со стандартным монолитным подходом модульные агенты гораздо лучше поддерживали гомеостаз набора внутренних переменных в смоделированных средах, как статических, так и изменяющихся», — сказал Коэн.

Команда пришла к выводу, что модульная установка позволяет субагентам, которые сосредоточены на ограниченных целях, быстрее адаптироваться к вызовам окружающей среды.

«Действия, определяемые потребностями одного субагента, служили источником исследования для других, — сказал Коэн, — позволяя им обнаружить ценность действий, которые они иначе не выбрали бы в данном состоянии».

Он также объяснил, что в то время как монолитный подход боролся с «проклятием размерности» — экспоненциально растущим ростом вариантов по мере увеличения сложности среды — модульные агенты, «специалисты» с ограниченными целями, сосредоточились на более мелких индивидуальных задачах и были лучше способны быстро адаптироваться к изменениям окружающей среды.

«Мы показываем, что разработка агента по модульному принципу в виде набора подагентов, каждый из которых предназначен для отдельной потребности, значительно увеличила способность агента удовлетворять свои общие потребности», — говорится в документе.

Исследователи добавили, что более эффективно и быстро адаптируясь к изменяющимся условиям и целям, модульный подход «может также объяснить, почему люди долгое время описывались как состоящие из «множества личностей»».

© 2023 Наука Х Сеть