Раскрыта геометрия обучения агентов ИИ

Новое исследование Университета Олбани показывает, что системы искусственного интеллекта могут организовывать информацию гораздо более сложными способами, чем считалось ранее. Изучение, “Исследование стратифицированной пространственной структуры RL-игры с помощью преобразования роста объема», был опубликован в Интернете через arXiv.

На протяжении десятилетий ученые предполагали, что нейронные сети кодируют данные на гладких поверхностях низкой размерности, известных как многообразия. Но исследователи из Университета Олбани обнаружили, что модель обучения с подкреплением на основе преобразователей вместо этого организует свои внутренние представления в стратифицированных пространствах — геометрических структурах, состоящих из множества взаимосвязанных областей разных размеров. Их выводы отражают недавние результаты, полученные в больших языковых моделях, предполагая, что стратифицированная геометрия может быть фундаментальной особенностью современных систем искусственного интеллекта.

«Эти модели не живут на простых поверхностях», — сказал Джастин Карри, доцент кафедры математики и статистики Колледжа искусств и наук. «Вместо этого мы видим лоскутное одеяло из геометрических слоев, каждый из которых имеет свою размерность. Это гораздо более богатая и сложная картина того, как ИИ понимает мир».

Отслеживание геометрии ИИ в работе

Исследовательская группа изучила агента-трансформера, играющего в игру на память и навигацию, в которой он должен собирать монеты, избегая при этом движущихся прожекторов. Каждый кадр, который видел агент, становился «токеном», похожим на слово в языковой модели, и команда анализировала, как эти токены были встроены во внутренние слои сети.

Их результаты показали четыре различных кластера геометрических размеров, показывая, когда модель воспринимала окружающую среду как простую или сложную. Состояния низшего измерения обычно возникали, когда комната была хорошо освещена или когда агент придерживался определенного курса действий. Состояния более высокого измерения появлялись, когда экран становился переполненным или когда агенту нужно было взвесить несколько возможных действий.

«Эти скачки в размерности отражают моменты неопределенности», — сказал Грегори Кокс, доцент кафедры психологии, также входящей в состав Колледжа искусств и наук. «Когда агенту приходится выбирать между конкурирующими действиями или интерпретировать более сложную визуальную сцену, геометрия его внутренних представлений расширяется. Как будто модели нужно больше места для размышлений».

Новый взгляд на процесс принятия решений с помощью ИИ

Используя метод, известный как преобразование роста объема, исследователи обнаружили, что геометрические закономерности модели нарушают давние предположения, такие как гипотезы многообразия и пучка волокон. Вместо этого многие внутренние представления агента перепрыгивали через несколько слоев, образуя геометрический ландшафт с резкими переходами, а не с плавными кривыми.

Согласно исследованию, эти изменения часто совпадают со значимыми моментами игрового процесса, в том числе:

• приближение к состоянию монеты или цели
• встреча с новыми или перекрывающимися прожекторами
• пауза, чтобы оценить несколько вариантов навигации

«Что интересно, теперь мы можем связать определенные моменты в поведении агента с конкретными геометрическими особенностями», — сказал Карри. «Когда модель запутана или изучает варианты, геометрия резко возрастает. Когда она уверена, геометрия выравнивается. Это дает нам новый словарный запас для понимания того, как ИИ принимает решения».

Исследователи отмечают, что мониторинг геометрической сложности может помочь определить моменты, которые система ИИ находит наиболее трудными, открывая двери для адаптивных методов обучения, которые повышают производительность там, где модель испытывает наибольшие трудности.

Как выразился Кокс: «Стратифицированная геометрия — это не просто абстрактная концепция. Она открывает нам новое окно в то, как и машины, и разум могут представлять сложную информацию».