Самостоятельная игра в стиле AlphaZero протестирована на Nim

Новое исследование опубликовано в Машинное обучение показывает, что обучения шаблонам недостаточно для обучения ИИ работе в играх, и абстрактные представления или гибридные подходы могут помочь. Многие исследователи ИИ описывают игры как «Формулу 1» ИИ: это контролируемая тестовая среда с четкими правилами и четкими критериями успеха. В данной статье эта идея используется в качестве диагностики, изучая очень простую игру «Ним» — детскую игру со спичками, оптимальная стратегия которой точно известна.

Поскольку правильный ход известен для каждой позиции, мы можем измерить, играет ли агент оптимально в пространстве состояний. Исследование показало, что, хотя небольшие доски могут работать, несмотря на интенсивное обучение и поиск, у агентов появляются «слепые зоны» и они могут пропускать оптимальные ходы, а производительность снижается по мере роста доски, а прогнозы становятся почти случайными. Это говорит о том, что беспристрастным играм часто нужны аналитические представления, а не изучение шаблонов.

Что это значит для игр на машинах?

ИИ, играющие самостоятельно, могут быть очень сильными, но в играх, где оба игрока делят «части», а выигрышная стратегия представляет собой абстрактное арифметическое правило, распознавания образов из необработанных позиций само по себе может быть недостаточно.

Результаты не умаляют достижений искусственного интеллекта, играющего самостоятельно в таких играх, как шахматы и го. Скорее, они помогают определить, где сегодняшние методы могут оказаться неэффективными, а где более абстрактные представления или гибридные подходы могут оказаться полезными. В более широком смысле, это напоминание о том, что системы могут хорошо работать в обычных случаях, оставаясь при этом хрупкий в редких, но важных.

Доктор Сорен Риис из Лондонского университета королевы Марии сказал: «Ним — это детская игра с полным математическим решением, однако в самостоятельной игре в стиле AlphaZero все еще могут образовываться слепые зоны — становясь конкурентоспособными, но при этом не хватает оптимальных ходов во многих позициях.

«Это говорит о том, что для будущая работа в области ИИОднако впечатляющая производительность сама по себе не является доказательством того, что система усвоила основной принцип: для уменьшения слепых зон могут потребоваться методы, улавливающие абстрактную структуру».