Выясняем, почему ИИ сбивают с толку некоторые игры

В Нимсуществует ограниченное количество оптимальных ходов для данной конфигурации доски. Если вы не играете ни в один из них, то вы, по сути, уступаете контроль своему противнику, который может выиграть, если не будет делать ничего, кроме оптимальных ходов. И снова, оптимальные ходы можно определить, оценив математическую функцию четности.

Итак, есть основания полагать, что тренировочный процесс, который работал в шахматах, может быть неэффективен для Ним. Удивительно то, насколько все было на самом деле плохо. Чжоу и Риис обнаружили, что Ним На доске с пятью рядами ИИ довольно быстро наладил работу и продолжал улучшаться после 500 итераций обучения. Однако добавление всего лишь еще одной строки привело к резкому замедлению темпов улучшения. А для доски с семью рядами прирост производительности практически прекратился к тому времени, когда ИИ сыграл сам себя 500 раз.

Чтобы лучше проиллюстрировать проблему, исследователи заменили подсистему, которая предлагала потенциальные ходы, на ту, которая работала случайным образом. На семирядке Ним доске, результаты обученной и рандомизированной версий были неразличимы на протяжении более 500 тренировок. По сути, как только доска стала достаточно большой, система стала неспособна учиться, наблюдая за результатами игр. Начальное состояние семирядной конфигурации имеет три потенциальных хода, каждый из которых соответствует окончательной победе. Однако когда обученного оценщика ходов их системы попросили проверить все потенциальные ходы, она оценила каждый из них как примерно эквивалентный.

Исследователи приходят к выводу, что для эффективной игры Nim требует от игроков изучения функции четности. И процедура обучения, которая так хорошо работает в шахматах и Идти не способен на это.

Не только Ним

Один из способов взглянуть на этот вывод состоит в том, что Ним (и, как следствие, все беспристрастные игры) просто странны. Но Чжоу и Риис также обнаружили некоторые признаки того, что аналогичные проблемы могут возникнуть и у играющих в шахматы ИИ, обученных таким образом. Они выявили несколько «неправильных» шахматных ходов — таких, которые пропустили матовую атаку или привели к эндшпилю, — которые изначально были высоко оценены оценщиком доски ИИ. И только потому, что программа создала ряд дополнительных ветвей на несколько ходов в будущее, ей удалось избежать этих оплошностей.