Примечание редактора (22.02.23): эта статья была впервые опубликована 11 февраля 2022 г. Мы публикуем ее повторно, потому что игроки Gran Turismo теперь могут участвовать в гонках против ИИ Gran Turismo Sophy в последней версии игры.
Чтобы пройти поворот по самой быстрой «гоночной трассе» и не потерять управление, гонщики должны тормозить, поворачивать и ускоряться в точно рассчитанных последовательностях. Процесс зависит от пределов трения, и они регулируются известными физическими законами, а это означает, что беспилотные автомобили могут научиться проезжать круг на максимально возможной скорости (как некоторые уже сделали). Но это становится гораздо более сложной проблемой, когда автоматизированному водителю приходится делить пространство с другими автомобилями. Теперь ученые решили эту проблему виртуально, обучив программу искусственного интеллекта, чтобы она опередила конкурентов-людей в ультрареалистичной гоночной игре Gran Turismo Sport. Полученные данные могут указать исследователям беспилотных автомобилей на новые способы заставить эту технологию работать в реальном мире.
Искусственный интеллект уже покорил игроков-людей в некоторых видеоиграх, таких как Starcraft II и Dota 2. Но Gran Turismo существенно отличается от других игр, говорит Питер Вурман, директор Sony AI America и соавтор нового исследования, которое был опубликован в Природа. «В большинстве игр среда определяет правила и защищает пользователей друг от друга», — объясняет он. «Но в гонках машины стоят очень близко друг к другу, и есть очень тонкое чувство этикета, которое нужно изучить и применить. [AI] агенты. Чтобы победить, они должны уважать своих противников, но они также должны сохранять свои собственные линии движения и следить за тем, чтобы они просто не уступали».
Чтобы научить свою программу основам, исследователи искусственного интеллекта Sony использовали технику, называемую глубоким обучением с подкреплением. Они вознаграждали ИИ за определенное поведение, например, за то, что он оставался на трассе, сохранял контроль над автомобилем и уважал гоночный этикет. Затем они запустили программу, чтобы попробовать разные способы гонок, которые позволили бы ей достичь этих целей. Команда искусственного интеллекта Sony обучила несколько различных версий своего искусственного интеллекта, получившего название Gran Turismo Sophy (GT Sophy), каждая из которых специализировалась на вождении одного конкретного типа автомобиля на одной конкретной трассе. Затем исследователи сравнили программу с чемпионами Gran Turismo среди людей. В первом тесте, проведенном в июле прошлого года, люди набрали самый высокий общий командный балл. Во втором прогоне в октябре 2021 года ИИ прорвался. Он побеждал своих противников-людей как индивидуально, так и в команде, достигая самого быстрого времени прохождения круга.
Игроки-люди, похоже, восприняли свои потери спокойно, а некоторым нравилось состязаться с ИИ. «Кроме того, мы слышали от водителей, что они узнали что-то новое из маневров Софи, — говорит Эрика Като Маркус, директор по стратегии и партнерству в Sony AI. «Линии, которые использовал ИИ, были настолько сложными, что я, вероятно, смог бы сделать их один раз. Но это было так, так сложно — я бы никогда не попробовала это в гонке», — говорит Эмили Джонс, которая была финалисткой чемпионата FIA-Certified Gran Turismo Championships 2020 года, а позже участвовала в гонке против GT Sophy. Хотя Джонс говорит, что соревнование с ИИ заставило ее почувствовать себя немного беспомощной, она описывает этот опыт как впечатляющий.
«Гонки, как и многие другие виды спорта, направлены на то, чтобы максимально приблизиться к идеальному кругу, но на самом деле вы никогда не сможете этого сделать», — говорит Джонс. «С Софи было безумием видеть что-то, что было идеальный колени. Не было никакой возможности двигаться быстрее».
Сейчас команда Sony продолжает развивать ИИ. «Мы обучили агента, версию GT Sophy, для каждой комбинации автомобиля и гусеницы», — говорит Вурман. «И одна из вещей, которую мы рассматриваем, это: можем ли мы обучить одну политику, которая может работать на любой машине на любой трассе в игре?» С коммерческой точки зрения Sony AI также работает с разработчиком Gran Turismo, дочерней компанией Sony Interactive Entertainment, Polyphony Digital, чтобы потенциально включить версию GT Sophy в будущее обновление игры. Для этого исследователям потребуется настроить производительность ИИ, чтобы он мог быть сложным противником, но не непобедимым — даже для менее опытных игроков, чем чемпионы, которые до сих пор тестировали ИИ.
Поскольку Gran Turismo обеспечивает реалистичное приближение к конкретным автомобилям и конкретным трассам, а также к уникальным физическим параметрам, определяющим каждую из них, это исследование может найти применение и за пределами видеоигр. «Я думаю, что одна из интересных особенностей, которая отличает эту игру от игры Dota, заключается в том, что она находится в среде, основанной на физике», — говорит Брук Чан, инженер-программист в исследовательской компании искусственного интеллекта OpenAI и соавтор исследования. Проект OpenAI Five, который обыграл людей в Dota 2. «Он не выходит в реальный мир, но все же способен эмулировать характеристики реального мира, так что мы обучаем ИИ немного больше понимать физический мир». (Чан не участвовал в исследовании GT Sophy.)
«Gran Turismo — очень хороший симулятор — он несколько геймифицирован, но он действительно точно отражает многие различия, которые вы получите с разными автомобилями и разными трассами», — говорит Дж. Кристиан Гердес, профессор Стэнфордского университета. машиностроения, который не участвовал в новом исследовании. «На мой взгляд, это самая близкая вещь к тому, кто публикует статью, в которой говорится, что ИИ может идти нога в ногу с людьми в гоночной среде».
Однако не все полностью с этим согласны. «В реальном мире вам приходится иметь дело с такими вещами, как велосипедисты, пешеходы, животные, вещи, которые падают с грузовиков и падают на дорогу, которых вы должны избегать, плохая погода, поломки транспортных средств и тому подобное», — говорит он. Стивен Шладовер, инженер-исследователь программы California Partners for Advanced Transportation Technology (California PATH) в Калифорнийском университете, Институт транспортных исследований Беркли, который также не участвовал в Природа бумага. «Ничего из этого не появляется в игровом мире».
Но Гердес говорит, что успех GT Sophy все еще может быть полезен, потому что он переворачивает некоторые представления о том, как должны программироваться автомобили с автоматическим управлением. Автоматизированное транспортное средство может принимать решения, основываясь на законах физики или обучении искусственного интеллекта. «Если вы посмотрите на то, что есть в литературе — и, в некоторой степени, на то, что люди кладут в дорогу, — планировщики движения будут, как правило, основываться на физике при оптимизации, а части восприятия и прогнозирования будут ИИ». — говорит Гердес. Однако в GT Sophy планирование движения ИИ (например, решение, как подойти к повороту на максимальном пределе его производительности, не вызывая сбоя) было основано на стороне формулы ИИ. «Я думаю, что урок для разработчиков автоматизированных автомобилей таков: здесь есть точка данных, которая, возможно, требует пересмотра некоторых из наших предвзятых представлений о том, что некоторые части этой проблемы лучше решать в физике», — говорит он. «Возможно, ИИ сможет сыграть и там».
Гердес также предполагает, что достижение GT Sophy может послужить уроком для других областей, в которых взаимодействуют люди и автоматизированные системы. Он отмечает, что в Gran Turismo ИИ должен сбалансировать сложную проблему прокладки кратчайшего маршрута по трассе со сложной проблемой беспрепятственного взаимодействия с часто непредсказуемыми людьми. «Если у нас есть система искусственного интеллекта, которая может принимать сложные решения в этой среде, она может найти применение — не только для автоматизированного вождения, — говорит Гердес, — но и для таких взаимодействий, как роботизированная хирургия или машины, которые помогают по дому. . Если у вас есть задача, в которой человек и робот работают вместе, чтобы что-то переместить, это в некотором смысле намного сложнее, чем робот, пытающийся сделать это сам».
Версия этой статьи под названием «Чемпионы ИИ» была адаптирована для включения в майский выпуск журнала за 2022 г. Научный американец.
