Google видит, как агенты искусственного интеллекта проникают в видеоигры, в которые мы играем

Последний ИИ-агент Google учится ориентироваться в знакомом пространстве: в играх.

В среду технологический гигант опубликовал новое исследование своего масштабируемого обучаемого многомирового агента (SIMA). Этот агент может следовать инструкциям для выполнения задач в видеоиграх и играть в игры, которых он никогда раньше не видел.

Но, как и в случае с Genie, которую DeepMind, исследовательское подразделение Google в области искусственного интеллекта, обсуждается в исследовательской статье, опубликованной 23 февраля.SIMA – это исследовательский проект.

«В будущем мы могли бы иметь таких агентов, как SIMA, играющих вместе с вами», — сказал Тим Харли, инженер-исследователь DeepMind, который был соруководителем проекта. «Агенты, готовые к сотрудничеству, с которыми вы можете разговаривать и давать указания делать с вами различные вещи в игре на лету».

DeepMind заявляет, что ее интерес к видеоиграм отчасти объясняется тем, что они являются хорошей тренировочной площадкой для систем искусственного интеллекта. Компания, занимающаяся искусственным интеллектом, надеется, что подобные исследования позволят ей «понять, как системы искусственного интеллекта могут стать более полезными».

Поскольку OpenAI выпущен ChatGPT В ноябре 2022 года рынок был наводнен инструментами генеративного искусственного интеллекта от Майкрософт, Google, Adobe, Мета и антропный. Совсем недавно генеративный ИИ вышел за рамки письменности и стал включать в себя образы, видеомузыка и, конечно же, игры, поскольку технологические компании стремятся выделить свои предложения на растущем пространстве.

Цели исследования

По словам Харли, SIMA обучена делать то, что ей говорят, что не обязательно означает победу.

Основные вопросы исследователей с самого начала заключались в том, может ли ИИ-агент передавать навыки между играми и как он будет вести себя в игре, в которую он никогда раньше не играл.

«Эти цели сформулированы на свободном естественном языке каким-то человеком-пользователем, а затем [SIMA] действует в среде видеоигр, просто используя естественный интерфейс игры», — сказал Харли. «И единственный способ, которым агент может наблюдать за этими играми, — это просто с экрана в реальном времени».

Обучение

Исследователи записывали изображения, а также ввод данных с клавиатуры и мыши игроков-людей и использовали методы имитационного обучения, чтобы научить SIMA играть в такие игры, как No Man’s Sky, Eco, Teardown и Goat Simulator, как это делают люди.

Они оценили агента по 600 навыкам, включая навигацию (например, «повернуть налево»), взаимодействие с объектами («подняться по лестнице») и использование меню («открыть карту»), и обнаружили, что SIMA работает лучше, чем специалисты по играм.

«Он может воспользоваться общими концепциями игр, улучшить навыки и научиться лучше выполнять эти инструкции», — сказал Фредерик Бесс, инженер-исследователь DeepMind. «Наблюдение положительного перехода между играми является ключевой вехой в исследовании».

Но SIMA не идеальна.

«Все ошибки, которые мы видим, связаны с более детальным пониманием», — сказал Харли. «Поэтому, если мы попросим агента срубить дерево в игре Валхейм, он пойдет и срубит дерево, но мы не можем точно указать, какое именно».

Он не хочет называть недостатки SIMA «галлюцинациями».

«Часто то, что мы видим, когда агент терпит неудачу… Я бы не назвал это галлюцинациями, его поведение большую часть времени выглядит преднамеренным, но он не может выполнить необходимое поведение», — добавил он.

«Отличная тренировочная площадка»

С этого момента DeepMind надеется улучшить производительность SIMA, в том числе сделать так, чтобы ее агенты могли следовать более подробным инструкциям, и в конечном итоге разработать системы искусственного интеллекта, «которые смогут действовать в максимально возможном количестве сред и достигать различных целей, а также общаться с пользователем». – сказал Бесс.

Но дело не только в общении человека и агента в играх.

«Мы считаем, что игры и симуляции в целом служат отличной тренировочной площадкой для систем искусственного интеллекта», — сказал Бесс.

Частично это связано с тем, что игры — это приближение к реальному миру. Они отличаются визуальным разнообразием, а также разнообразными настройками, механикой и графическими стилями. Но у них также есть общие темы, такие как навигация по сложным пространствам и взаимодействие с объектами, персонажами и игроками.