Этот ИИ использовал GPT-4, чтобы стать опытным игроком в Minecraft.

Исследователи искусственного интеллекта создали бота Minecraft, который может исследовать и расширять свои возможности в открытом мире игры, но, в отличие от других ботов, этот в основном писал свой собственный код методом проб и ошибок и много запросов GPT-4.

Эта экспериментальная система, получившая название «Вояджер», является примером «воплощенного агента», ИИ, который может двигаться и действовать свободно и целенаправленно в смоделированной или реальной среде. ИИ типа личных помощников и чат-боты не должны на самом деле что-то делать, не говоря уже о навигации по сложному миру, чтобы выполнить эту работу. Но это именно то, что можно ожидать от домашнего робота в будущем, поэтому существует множество исследований того, как они могут это делать.

Minecraft — хорошее место для тестирования таких вещей, потому что это очень (очень) приблизительное представление реального мира, с простыми и понятными правилами и физикой, но при этом оно достаточно сложное и открытое, так что есть много вещей, которые нужно выполнить или попробовать. Специализированные симуляторы тоже хороши, но у них есть свои ограничения.

Шахта Додзё — это среда моделирования, построенная вокруг Minecraft, поскольку вы не можете просто засунуть туда случайный ИИ и ожидать, что он поймет, что делают все эти блоки и свиньи. Его создатели (много общего с командой Voyager) собрали на YouTube видеоролики об игре, стенограммы, вики-статьи и множество постов Reddit из r/minecraft, среди прочих данных, чтобы пользователи могли создавать или настраивать ИИ. модель на них. Это также позволяет более или менее объективно оценивать эти модели, видя, насколько хорошо они справляются с такими задачами, как возведение забора вокруг ламы или поиск и добыча алмаза.

Вояджер отлично справляется с этими задачами, работая намного лучше, чем единственная другая модель, которая близка, Auto-GPT. Но у них похожий подход: использование GPT-4 для написания собственного кода по ходу дела.

Обычно вы просто обучаете модель всем этим хорошим данным Minecraft и надеетесь, что она поймет, как сражаться со скелетами, когда солнце садится. Однако “Вояджер” поначалу относительно наивен, и по мере того, как он сталкивается с вещами в игре, он ведет небольшой внутренний разговор с GPT-4 о том, что он должен делать и как.

Например, наступает ночь, и появляются эти скелеты. У агента есть общее представление об этом, но он спрашивает себя: что будет делать хороший игрок в эту игру, когда рядом монстры? Что ж, GPT-4 говорит, что если вы хотите безопасно исследовать мир, вам нужно сделать и экипировать меч, а затем ударить им скелета, избегая ударов. И это общее понимание того, что делать, переводится в конкретные цели: собрать камень и дерево, построить меч на верстаке, экипировать его и сразиться со скелетом.

После выполнения этих действий они заносятся в общую библиотеку умений, чтобы потом, когда будет поставлена ​​задача «уйти вглубь пещеры, чтобы найти железную руду», ему не пришлось заново учиться драться с нуля. Он по-прежнему использует GPT, но использует более дешевый и быстрый GPT-3.5, который сообщает ему навыки, наиболее подходящие для данной ситуации, поэтому он не пытается добывать скелет и бороться с рудой.

Это похоже на агента, такого как Auto-GPT, который, столкнувшись с интерфейсом, которого он еще не знает, должен научиться перемещаться по нему, чтобы достичь своей цели. Но Minecraft — гораздо более глубокая среда, чем та, для которой она используется, поэтому специальный агент, такой как Voyager, справляется с задачей намного лучше. Он находит больше вещей, изучает больше навыков и исследует гораздо большую территорию, чем другие боты.

Интересно, но не удивительно, что GPT-4 превосходит GPT-3.5 (то есть ChatGPT), когда дело доходит до генерации полезного кода. Тест, заменяющий первое на второе, привел к тому, что агент на раннем этапе уперся в стену, возможно, даже в буквальном смысле, и не смог улучшиться. Из разговора с двумя моделями может быть неочевидно, что одна из них намного умнее, но правда в том, что вам не нужно быть особенно умным, чтобы вести кажущуюся умной беседу (спросите меня, откуда я знаю). Кодировать намного сложнее, и GPT-4 был большим обновлением.

Цель этого исследования не в том, чтобы сделать игроков Minecraft устаревшими, а в том, чтобы найти методы, с помощью которых относительно простые модели ИИ могут улучшить себя на основе своего «опыта», за неимением лучшего слова. Если мы хотим, чтобы роботы помогали нам в наших домах, больницах и офисах, им нужно будет усвоить и применить эти уроки в будущих действиях.

Подробнее о «Вояджере» можно прочитать здесь.