Галлюцинирующий ChatGPT находит ролевую игру в Dungeons & Dragons • –

Боффинс нашел применение чат-ботам с искусственным интеллектом там, где привычные галлюцинации не обязательно являются помехой.

Яйцеголовые из Университета Пенсильвании и Университета Мэриленда в США привлекли большие языковые модели (LLM) OpenAI, чтобы помочь с фэнтезийными ролевыми играми, в частности с Dungeons & Dragons (D&D).

В препринтная бумага под названием «КАЛИПСО: магистр права как помощник мастера подземелий», Эндрю Чжу, докторант Университета Пенсильвании; Лара Мартин, доцент UMD; Эндрю Хед, доцент Университета Пенсильвании; и Крис Каллисон-Берч, доцент UPenn, объясняют, как они использовали LLM для улучшения игры, которая сильно зависит от человеческого взаимодействия.

D&D впервые появилась в 1974 году как ролевая игра (RPG), в которой игроки брали на себя роли искателей приключений средневековых героев и разыгрывали этих личностей по сюжетной линии, направленной мастером подземелий (DM) или мастером игры (GM). Предпосылками были набор правил, опубликованных в то время «Правилами тактических исследований»: многогранные игральные кости, карандаш, бумага, а также общая приверженность интерактивному повествованию и скромной театральности. Закуски, технически необязательные, следует предполагать.

Наряду с такими настольными ролевыми играми распространение персональных компьютеров в 1980-х годах привело к появлению различных компьютеризированных версий, как с точки зрения компьютерной игры, так и полностью электронных симуляций, таких как недавно выпущенная Врата Балдура 3и это только одна из сотен игр, вдохновленных D&D и другими ролевыми играми.

Академические геймеры из UPenn и UMD решили посмотреть, как LLM могут поддерживать мастеров-людей, которые несут ответственность за настройку сцены, в которой происходит совместно воображаемое приключение, за броски костей, определяющие результаты определенных действий, за соблюдение правил ( которые стали довольно обширными), а также для того, чтобы в целом обеспечить веселье и развлечение.

Для этого они создали набор из трех интерфейсов на базе LLM под названием CALYPSO, что означает Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives. Он предназначен для игры в D&D онлайн через Discord, популярный чат-сервис.

«Когда DM получили доступ к CALYPSO, они сообщили, что он генерирует текст с высокой точностью, подходящий для прямой презентации игрокам, и идеи с низкой точностью, которые DM может развивать дальше, сохраняя при этом свое творческое агентство», — поясняется в документе. «Мы рассматриваем CALYPSO как пример парадигмы инструментов с искусственным интеллектом, которые обеспечивают синхронную творческую помощь в устоявшихся игровых мирах и настольных играх в более широком смысле».

Исследователи отмечают в своей статье, что пандемия COVID-19 изменила некоторые настольные онлайн-игры с личным присутствием, и многие игроки, которые играют через Discord, делают это с помощью Авраэ — бот Discord, разработанный Эндрю Чжу, докторантом UPenn и соавтором статьи CALYPSO.

«Основные идеи в документе (о том, что LLM могут действовать как со-DM таким образом, чтобы вдохновлять человека-DM, не беря на себя творческий контроль над игрой), применимы к D&D и другим настольным играм независимо от модальности. все еще есть проблемы, которые нужно преодолеть, прежде чем применять эту технологию в играх с личным присутствием», — сказал Чжу в электронном письме. Регистр.

Чжу и его коллеги сосредоточились на играх Discord с плей-за-постом (PBP) по нескольким причинам. Во-первых, «PBP на основе Discord уже основан на тексте, поэтому нам не нужно тратить время на преобразование речи в текст для LLM», — пояснил он.

Онлайн-установка также позволяет DM просматривать выходные данные, созданные LLM, в частном порядке (где «идеи с низкой точностью» имеют меньшее значение), и это освобождает DM от необходимости печатать или диктовать в какой-либо интерфейс.

КАЛИПСО, а Дискорд-бот с исходным кодом, описывается в документе как имеющий три интерфейса: один для генерации установочного текста, описывающего столкновение (GPT-3); один для целенаправленного мозгового штурма, в котором DM может задать LLM вопросы о встрече или уточнении сводки встречи (ChatGPT); и один для чата с открытым доменом, в котором игроки могут напрямую взаимодействовать с ChatGPT, выступая в роли фантастического существа, знающего о D&D.

Настройка этих интерфейсов включала в себя заполнение LLM конкретными подсказками (подробно описанными в документе), которые объясняют, как чат-бот должен реагировать в каждой роли интерфейса. Не требовалось специального обучения модели, чтобы понять, как работает D&D.

«Мы обнаружили, что даже без обучения модели серии GPT многое знают о D&D, прочитав первоисточники и интернет-обсуждения своих обучающих данных», — сказал Чжу.

Мы обнаружили, что даже без обучения модели серии GPT многое знают о D&D, просматривая исходники и обсуждения в Интернете.

Чжу и его коллеги протестировали CALYPSO с 71 игроком и Мастером, а затем опросили их об опыте. Они чаще находили помощника ИИ полезным, чем нет.

Но было место для улучшения. Например, в одном столкновении CALYPSO просто перефразировала информацию в подсказке настроек и статистики, что, по мнению DM, не добавило ценности.

Регистр спросил Чжу о том, была ли склонность LLM к «галлюцинациям» — выдумыванию вещей — проблемой для участников исследования.

«В творческом контексте это становится немного менее значимым — например, справочники D&D не содержат всех подробностей о каждом монстре, поэтому, если LLM утверждает, что у определенного монстра есть мех определенного цвета, считается ли это галлюцинацией. ?” сказал Чжу.

«Отвечая на вопрос прямо, да; модель часто «придумывает» факты о монстрах, которых нет в книгах-источниках. Большинство из них — тривиальные вещи, которые на самом деле помогают Мастеру, например, как звучит призыв монстра или форма радужная оболочка монстра или что-то в этом роде. Иногда, реже, он галлюцинирует более радикальные факты, например, что у ледяных саламандр есть крылья (а у них их нет)».

Еще одна проблема, которая возникла, заключалась в том, что средства защиты при обучении моделей иногда мешали CALYPSO обсуждать вопросы, которые были бы уместны в игре D&D, такие как гонки и игровой процесс.

«Например, модель иногда отказывалась предлагать (фантазийные) расы, вероятно, из-за усилий по снижению вероятности реальных расовых предубеждений», — отмечается в документе. «В другом случае модель настаивает на том, что она не способна играть в D&D, вероятно, из-за попыток помешать модели заявлять о способностях, которыми она не обладает».

(Да, мы уверены, что некоторые из нас были там раньше, отрицая какие-либо знания о ролевых играх, несмотря на годы игры.)

Чжу сказал, что очевидно, что людям не нужен ИИ-DM, но они более склонны позволять DM полагаться на помощь AI.

«Во время наших формирующих исследований общей темой было то, что люди не хотели автономный AI DM по нескольким причинам», — пояснил он. «Во-первых, многие из опрошенных нами игроков уже играли с такими инструментами, как AI Dungeon, и были знакомы со слабостями ИИ в длинном повествовании. игры; поскольку D&D — это игра с творческим повествованием, создание этой истории ИИ было бы неправильным.

«То, что CALYPSO была необязательной вещью, которую DM могли использовать столько, сколько они хотели, помогло сохранить творческий мяч на стороне человеческого DM; часто случалось, что CALYPSO давала DM достаточно толчка, чтобы сломаться. их из колеи писательского блока или просто дайте им список идей, на основе которых можно построить.Как только человек-DM почувствовал, что им нужно больше контроля над сценой, они могли просто продолжить DM в своем собственном стиле, вообще не используя CALYPSO. ” ®