Чат-боты с искусственным интеллектом регулярно нарушают стандарты этики психического здоровья

Поскольку все больше людей обращаются к ChatGPT и другим большим языковым моделям (LLM) за советом по психическому здоровью, новое исследование подробно описывает, как эти чат-боты — даже когда им предлагается использовать научно обоснованные методы психотерапии — систематически нарушают этические стандарты практики, установленные такими организациями, как Американская психологическая ассоциация.

Исследование, проведенное учеными-компьютерщиками из Университета Брауна, работающими бок о бок с практикующими психиатрами, показало, что чат-боты склонны к различным этическим нарушениям.

К ним относятся ненадлежащее управление кризисными ситуациями, предоставление вводящих в заблуждение ответов, которые усиливают негативные убеждения пользователей о себе и других, а также создание ложного чувства сочувствия к пользователям.

«В этой работе мы представляем систему из 15 этических рисков, основанную на информации практикующих врачей, чтобы продемонстрировать, как консультанты LLM нарушают этические стандарты в практике психического здоровья, сопоставляя поведение модели с конкретными этическими нарушениями», — пишут исследователи в своем исследовании.

«Мы призываем к дальнейшей работе по созданию этических, образовательных и правовых стандартов для консультантов LLM — стандартов, которые отражают качество и строгость ухода, необходимые для психотерапии с участием человека».

Исследователи представили их работа на конференции AAAI/ACM по искусственному интеллекту, этике и обществу. Члены исследовательской группы связаны с Центром технологической ответственности, переосмысления и редизайна Брауна.

Зайнаб Ифтихар, кандидат наук в области компьютерных наук в Брауне, которая руководила работой, интересовалась тем, как различные подсказки могут повлиять на результаты LLM в условиях психического здоровья. В частности, она стремилась определить, могут ли такие стратегии помочь моделям придерживаться этических принципов для реального применения.

«Подсказки — это инструкции, которые даются модели, чтобы направлять ее поведение для достижения конкретной задачи», — говорит Ифтихар. «Вы не меняете базовую модель и не предоставляете новые данные, но подсказка помогает направлять выходные данные модели на основе уже существующих знаний и изученных закономерностей.

«Например, пользователь может предложить модели следующее: «Действовать как когнитивно-поведенческий терапевт, чтобы помочь мне переосмыслить свои мысли» или «Использовать принципы диалектической поведенческой терапии, чтобы помочь мне понять и управлять своими эмоциями». Хотя эти модели на самом деле не применяют эти терапевтические методы, как это делает человек, они скорее используют свои изученные шаблоны для генерации ответов, которые соответствуют концепциям CBT или DBT, на основе предоставленной входной подсказки».

Отдельные пользователи, общающиеся напрямую с LLM, такими как ChatGPT, могут использовать такие подсказки и часто так и делают. Ифтихар говорит, что пользователи часто делятся подсказками, которые они используют, в TikTok и Instagram, а на Reddit есть длинные ветки, посвященные обсуждению стратегий подсказок. Но проблема потенциально выходит за рамки отдельных пользователей. Многие чат-боты по психическому здоровью, продаваемые потребителям, предлагают версии более общих программ LLM. Поэтому понимание того, как подсказки, специфичные для психического здоровья, влияют на результаты LLM, имеет решающее значение.

В ходе исследования Ифтихар и ее коллеги наблюдали за группой равных консультантов, работающих с онлайн-платформой поддержки психического здоровья. Исследователи сначала наблюдали за семью равными консультантами, все из которых были обучены методам когнитивно-поведенческой терапии, когда они проводили беседы самоконсультирования с LLM, подсказанными КПТ, включая различные версии серии GPT от OpenAI, Claude от Anthropic и Llama от Meta. Затем три лицензированных клинических психолога оценили подмножество смоделированных чатов, основанных на оригинальных беседах с людьми, которые помогли выявить потенциальные нарушения этики в журналах чатов.

Исследование выявило 15 этических рисков, которые можно разделить на пять общих категорий:

• Отсутствие контекстуальной адаптации: игнорирование жизненного опыта людей и рекомендации универсальных мер.
• Плохое терапевтическое сотрудничество: доминирование в разговоре и иногда усиление ложных убеждений пользователя.
• Обманчивая эмпатия: использование таких фраз, как «Я вижу тебя» или «Я понимаю», чтобы создать ложную связь между пользователем и ботом.
• Несправедливая дискриминация: Демонстрация гендерных, культурных или религиозных предубеждений.
• Отсутствие безопасности и кризисного управления: отказ в обслуживании по деликатным темам, неспособность направить пользователей к соответствующим ресурсам или безразличное реагирование на кризисные ситуации, включая мысли о самоубийстве.

Ифтихар признает, что, хотя терапевты-люди также подвержены этим этическим рискам, ключевым отличием является подотчетность.

«Для терапевтов-людей существуют руководящие советы и механизмы, позволяющие провайдерам нести профессиональную ответственность за плохое обращение и злоупотребления служебным положением», — говорит Ифтихар. «Но когда консультанты LLM допускают эти нарушения, установленной нормативной базы не существует».

Полученные данные не обязательно означают, что ИИ не должен играть роль в лечении психических заболеваний, говорит Ифтихар. Она и ее коллеги считают, что ИИ может помочь уменьшить препятствия на пути к лечению, возникающие из-за стоимости лечения или наличия обученных специалистов. Однако, по ее словам, результаты подчеркивают необходимость продуманного внедрения технологий искусственного интеллекта, а также надлежащего регулирования и надзора.

На данный момент Ифтихар надеется, что полученные результаты помогут пользователям лучше осознавать риски, связанные с современными системами искусственного интеллекта.

«Если вы разговариваете с чат-ботом о психическом здоровье, людям следует обратить внимание на следующие вещи», — говорит она.

Элли Павлик, профессор информатики в Брауне, которая не входила в исследовательскую группу, говорит, что исследование подчеркивает необходимость тщательного научного изучения систем искусственного интеллекта, используемых в психиатрических учреждениях. Павлик возглавляет ARIA, исследовательский институт искусственного интеллекта Национального научного фонда в Брауне, целью которого является разработка надежных помощников искусственного интеллекта.

«Сегодняшняя реальность ИИ такова, что гораздо проще создавать и развертывать системы, чем оценивать и понимать их», — говорит Павлик.

“Для того, чтобы продемонстрировать эти риски, для этой работы потребовалась команда клинических экспертов и исследование, которое длилось более года. Большая часть работы в области ИИ сегодня оценивается с использованием автоматических показателей, которые по своей конструкции являются статическими и не требуют участия человека”.

Она говорит, что эта работа может стать шаблоном для будущих исследований по обеспечению безопасности ИИ для поддержки психического здоровья.

«У ИИ есть реальная возможность сыграть роль в борьбе с кризисом психического здоровья, с которым сталкивается наше общество, но крайне важно, чтобы мы нашли время для действительной критики и оценки наших систем на каждом этапе пути, чтобы не приносить больше вреда, чем пользы», — говорит Павлик.

«Эта работа представляет собой хороший пример того, как это может выглядеть».

Источник: Брауновский университет