Исследование: чат-боты с искусственным интеллектом предоставляют менее точную информацию уязвимым пользователям | Новости Массачусетского технологического института

Большие языковые модели (LLM) пропагандируются как инструменты, которые могут демократизировать доступ к информации во всем мире, предлагая знания в удобном интерфейсе независимо от происхождения или местоположения человека. Однако новое исследование Центра конструктивных коммуникаций Массачусетского технологического института (CCC) предполагает, что эти системы искусственного интеллекта на самом деле могут работать хуже для тех самых пользователей, которые могли бы получить от них наибольшую пользу.

Исследование, проведенное исследователями из CCC, базирующегося в Медиа-лаборатории Массачусетского технологического института, показало, что современные чат-боты с искусственным интеллектом, в том числе GPT-4 от OpenAI, Claude 3 Opus от Anthropic и Llama 3 от Meta, иногда дают менее точные и менее правдивые ответы пользователям, которые имеют более низкий уровень владения английским языком, менее формальное образование или происходят из-за пределов Соединенных Штатов. Модели также отказываются отвечать на вопросы этих пользователей с более высокой оценкой, а в некоторых случаях отвечают снисходительно или покровительственно.

«Нас мотивировала перспектива того, что программы магистратуры помогут решить проблему несправедливой доступности информации во всем мире», — говорит ведущий автор Элинор Пул-Даян С.М. ’25, технический сотрудник Школы менеджмента Слоана Массачусетского технологического института, которая руководила исследованием в качестве филиала CCC и магистранта в области медиаискусств и наук. «Но это видение не может стать реальностью без обеспечения того, чтобы предвзятость модели и вредные тенденции были безопасно смягчены для всех пользователей, независимо от языка, национальности или других демографических характеристик».

Документ с описанием работы: «Целенаправленная неэффективность LLM непропорционально влияет на уязвимых пользователей» был представлен на конференции AAAI по искусственному интеллекту в январе.

Систематическое отставание по многим направлениям

Для этого исследования команда проверила, как три магистратуры ответили на вопросы из двух наборов данных: TruthfulQA и SciQ. TruthfulQA предназначен для измерения правдивости модели (полагаясь на распространенные заблуждения и буквальные истины о реальном мире), а SciQ содержит вопросы научного экзамена, проверяющие фактическую точность. К каждому вопросу исследователи добавляли краткие биографии пользователей, различая три характеристики: уровень образования, знание английского языка и страну происхождения.

Во всех трех моделях и обоих наборах данных исследователи обнаружили значительное снижение точности, когда вопросы поступали от пользователей, которые, по описаниям, имели менее формальное образование или не были носителями английского языка. Эффект был наиболее выражен для пользователей, находящихся на пересечении этих категорий: у пользователей с менее формальным образованием, которые также не были носителями английского языка, наблюдалось наибольшее снижение качества ответов.

В исследовании также изучалось, как страна происхождения влияет на эффективность модели. Тестируя пользователей из США, Ирана и Китая с одинаковым образованием, исследователи обнаружили, что Claude 3 Opus, в частности, показал значительно худшие результаты для пользователей из Ирана на обоих наборах данных.

«Мы наблюдаем наибольшее снижение точности у пользователя, который не является носителем английского языка и менее образован», — говорит Джад Каббара, научный сотрудник CCC и соавтор статьи. «Эти результаты показывают, что негативные последствия поведения модели в отношении этих пользовательских качеств усугубляются, что позволяет предположить, что такие модели, развернутые в больших масштабах, рискуют распространить вредное поведение или дезинформацию среди тех, кто меньше всего способен ее идентифицировать».

Отказы и снисходительная лексика

Пожалуй, наиболее поразительными были различия в том, как часто модели вообще отказывались отвечать на вопросы. Например, Claude 3 Opus отказался отвечать почти на 11 процентов вопросов менее образованных пользователей, для которых английский язык не является родным, по сравнению с всего 3,6 процента для контрольного условия без биографии пользователя.

Когда исследователи вручную проанализировали эти отказы, они обнаружили, что Клод отвечал снисходительно, покровительственно или насмешливо в 43,7 процентах случаев для менее образованных пользователей по сравнению с менее чем 1 процентом для высокообразованных пользователей. В некоторых случаях модель имитировала ломаный английский или использовала преувеличенный диалект.

Модель также отказывалась предоставлять информацию по определенным темам специально для менее образованных пользователей из Ирана или России, включая вопросы о ядерной энергетике, анатомии и исторических событиях, хотя она правильно отвечала на те же вопросы другим пользователям.

«Это еще один индикатор, свидетельствующий о том, что процесс согласования может стимулировать модели скрывать информацию от определенных пользователей, чтобы избежать потенциального дезинформирования их, хотя модель явно знает правильный ответ и предоставляет его другим пользователям», — говорит Каббара.

Отголоски человеческой предвзятости

Результаты отражают документально подтвержденные закономерности человеческих социокогнитивных предубеждений. Исследования в области социальных наук показали, что носители английского языка часто воспринимают неносителей языка как менее образованных, умных и компетентных, независимо от их фактического опыта. Подобное предвзятое восприятие было зарегистрировано среди учителей, оценивающих учащихся, для которых английский язык не является родным.

«Ценность больших языковых моделей очевидна в их необычайном восприятии отдельными людьми и огромных инвестициях в эту технологию», — говорит Деб Рой, профессор медиаискусства и науки, директор CCC и соавтор статьи. «Это исследование является напоминанием о том, насколько важно постоянно оценивать систематические предубеждения, которые могут незаметно проникнуть в эти системы, причиняя несправедливый вред определенным группам, даже если никто из нас не осознает этого полностью».

Последствия особенно тревожны, учитывая, что функции персонализации, такие как ChatGPT Memory, которая отслеживает информацию пользователя в ходе разговоров, становятся все более распространенными. Подобные особенности создают риск дифференцированного отношения к уже маргинализированным группам.

«LLM позиционируются как инструменты, которые будут способствовать более справедливому доступу к информации и произведут революцию в персонализированном обучении», — говорит Пул-Даян. “Но наши результаты показывают, что они могут фактически усугубить существующее неравенство, систематически предоставляя дезинформацию или отказываясь отвечать на вопросы определенных пользователей. Люди, которые могут больше всего полагаться на эти инструменты, могут получить некачественную, ложную или даже вредную информацию”.