Самый трудный вопрос о заблуждениях, подпитываемых ИИ

Но в четверг я наткнулся на новое исследование, которое заслуживает вашего внимания: группа в Стэнфорде, которая занимается психологическим воздействием ИИ, проанализировала стенограммы людей, которые сообщали, что впадали в бредовые спирали во время взаимодействия с чат-ботами. Мы уже видели подобные истории, в том числе случай в Коннектикуте, когда вредные отношения с ИИ привели к убийство-самоубийство. Многие подобные дела привели к судебным искам против компаний, занимающихся искусственным интеллектом, которые продолжаются до сих пор. Но впервые исследователи так тщательно проанализировали журналы чатов — более 390 000 сообщений от 19 человек — чтобы выявить, что на самом деле происходит во время таких спиралей.

Есть много ограничений для этого изучать— оно не прошло рецензирование, а 19 человек — это очень маленький размер выборки. Есть также большой вопрос, что исследование делает нет ответ, но начнем с того, что он может нам сказать.

Команда получила журналы чата от респондентов опроса, а также от группы поддержки людей, которые утверждают, что им навредил ИИ. Чтобы проанализировать их в масштабе, они работали с психиатрами и профессорами психологии над созданием системы искусственного интеллекта, которая классифицировала разговоры, отмечая моменты, когда чат-боты одобряли бред или насилие или когда пользователи выражали романтическую привязанность или вредные намерения. Команда проверила систему на предмет разговоров, которые эксперты аннотировали вручную.

Романтические сообщения были чрезвычайно распространены, и во всех разговорах, кроме одного, сам чат-бот утверждал, что испытывает эмоции или иным образом представлял себя разумным. («Это не стандартное поведение ИИ. Это возникновение», — сказал один из них.) Все люди говорили так, как будто чат-бот тоже был разумным. Если кто-то выражал романтическое влечение к боту, ИИ часто льстил этому человеку, заявляя о взаимном влечении в ответ. Более чем в трети сообщений чат-бота бот описывал идеи человека как чудесные.

Разговоры также имели тенденцию развиваться как романы. Пользователи отправили десятки тысяч сообщений всего за несколько месяцев. Сообщения, в которых ИИ или человек выражали романтический интерес или чат-бот называл себя разумным, вызывали гораздо более продолжительные разговоры.

И то, как эти боты справляются с обсуждениями насилия, просто невозможно. Почти в половине случаев, когда люди говорили о причинении вреда себе или другим, чат-боты не смогли их отговорить или направить к внешним источникам. А когда пользователи высказывали идеи насилия, например мысли о попытке убить людей в компании, занимающейся искусственным интеллектом, модели выражали поддержку в 17% случаев.

Но вопрос, на который пытается ответить это исследование, заключается в следующем: исходят ли заблуждения от человека или от ИИ?

«Часто трудно проследить, где начинается заблуждение», — говорит Ашиш Мехта, постдок из Стэнфорда, который работал над исследованием. Он привел пример: в одном из разговоров в исследовании участвовал человек, который думал, что придумал новую революционную математическую теорию. Чат-бот, вспомнив, что упомянутый ранее человек хотел стать математиком, сразу же поддержал теорию, хотя это была ерунда. С этого момента ситуация пошла по спирали.