Чат -боты играют с вашими эмоциями, чтобы не попрощаться

Регуляция темных моделей была предложена и обсуждается как в США, так и в Европе. Де Фрейтас говорит, что регуляторы также должны посмотреть, вводят ли инструменты искусственного интеллекта более тонкие и потенциально более мощные – новые виды темных узоров.

Даже обычные чат -боты, которые, как правило, избегают представления себя как компаньонов, могут выявлять эмоциональные ответы от пользователей. Когда Openai представила GPT-5, новую флагманскую модель, ранее в этом году, Многие пользователи протестовали, что это было гораздо менее дружелюбное и обнадеживающее чем его предшественник – заставляя компанию возродить старую модель. Некоторые пользователи могут настолько привязаться к «личности» чат -бота, что они могут оплакивать Пенсия старых моделейПолем

«Когда вы антропоморфизируете эти инструменты, он имеет все виды позитивных маркетинговых последствий», – говорит де Фрейтас. Пользователи с большей вероятностью будут выполнять запросы от чат -бота, с которым они чувствуют, или раскрывают личную информацию, говорит он. «С точки зрения потребителей, эти [signals] Не обязательно в вашу пользу », – говорит он.

Wired обратился к каждой из компаний, которые просмотрели в исследовании для комментариев. Chai, Talkie и Polybuzz не ответили на вопросы Wired.

Кэтрин Келли, представитель персонажа AI, сказала, что компания не рассмотрела исследование, поэтому не могла прокомментировать его. Она добавила: «Мы приветствуем работу с регуляторами и законодателями, когда они разрабатывают правила и законодательство для этого нового пространства».

Minju Song, представитель Replika, говорит, что компаньон компании разработан, чтобы пользователи могли легко уйти и даже побуждают их делать перерывы. «Мы продолжим просматривать методы и примеры статьи, и [will] Конструктивно взаимодействует с исследователями », – говорит Сонг.

Интересной обратной стороной здесь является тот факт, что модели ИИ сами также подвержены всевозможным уловкам убеждения. В понедельник Openai введено Новый способ купить вещи в Интернете через CHATGPT. Если агенты становятся широко распространенными как способ автоматизировать такие задачи, как бронирование рейсов и завершение возмещения, то компании могут идентифицировать темные модели, которые могут свергнуть решения, принятые моделями ИИ, стоящих за этими агентами.

А Недавнее исследование Исследователи из Колумбийского университета и компания под названием MyCustomai показывают, что агенты искусственного интеллекта, развернутые на фиктивном рынке электронной коммерции, ведут себя предсказуемыми способами, например, предпочитая определенные продукты по сравнению с другими или предпочитая определенные кнопки при нажатии вокруг сайта. Вооружившись этими выводами, настоящий торговец мог оптимизировать страницы сайта, чтобы агенты покупали более дорогой продукт. Возможно, они могли бы даже развернуть новый вид анти-Айского мрачного образца, который расстраивает усилия агента, чтобы начать возврат или выяснить, как отказаться от списка рассылки.

Трудные прощания могут быть наименьшими из наших забот.

Вы чувствуете, что вас эмоционально манипулировали чат -ботом? Отправить электронное письмо [email protected] рассказать мне об этом.

Это издание Будет рыцарь Ай -лабораторный информационный бюллетеньПолем Прочитайте предыдущие информационные бюллетени здесь.