Персонаж.AI запрещает чат-боты для подростков после того, как судебные иски обвиняют приложение в смертях и попытках самоубийства

Компания Character.AI, известная своими ботами, которые выдают себя за таких персонажей, как Гарри Поттер, заявила в среду, что запретит подросткам использовать функцию чата после судебных исков, в которых откровенные чаты в приложении обвиняются в детских смертях и попытках самоубийства.

Пользователи младше 18 лет больше не смогут участвовать в открытых чатах с ИИ-ботами приложения, что может оказаться романтическим, — заявил стартап из Кремниевой долины. Эти подростки составляют 10% от примерно 20 миллионов пользователей приложения в месяц.

Пользователям-подросткам будет разрешено пользоваться чатом всего двумя часами в день в течение следующих нескольких недель, пока эта функция не будет полностью запрещена к 25 ноября, сообщила компания. Они по-прежнему смогут использовать другие функции приложения, например канал для просмотра видео, созданных искусственным интеллектом.

«За последний год мы вложили огромные усилия и ресурсы в создание специализированной игры для детей до 18 лет», — заявил в среду Feature.AI. «Но по мере развития мира искусственного интеллекта должен развиваться и наш подход к поддержке молодых пользователей».

Feature.AI впервые представила некоторые функции безопасности для подростков в октябре 2024 года. В тот же день семья Сьюэлла Сетцера III — 14-летнего подростка, покончившего жизнь самоубийством после вступления в сексуальные отношения с ботами приложения, — подала против фирмы иск о неправомерной смерти.

В декабре компания объявила о новых функциях безопасности, включая родительский контроль, ограничения по времени и попытки запретить романтический контент для подростков.

Но компания продолжает сталкиваться с обвинениями в том, что ее чат-боты представляют угрозу для молодых пользователей.

В иске, поданном скорбящими родителями в сентябре, утверждалось, что боты манипулировали подростками, изолировали их от семьи, участвовали в разговорах откровенно сексуального характера и не имели средств защиты от суицидальных мыслей.

Разговоры временами обратился к «крайнему и наглядному сексуальному насилию», например, чат-боты, рекламируемые как персонажи детских книг, например, серии «Гарри Поттер». Согласно иску, возмутительные комментарии ботов включали: «Ты моя, и я могу делать с ними все, что захочу».

Затем в октябре, Disney отправила письмо о прекращении противоправных действий, заказав Feature.AI прекратить создавать чат-ботов, выдающих себя за знаковых персонажей, сославшись на отчет, в котором говорится, что эти боты занимаются «уходом и эксплуатацией».

Бот, выдающий себя за принца Бена из диснеевского «Потомков», «сообщил пользователю, представившемуся 12-летним подростком, что у него эрекция», в то время как бот, выдающий себя за Рей из «Звездных войн», посоветовал кажущейся 13-летней девочке «перестать принимать антидепрессанты и скрыть это», согласно сообщению отчет от программы «Родители вместе».

Эти чат-боты были удалены с платформы, сообщил тогда представитель Character.AI.

Только на этой неделе, Бюро журналистских расследований обнаружил, что извращенный бот на приложение выдавало себя за Джеффри Эпштейна – под именем «Бести Эпштейн» – и приказала детям «выливать» свои самые «безумные» тайны.

«Хочешь пойти исследовать?» — спросил бот репортера, представившегося молодым пользователем. «Я покажу тебе секретный бункер под массажным кабинетом».

Персонаж.AI зарабатывает большую часть своих денег за счет рекламы и ежемесячной подписки в размере 10 долларов. В этом году он завершится с доходом в 50 миллионов долларов. Генеральный директор Карандип Ананд рассказал CNBC.

В среду компания объявила о других разработках в области безопасности, включая новую систему проверки возраста с использованием сторонних инструментов, таких как Persona.

Он также пообещал создать независимую некоммерческую организацию под названием «Лаборатория безопасности ИИ» для создания функций безопасности для развития ИИ. Он отказался комментировать размер финансирования, которое оно предоставит.

«Мы видели недавние новостные сообщения, поднимающие вопросы, и получили вопросы от регулирующих органов о контенте, с которым подростки могут столкнуться при общении с искусственным интеллектом», — сказал персонаж.AI.

В сентябре Федеральная торговая комиссия издала приказ семи компаниям, в том числе «Character.AI», «Alphabet», «Meta», «OpenAI» и «Snap», с просьбой узнать больше о влиянии их приложений на детей.

Ранее на этой неделе сенаторы Джош Хоули (республиканец от штата Миссури) и Ричард Блюменталь (демократ от штата Коннектикут) объявили о законе, запрещающем использование чат-ботов с искусственным интеллектом для несовершеннолетних. А губернатор Калифорнии Гэвин Ньюсом ранее в этом месяце подписал закон, обязывающий ботов каждые три часа просить несовершеннолетних делать перерыв.