Сайт чат-бота Character.ai лишает подростков возможности общаться с виртуальными персонажами после того, как они столкнулись с резкой критикой по поводу того, как молодые люди взаимодействуют с онлайн-собеседниками.
Платформа, основанная в 2021 году, используется миллионами людей для общения с чат-ботами на базе искусственного интеллекта (ИИ).
Но в США на него подали несколько исков со стороны родителей, в том числе по поводу смерти подростка, причем некоторые называют это “явная и реальная опасность“молодёжи.
Теперь, как сообщает Character.ai, с 25 ноября дети до 18 лет смогут создавать контент, например видео со своими персонажами, а не разговаривать с ними, как они могут сейчас.
Участники кампании по обеспечению безопасности в Интернете приветствовали этот шаг, но заявили, что эта функция вообще не должна была быть доступна детям.
Компания Character AI заявила, что вносит изменения после «отчетов и отзывов регулирующих органов, экспертов по безопасности и родителей», которые подчеркнули обеспокоенность по поводу взаимодействия ее чат-ботов с подростками.
Эксперты ранее предупреждали, что чат-боты с искусственным интеллектом могут придумывать проблемы, чрезмерно воодушевлять и симулировать сочувствие, что может представлять опасность для молодых и уязвимых людей.
«Сегодняшнее объявление является продолжением нашей общей убежденности в том, что нам необходимо продолжать создавать самую безопасную платформу искусственного интеллекта на планете для развлекательных целей», — сказал > руководитель компании Character.ai Карандип Ананд.
Он сказал, что безопасность ИИ является «подвижной целью», но компания применила «агрессивный» подход. родительский контроль и ограждения.
Группа онлайн-безопасности Internet Matters приветствовала это объявление, но заявила, что меры безопасности должны были быть предусмотрены с самого начала.
«Наши собственные исследования показывают, что дети подвергаются воздействию вредного контента и подвергаются риску при взаимодействии с искусственным интеллектом, включая чат-боты с искусственным интеллектом», — говорится в сообщении.
В прошлом сайт Character.ai критиковали за размещение потенциально вредных или оскорбительных чат-ботов, с которыми могли общаться дети.
Аватары, изображающие британских подростков Брианну Гей, убитую в 2023 году, и Молли Рассел, покончившую с собой в возрасте 14 лет после просмотра материалов о самоубийстве в Интернете, были обнаружен на сайте в 2024 году прежде чем его снимут.
Позже, в 2025 году, Бюро журналистских расследований (TBIJ) обнаружило чат-бота, основанного на педофиле Джеффри Эпштейне, который зарегистрировал более 3000 чатов с пользователями.
Об этом сообщило издание Аватар «Бести Эпштейн» продолжал флиртовать со своим репортером после того, как тот сказал, что был ребенком. Это был один из нескольких ботов, отмеченных TBIJ, которые впоследствии были удалены Character.ai.
Фонд Молли Роуз, созданный в память о Молли Рассел, поставил под сомнение мотивацию платформы.
«И снова потребовалось постоянное давление со стороны средств массовой информации и политиков, чтобы заставить технологическую фирму поступить правильно, и похоже, что ИИ персонажей решает действовать сейчас, прежде чем регулирующие органы заставят их», — сказал Энди Берроуз, исполнительный директор компании.
Г-н Ананд сказал, что новым фокусом компании стало обеспечение «еще более глубокого игрового процесса». [and] функции рассказывания историй в ролевых играх» для подростков — добавление их было бы «намного безопаснее, чем то, что они могли бы сделать с открытым ботом».
Также появятся новые методы проверки, и компания профинансирует новую исследовательскую лабораторию по безопасности ИИ.
Эксперт по социальным сетям Мэтт Наварра сказал, что это «тревожный сигнал» для индустрии искусственного интеллекта, которая переходит «от неразрешенных инноваций к посткризисному регулированию».
«Когда платформа, которая создает подростковый опыт, затем отключается, она говорит, что отфильтрованных чатов недостаточно, когда эмоциональная привлекательность технологии сильна», – сказал он >.
«Речь идет не об ошибках в контенте. Речь идет о том, как ИИ-боты имитируют реальные отношения и стирают границы для молодых пользователей», — добавил он.
Г-н Наварра также сказал, что большой задачей для Character.ai будет создание привлекательной платформы искусственного интеллекта, которую подростки по-прежнему захотят использовать, а не переходить к «менее безопасным альтернативам».
Тем временем доктор Номиша Куриан, которая исследовала безопасность искусственного интеллекта, сказала, что ограничить использование подростками чат-ботов было «разумным шагом».
«Это помогает отделить творческую игру от более личного, эмоционально чувствительного общения», — сказала она.
«Это очень важно для молодых пользователей, которые еще учатся ориентироваться в эмоциональных и цифровых границах.
«Новые меры Character.ai могут отражать этап зрелости индустрии искусственного интеллекта: безопасность детей все чаще признается в качестве неотложного приоритета для ответственных инноваций».
По теме
