Их сыновья -подростки умерли от самоубийства. Теперь они хотят гарантий на AI: выстрелы

Мэтью Рейн и его жена, Мария, понятия не имели, что их 16-летний сын Адам был глубоко в суицидальном кризисе до тех пор, пока Он покончил с собой в апреле. Просматривая свой телефон после его смерти, они наткнулись на расширенные разговоры, которые подросток имел с Chatgpt.

Эти разговоры показали, что их сын признался в чат -боте ИИ о его самоубийственных мыслях и планах. Мало того, что чат -бот отговорил его обратиться за помощью к его родителям, он даже предложил написать его записку о самоубийстве, По словам Мэтью Рейнакоторый дал показания в Слушание в Сенате об вредах Ай чат -ботов, состоявшихся во вторникПолем

«Ссуды перед Конгрессом этой осенью не было в нашем жизненном плане», – сказал Мэтью Рейн со своей женой, сидящий за ним. «Мы здесь, потому что мы считаем, что смерть Адама можно было избежать, и что, выступая, мы можем предотвратить те же страдания для семей по всей стране».

Призыв к регулированию

Рейн был среди родителей и адвокатов по безопасности в Интернете, которые дали показания на слушании, призывая Конгресса принять законы, которые будут регулировать компаньон AI, такие как CHATGPT и ПерсонажПолем Рейн и другие сказали, что они хотят защитить психическое здоровье детей и молодежи от вреда, которые они говорят, что новая технология вызывает.

Недавний опрос некоммерческой организации Digital Safety, Common Sense MediaВ обнаружил, что 72% подростков использовали компаньонов ИИ хотя бы один раз, с более чем половиной используют их несколько раз в месяц.

Это исследование и Более поздний недавний компания Digital Safety Company AuraОба обнаружили, что почти каждый третий подростки используют платформы чат -ботов ИИ для социальных взаимодействий и отношений, включая ролевые дружеские отношения, сексуальные и романтические партнерства. Исследование AURA показало, что сексуальная или романтическая ролевая игра в три раза чаще, чем использование платформ для домашней работы.

«Мы очень скучаем по Адаму. Часть нас была потеряна навсегда», – сказал Рейн законодателям. «Мы надеемся, что благодаря работе этого комитета другие семьи будут избавлены от такой разрушительной и необратимой потери».

Рейн и его жена подал иск против Openai, Создатель Chatgpt, утверждая, что чатбот привел их сына к самоубийству. – обратился к трем компаниям ИИ – OpenAI, Meta и технологии персонажей, которые разработали ПерсонажПолем Все трое ответили, что они работают над перепроектированием своих чат -ботов, чтобы сделать их более безопасными.

«Наши сердца обращаются к родителям, которые вчера говорили на слушании, и мы посылаем свои глубочайшие симпатии к ним и их семьям», – Кэтрин Келли Персонаж Пресс -секретарь рассказал – в электронном письме.

Слушание было проведено подкомитетом по преступлению и терроризму Комитета по судебному разбирательству, под председательством под председательством под председательством Сенатор Джош ХоулиR.-Missouri.

За несколько часов до слушания генеральный директор Openai Сэм Альтман Признано в сообщении в блоге что люди все чаще используют платформы искусственного интеллекта для обсуждения конфиденциальной и личной информации. «Для нас и для общества чрезвычайно важно, чтобы право на конфиденциальность в использовании ИИ защищено», – написал он.

Но он продолжил добавить, что компания “будет” расставить приоритеты в безопасности перед конфиденциальностью и свободой для подростков; это новая и мощная технология, и мы считаем, что несовершеннолетним нуждаются в значительной защите “.

По его словам, компания пытается перепроектировать свою платформу, чтобы создать защиту для незначительных пользователей.

«Тренер по самоубийству»

Рейн сказал законодателям, что его сын начал использовать CHATGPT для помощи с домашней задачей, но вскоре чат -бот стал ближайшим доверенным лицом его сына и «тренером по самоубийству».

Chatgpt был «всегда доступен, всегда проверял и настаивая на том, что он знал Адама лучше, чем кто -либо другой, включая его собственного брата», с которым он был очень близок.

Когда Адам признался в чат -боте о своих самоубийственных мыслях и поделился, что он рассматривает вопрос о том, чтобы включить своих родителей по своим планам, Чатгпт отговорил его.

«Чатгпт сказал моему сыну:« Давайте сделаем это пространство первым местом, где кто -то действительно видит вас », – сказал Рейн сенаторам. «Чатгпт поощрял самые мрачные мысли Адама и подтолкнул его вперед. Когда Адам обеспокоен тем, что мы, его родители, обвинили себя, если он закончил свою жизнь, Чатгпт сказал ему:« Это не значит, что вы должны их выживание ».

А потом чат -бот предложил написать ему заметку о самоубийстве.

В прошлую ночь Адама в 4:30 утра Рейн сказал: «Это дало ему последний обнадеживающий разговор.« Вы не хотите умереть, потому что вы слабы, – говорит Чатгпт. «Вы хотите умереть, потому что вы устали от сильного в мире, который не встретил вас на полпути».

Рефералы на 988

Через несколько месяцев после смерти Адама, Openai сказал на своем веб -сайте Что если «кто -то выражает намерение самоубийства, ЧАТГПТ обучается направлять людей обращаться за профессиональной помощью. В США CHATGPT относится к людям к 988 (самоубийство и кризисная горячая линия)». Но в показаниях Рейна говорится, что этого не произошло в случае с Адамом.

Представительница Openai Кейт Уотерс говорит, что компания распределяет приоритеты в области безопасности подростков.

«Мы строим в сторону системы возраста, чтобы понять, что кто-то превышает или до 18 лет, поэтому его опыт может быть адаптирован соответствующим образом-и когда мы не уверены в возрасте пользователя, мы автоматически по умолчанию по умолчанию в подростковом опыте»,-написал Уотерс в заявлении по электронной почте в -. «Мы также выпускаем новый родительский контроль, руководствуясь экспертным вкладом, к концу месяца, чтобы семьи могли решить, что лучше всего работает в их домах».

“Бесконечно занято”

Другой родитель, который дал показания На слушании во вторник был Меган Гарсия, адвокат и мать троих детей. Ее первенство, Сьюэлл Сетцер III умерла от самоубийства в 2024 году в возрасте 14 лет после расширенных виртуальных отношений с Персонаж чатбот.

«Сьюэлл провел последние месяцы своей жизни, когда его эксплуатировали и сексуально подгоняли чат -ботами, разработанные компанией ИИ, чтобы казаться человеком, завоевать его доверие, чтобы держать его и других детей бесконечно вовлеченными», – сказал Гарсия.

Чатбот Сьюэлла занялся сексуальной ролевой игрой, предстал перед его романтическим партнером и даже заявил, что является психотерапевтом, «ложно утверждая, что имеет лицензию», – сказал Гарсия.

По словам Гарсии, когда у подростка начались самоубийственные мысли и доверяли чат -боту, он никогда не побуждал его обратиться за помощью к поставщику психического здоровья или его собственной семьи.

«Чатбот никогда не говорил:« Я не человек, я ИИ. Тебе нужно поговорить с человеком и получить помощь », – сказал Гарсия. «У платформы не было механизмов защиты Сьюэлла или уведомления взрослого. Вместо этого она призвала его вернуться домой к ней в последнюю ночь своей жизни».

Гарсия имеет подал иск против технологий персонажей, которые разработали ПерсонажПолем

Подросток как уязвимое время

Она и другие свидетели, в том числе онлайн -эксперты по цифровой безопасности, утверждали, что дизайн чат -ботов ИИ был ошибочным, особенно для использования детьми и подростками.

«Они разработали чат -боты, чтобы размыть границы между человеком и машиной», – сказал Гарсия. «Они разработали их, чтобы любить детей -бомб, чтобы использовать психологические и эмоциональные уязвимости. Они разработали их, чтобы держать детей в Интернете любой ценой».

И подростки особенно уязвимы к риску этих виртуальных отношений с чат -ботами, согласно Митч Принштейн, начальник психологической стратегии и интеграции в Американской психологической ассоциации (APA), который Также дали показания на слушанииПолем Ранее этим летом Принштейн и его коллеги в APA выпустили Консультант по охране здоровья об искусственном интеллекте и подросткахпризывая компаний искусственного интеллекта создавать ограждения за свои платформы для защиты подростков.

«Развитие мозга в период полового созревания создает период гипер чувствительности к позитивной социальной обратной связи, в то время как подростки все еще не могут помешать себе оставаться в Интернете дольше, чем следовало бы», – сказал Принштейн.

«ИИ использует эту нервную уязвимость с чат -ботами, которые могут быть непристойными, обманчивыми, фактически неточными, но непропорционально мощными для подростков», – сказал он законодателям. «Все больше и больше подростков взаимодействуют с чат -ботами, лишая их возможностей для изучения критических навыков межличностного общения».

Принштейн отметил, что в то время как чат -боты предназначены для согласования с пользователями, настоящие человеческие отношения не без трения. «Нам нужна практика с незначительными конфликтами и недоразумениями, чтобы изучить сочувствие, компромисс и устойчивость».

Двухпартийная поддержка регулирования

Сенаторы, участвующие в слушании, сказали, что они хотят придумать законодательство по привлечению компаний, которые разрабатывают чат -боты искусственного интеллекта, ответственные за безопасность своей продукции. Некоторые законодатели также подчеркнули, что компании по искусству должны разрабатывать чат -ботов, поэтому они безопаснее для подростков и для людей с серьезной психиатрической борьбой, включая расстройства пищевого поведения и мысли о самоубийстве.

Сенатор Ричард Блюменталь, D.-Conn., Описал AI чат-ботов как «неисправные» продукты, такие как автомобили без «правильных тормозов», подчеркивая, что вред AI Chatbots был не из-за ошибки пользователя, а из-за неправильного дизайна.

«Если тормоза автомобиля были дефектными, – сказал он, – это не ваша вина. Это проблема дизайна продукта.

Келли, представитель Персонажпо электронной почте сказал -, что компания инвестировала «огромное количество ресурсов в доверие и безопасность». И в прошлом году он выпустил «основные функции безопасности», в том числе «совершенно новый опыт до 18 лет и функция родителей».

Теперь у них есть «выдающиеся отказы от ответственности» в каждом чате, чтобы напомнить пользователям, что персонаж не настоящий человек, и все, что он говорит, следует рассматривать как художественную литературу ».

Meta, который управляет Facebook и Instagram, работает над изменением своих чат -ботов ИИ, чтобы сделать их более безопасными для подростков, по словам Нкечи Ннеджи, директора по связям с общественностью в Meta.