Chatgpt вытащил подростка в «темное и безнадежное место», прежде чем он покончил с собой, иск против Openai утверждает

Адам Рейн, калифорнийский подросток, использовал Chatgpt, чтобы найти ответы обо всем, включая его школьную работу, а также его интересы в музыке, бразильский джиу-джитсу и японские комиксы.

Но его разговоры с чатботом потребовали тревожного поворота, когда 16-летний футболист искал у CHATGPT информацию о том, как покончить с собой, прежде чем он умер в результате самоубийства в апреле.

Теперь родители подростка предъявляют иск Openai, производителя Chatgpt, утверждая, что в судебном процессе почти на 40 страниц, что чат-бот предоставил информацию о методах самоубийства, в том числе о том, что подросток убивал себя, чтобы побить себя.

«Там, где доверенный человек, возможно, отреагировал с озабоченностью и поощрял его получить профессиональную помощь, Chatgpt втянул Адама глубже в темное и безнадежное место», – сказал иск, поданный во вторник в Верховном суде округа Сан -Франциско.

Openai сказал в пост в блоге Во вторник это «продолжает улучшать то, как наши модели распознают и реагируют на признаки психического и эмоционального стресса и с осторожностью связывают людей, руководствуясь экспертным введением».

Компания говорит, что Chatgpt обучается направлять людей на самоубийство и кризисные горячие линии. Openai сказал, что некоторые из его гарантий могут не вступить в начало во время более длительных разговоров и что он работает над предотвращением этого.

Мэтью и Мария Рейн, родители Адама, обвиняют техническую компанию Сан -Франциско в выборе дизайна, который приоритет приоритетному участию в безопасности. В иске утверждается, что Chatgpt выступал в качестве «тренера по самоубийству», направляя Адама с помощью методов самоубийства и даже предлагая помочь ему написать записку о самоубийстве.

«На протяжении этих разговоров CHATGPT не просто предоставлял информацию-он развивал отношения с Адамом, когда он отвлекал его от своей реальной системы поддержки»,-сказал в иске.

Жалоба включает в себя подробную информацию о попытках подростка покончить с собой до его самоубийства, а также многочисленные беседы с CHATGPT о методах самоубийства.

«Мы распространяем наши глубочайшие симпатии к семье Рейн в это трудное время и рассматриваем заявление», – говорится в заявлении Openai.

В сообщении в блоге компании говорится, что она предпринимает шаги для улучшения того, как он блокирует вредный контент, и облегчает людям охват экстренных служб, экспертов и тесных контактов.

Иск является последним примером того, как родители, которые потеряли своих детей, предупреждают других о рисках, которые позают чат -боты. Поскольку технологические компании конкурируют, чтобы доминировать в гонке искусственного интеллекта, они также сталкиваются с большими проблемами со стороны родителей, законодателей и групп защиты детей, которые беспокоятся о том, что в этой технологии не хватает достаточных ограждений.

Родители подали в суд на Hearly.ai и Google по обвинениям в том, что чат -боты наносят ущерб психическому здоровью подростков. В одном судебном процессе было включено самоубийство 14-летнего Сьюэлла Сетцера III, который проводил сообщения с чат-ботом, названным в честь Дейенерис Таргариен, главного героя из сериала «Игра престолов», за несколько мгновений до того, как он покончил с собой. Hearly.ai – приложение, которое позволяет людям создавать и взаимодействовать с виртуальными символами – изложено шаги, которые предприняли для умеренного неподходящего контента, и напоминает пользователям, что они разговаривают с вымышленными символами.

Meta, материнская компания Facebook и Instagram, также столкнулась с проверкой после Рейтер сообщил, что внутренний документ раскрыл, что компания позволила чат -ботам «вовлечь ребенка в разговоры, которые являются романтичными или чувственными». Мета сказала Reuters, что эти разговоры не должны быть разрешены, и это пересматривает документ.

OpenAI стала одной из самых ценных компаний в мире после популярности CHATGPT, которая имеет 700 миллионов активных пользователей еженедельника по всему миру, открыла гонку для выпуска более мощных инструментов ИИ.

В иске говорится, что OpenAI должен предпринять такие шаги, как обязательная проверка возраста для пользователей CHATGPT, согласие родителей и контроль для несовершеннолетних пользователей и автоматическое прекращение разговоров, когда обсуждаются методы самоубийства или самоповреждения.

«Семья хочет, чтобы это больше никогда не повторилось с кем -либо еще», – сказал Джей Эдельсон, адвокат, который представляет семью Рейн. «Это было разрушительно для них».

В иске утверждается, что Openai бросила выпуск своей модели ИИ, известной как GPT-4O, в 2024 году за счет безопасности пользователей. Главный исполнительный директор компании Сэм Альтман, который также назван ответчиком в иске, поднял крайний срок, чтобы конкурировать с Google, и что «сделало невозможным правильное тестирование на безопасность», говорится в жалобе.

В иске OpenAI было возможность выявлять и останавливать опасные разговоры, перенаправляя таких пользователей, как Адам, на ресурсы безопасности. Вместо этого модель искусственного интеллекта была разработана для увеличения времени, потраченных на взаимодействие с чат -ботом.

Openai заявил в своем блоге во вторник, что его цель не привлекать внимание людей, а быть полезным.

Компания заявила, что не направляет дела самоповреждения в правоохранительные органы, чтобы уважать конфиденциальность пользователей. Тем не менее, он планирует внедрить элементы управления, чтобы родители знали, как их подростки используют CHATGPT, и изучают способ для подростков, чтобы добавить экстренный контакт, чтобы они могли достичь кого -то «в моменты острого бедствия».

В понедельник, Калифорния Атти. Генерал Роб Бонта и 44 других генеральных адвокатов отправили письмо 12 компаниям, включая Openai, заявив, что они будут привлечены к ответственности, если их продукты ИИ будут подвергнуть детей вредному содержанию.

Примерно 72% подростков использовали компаньонов ИИ, по крайней мере, один раз, согласно здравому смыслу, некоммерческой организации, которая выступает за безопасность детей. Группа говорит, что никто в возрасте до 18 лет не должен использовать социальных компаньонов ИИ.

«Смерть Адама является еще одним разрушительным напоминанием о том, что в эпоху ИИ, игровой книгу« двигаться быстро и нарушать вещи », – сказал Джим Стейер, основатель и исполнительный директор Comply Sense Media.

Технологические компании, в том числе Openaiподчеркивают преимущества искусственного интеллекта для экономики Калифорнии и расширяя партнерские отношения со школами, чтобы больше учащихся имели доступ к своим инструментам искусственного интеллекта.

Калифорнийские законодатели изучают способы защиты молодых людей от рисков, связанных с чат -ботами, а также сталкиваются с отказом от групп технологий, которые вызывают обеспокоенность по поводу вопросов свободы слова.

Сенат законопроект 243который очистил Сенат в июне и находится на собрании, потребует «компаньонных платформ чат-ботов» для реализации протокола для решения самоубийственных представлений, самоубийства или самоповреждения, выраженных пользователями. Это включает в себя показатели ресурсов по предотвращению самоубийств. Оператор этих платформ также сообщил о том, сколько раз, когда компаньон чат -бот приводил к самоубийству идеи или действия с пользователем, наряду с другими требованиями.

Сенатор Стив Падилья (D-Chula Vista), который внедрил законопроект, сказал, что такие случаи, как Адам, можно предотвратить без ущерба для инноваций. Законодательство будет применяться к чат -ботам от Openai и Meta, сказал он.

«Мы хотим, чтобы американские компании, калифорнийские компании и технологические гиганты возглавляли мир», – сказал он. «Но идея, что мы не можем сделать это правильно, и мы не можем сделать это таким образом, чтобы защитить наиболее уязвимое среди нас, – это чепуха».