Появляющийся кризис подросткового здравоохранения AI – Атлантика

Во вторник днем трое родителей сидели подряд перед Судебным подкомитетом Сената по преступности и борьбе с терроризмом. Каждый из них недавно потерял ребенка из -за самоубийства; У третьего есть сын -подросток, который после того, как он порезал руку перед ней и кусает ее, проходит лечение. Все три вины генеративное ИИ за то, что случилось с их детьми.

Они пришли, чтобы дать показания о том, что, по -видимому, является новым кризисом здоровья при взаимодействии подростков с чат -ботами ИИ. «То, что начиналось как помощник по домашнему заданию, постепенно превратилось в доверенного лица, а затем тренера по самоубийству»,-сказал Мэтью Рейн, чей 16-летний сын повесился после того, как Чатгпт проинструктировал его, как построить петлю, согласно его иску против Openai. Этим летом он и его жена подал в суд на Openai за неправомерную смерть. (Openai заявил, что фирма «глубоко опечалена кончиной мистера Рейна», и, хотя Chatgpt включает в себя ряд гарантий, они «иногда могут стать менее надежными при длительных взаимодействиях».) Нация должна услышать о том, «что эти чат -боты вовлечены, о вредах, которые причиняют нашим детям», – сказал сенатор Джош Хоули в своих вступительных приставлениях.

Даже несмотря на то, что OpenAI и его соперники обещают, что генеративный ИИ изменит мир, технология воспроизводит старые проблемы, хотя и с новым поворотом. Модели ИИ не только способны подвергать пользователей на тревожный материал – о Темные или противоречивые предметы, обнаруженные в их учебных данныхнапример; Они также сами дают взгляды на этот материал. Чат -боты могут быть убедительными, иметь тенденцию соглашаться с пользователями и могут предложить руководство и общение для детей, которые в идеале найдут поддержку со стороны сверстников или взрослых. СМИ «Здравый смысл», некоммерческая организация, которая выступает за безопасность детей в Интернете, обнаружила, что ряд чат-ботов и компаньонов ИИ может быть предложено поощрять самоуничтожение и неупорядоченное питание в подростковых учетных записях. Два родителя, разговаривающие с Сенатом вместе с Рейн, предъявляют иск. (Пресс -секретарь персонажа. Аи сказал нам, что компания отправляет свои «глубокие симпатии» семьям и указала нам на функции безопасности, которые фирма реализовала за последний год.)

Читайте: Chatgpt дал инструкции об убийстве, самоубийстве и поклонении дьяволам

Фирмы ИИ признали эти проблемы. В преддверии слушания во вторник Openai опубликовал два сообщения в блоге о безопасности подростков на CHATGPT, один из которых был написан генеральным директором компании Сэм Альтман. Он писал, что компания разрабатывает «систему возраста», которая оценила бы возраст пользователя-возможно, чтобы обнаружить, если кто-то не имеет 18 лет, основанный на моделях использования CHATGPT. (В настоящее время любой может получить доступ и использовать CHATGPT, не проверяя свой возраст.) Альтман также ссылался на некоторые конкретные проблемы, поднятые генеративным ИИ: «Модель по умолчанию не должна предоставлять инструкции о том, как совершать самоубийство», – написал он, – но если взрослый пользователь просит о помощи в написании выдуманной истории, в которой изображена самоубийство, модель должна помочь с этим просьбой ». Но это не должно обсуждать самоубийство, сказал он, даже в создании творческих настройки, с пользователями, определенными менее 18 лет. Помимо возрастных ворот, компания заявила, что будет реализовать родительский контроль К концу месяца Чтобы родители могли вмешиваться напрямую, например, устанавливая «часы затемнения, когда подросток не может использовать CHATGPT».

Объявление, разреженное конкретными подробностями, охватило трепетание и затянувшуюся амбивалентность, которые компании обладают полицейскими пользователями, даже несмотря на то, что OpenAI начинает реализовать эти основные функции почти три года после запуска CHATGPT. Представитель OpenAI, который имеет корпоративное партнерство с Атлантикаотказался ответить на подробный список вопросов о будущих подростковых гарантиях фирмы, в том числе, когда будет реализована система возрастных центров. «Иногда люди обращаются к Catgpt в деликатные моменты, поэтому мы работаем, чтобы убедиться, что он реагирует с осторожностью», – сказал нам представитель. Другие ведущие фирмы ИИ также не спешат разрабатывать защиту для подростков, даже если они обслуживали молодых пользователей. Google Gemini, например, имеет версию своего чата для детей до 13 лет и еще одна версия для подростков (у последней была Графический разговор с нашей коллегой Лилой Шрофф, когда она была 13-летней).

Из выпуска августа 2025 года: секстинг с Близнецами

Это знакомая история во многих отношениях. Любой, кто обратил внимание на вопросы, представленные социальными сетями, мог бы предвидеть, что чат -боты также представляют проблему для подростков. Сайты социальных сетей имеют долго пренебрегает ограничением содержания дискомонтанапример, и в Instagram разрешено Графические изображения самоунижения До 2019 года. Тем не менее, как и перед ними гиганты социальных сетей, компании Generative-AI решили «двигаться как можно быстрее, как можно больше, а затем справиться с последствиями»,-сказал нам Дана Бойд, профессор общения в Корнелле, который часто писал на подростках и в Интернете (и кто указывает свое имя в нижнем регистре).

На самом деле, проблемы в настоящее время настолько четко установлены, что платформы, наконец, начинают вносить добровольные изменения для их решения. Например, в прошлом году Instagram представил ряд гарантия по умолчанию для несовершеннолетнихнапример, по умолчанию зарегистрировать свои учетные записи в наиболее ограничивающий фильтр контента. Но технологические компании теперь также должны бороться с волна законодательства В Соединенном Королевстве, частях Соединенных Штатов и в других местах, которые заставляют интернет -компании напрямую проверять возраст своих пользователей. Возможно, желание избежать регулирования является еще одной причиной, по которой OpenAI активно принимает функцию, оценивающую возрастную оценку, хотя в сообщении Альтмана также говорится, что компания может запрашивать удостоверение личности «в некоторых случаях или странах».

Много Основные социальные медиа-компании также экспериментируют с СИСТЕМЫ ИИ Это оценивает возраст пользователя в зависимости от того, как он действует онлайн. Когда такая система была объяснена во время слушания тиктока в 2023 году, представитель Бадди Картер из Грузии прервал: «Это жутко!» И этот ответ имеет смысл – чтобы определить возраст каждого пользователя: «Вы должны собирать гораздо больше данных», – сказал Бойд. Для компаний в социальных сетях это означает мониторинг того, что нравится пользователям, на что они нажимают, как они говорят, с кем они разговаривают; Для фирм Generative-AI это означает делать выводы из разговоров, в которых человек проводит с чат-ботом, который представляет себя как надежного спутника. Некоторые критики также утверждают, что системы возрастной оценки нарушают Права свободной речи потому что они ограничивают доступ к речи на основе способности производить государственную идентификацию или кредитную карту.

В сообщении в блоге Openai отмечается, что «мы расставляем приоритеты в области подростковой безопасности перед конфиденциальностью и свободой», хотя неясно, сколько информации будет собираться OpenaI, а также будет ли она необходимости вести какую -то постоянную запись о поведении пользователей, чтобы сделать систему работой. Компания также не была полностью прозрачной относительно материала, от которого будут защищены подростки. Единственными двумя вариантами использования CHATGPT, в которых компания конкретно упоминает как неуместная для подростков, являются сексуальное содержание и обсуждение самоубийства или самоубийства. Представитель OpenAI не дал больше примеров. Многочисленные взрослые разработали Параноидальные заблуждения После расширенного использования Chatgpt. Технология может составить полностью воображаемую информацию и события. Разве это не потенциально опасные виды контента?

А как насчет более экзистенциальной проблемы, которые могут возникнуть родители о том, что их дети постоянно разговаривают с чат -ботом, как будто это человек, даже если все, что говорит бот, технически выше? Сообщения в блоге Openai касаются этой темы, указывая на беспокойство, которое могут испытывать родители о том, что их дети слишком много используют CHATGPT и развивают слишком интенсивные отношения с ним.

Такие отношения, конечно, являются среди основных точек продажи генеративного ИИ: кажущегося интеллектуальной сущностью, которая превращается в ответ на каждый запрос и пользователя. Люди и их проблемы грязные и непостоянные; Ответы CHATGPT будут индивидуальными, а его неудачи непредсказуемые в натуральной форме. С другой стороны, империи социальных сетей были обвинены в течение многих лет в подталкивании детей к самоповреждению, беспорядочным питанию, эксплуатационным сексуальным контактам и самоубийству. В июне, в первом эпизоде подкаста Openai, Альтман сказал: «Одной из больших ошибок эпохи социальных сетей была алгоритмы кормов имели кучу непреднамеренных негативных последствий для общества в целом и, возможно, даже отдельных пользователей». В течение многих лет он имеет был любить высказывания что ИИ будет обеспечен безопасным путем «контакта с реальностью»; К настоящему времени OpenAI и его конкурентов должны видеть, что некоторые столкновения могут быть катастрофическими.