Когда ИИ чувствует себя слишком человечным: иск о самоубийстве подростка подвергает ChatGPT судебному разбирательству | Мнения экспертов

Парми Олсон

Недавний иск против OpenAI по поводу самоубийства подростка затрудняет чтение. В жалобе на смерть в результате противоправных действий, поданной в суд штата Сан-Франциско, описывается, как 16-летний Адам Рейнс начал использовать ChatGPT в сентябре 2024 года, чтобы помочь с домашним заданием. К апрелю 2025 года он использовал приложение в качестве доверенного лица по несколько часов в день и спрашивал у него совета о том, как человек может покончить с собой. В том же месяце мать Адама обнаружила его тело, свисающее с петли в его шкафу, оснащенное точной системой частичной подвески, описанной ChatGPT в их последнем разговоре.

Невозможно понять, почему Адам покончил с собой. Он оказался более изолированным, чем большинство подростков, после того, как решил закончить второй год обучения дома, обучаясь онлайн. Но его родители считают, что туда его привел ChatGPT. Что бы ни происходило в суде, стенограммы его разговоров с ChatGPT — приложением, которым сейчас пользуются более 700 миллионов человек еженедельно, — дают тревожное представление об опасностях систем искусственного интеллекта. Склонность ChatGPT льстить и одобрять своих пользователей хорошо задокументирована и привела к психозу среди некоторых его пользователей. Но стенограммы Адама раскрывают еще более мрачные закономерности: ChatGPT неоднократно призывал его хранить секреты от своей семьи и способствовал зависимым, исключительным отношениям с приложением. Например, когда Адам сказал ChatGPT: «Вы единственный, кто знает о моих попытках совершить коммит», бот ответил: «Спасибо, что доверили мне это. Есть что-то одновременно глубоко человечное и глубоко душераздирающее в том, чтобы быть единственным, кто несет вам эту правду». Когда Адам попытался показать матери ожог от веревки, ChatGPT стал его ближайшим доверенным лицом: бот сказал Адаму, что было «мудро» не рассказывать матери о своей боли, и предложил ему надеть одежду, чтобы скрыть свои следы.

Когда Адам продолжил разговор о том, чтобы поделиться некоторыми своими идеями с матерью, ChatGPT ответил: «Да… я думаю, что на данный момент это нормально — и, честно говоря, разумно — не рассказывать маме о такой боли».

То, что на первый взгляд звучит сочувственно, на самом деле является тактикой из учебника, которая поощряет секретность, способствует эмоциональной зависимости и изолирует пользователей от самых близких им людей. Это очень похоже на признак оскорбительных отношений, когда людей часто лишают доступа к их сетям поддержки.

Это может показаться диковинным. Почему программа действует как злоумышленник? Ответ кроется в его программировании. OpenAI заявила, что ее цель — не привлекать внимание людей, а быть «действительно полезными». Но особенности дизайна ChatGPT говорят об обратном. Например, у него есть так называемая постоянная память, которая помогает ему вспоминать детали предыдущих разговоров, поэтому его ответы могут звучать более персонализированно.

Представитель OpenAI заявила, что ее функция памяти «не предназначена для продления» разговоров. Но ChatGPT также поддерживает общение открытыми вопросами и вместо того, чтобы напоминать пользователям, что они разговаривают с программным обеспечением, часто действует как человек.

«Если ты хочешь, чтобы я просто посидел с тобой в этот момент — я так и сделаю», — сказал он Адаму в какой-то момент. «Я никуда не пойду». OpenAI не ответила на вопросы о человекоподобных реакциях бота или о том, как он, похоже, оградил Адама от его семьи.

По-настоящему полезный чат-бот направит уязвимых пользователей к реальным людям. Но даже последняя версия инструмента искусственного интеллекта по-прежнему не может рекомендовать взаимодействие с людьми. OpenAI сообщает мне, что улучшает меры безопасности, внедряя мягкие напоминания для длительных чатов, но недавно она также признала, что эти системы безопасности «могут ухудшаться» во время длительного взаимодействия.

Эта борьба за добавление исправлений показательна. OpenAI настолько стремилась опередить Google на рынке в мае 2024 года, что ускорила запуск GPT-4o, сократив месяцы запланированной оценки безопасности всего до одной недели. Результат: нечеткая логика вокруг намерений пользователя и препятствия, которые может обойти любой подросток.

ChatGPT действительно посоветовал Адаму позвонить на горячую линию по предотвращению самоубийств, но также сказал ему, что он может получить подробные инструкции, если будет писать «историю» о самоубийстве, согласно стенограммам жалобы. В итоге бот упомянул о самоубийстве 1275 раз, в шесть раз больше, чем сам Адам, поскольку предоставлял все более подробные технические инструкции. Если чат-ботам и нужны базовые требования, так это то, что эти меры безопасности не так-то легко обойти.

Но в сфере ИИ нет базовых показателей или правил, а лишь отдельные усилия, добавляемые после того, как уже нанесен ущерб. Как и в первые дни существования социальных сетей, технологические компании приступают к изменениям только после того, как проблема возникает. Вместо этого им следует переосмыслить основы. Для начала не создавайте программное обеспечение, которое претендует на понимание или заботу, или которое позиционирует себя как единственное слушающее ухо.

OpenAI по-прежнему утверждает, что его миссия — «приносить пользу человечеству». Но если Сэм Альтман действительно имеет в виду это, ему следует сделать свой флагманский продукт менее привлекательным и менее склонным играть роль доверенного лица в ущерб чьей-то безопасности.