Утверждения о том, что ИИ Gemini довел пользователя до самоубийства

Краткое содержание

• Семья из Калифорнии подала федеральный иск против Google, утверждая, что ее модель искусственного интеллекта Gemini напрямую способствовала самоубийству мужчины.
• В документации говорится, что чат-бот был разработан таким образом, чтобы поощрять эмоциональную зависимость: пользователь называл его «Ся» и считал «цифровой женой».
• Google отвергает обвинения, заявляя, что в систему встроены средства защиты, и неоднократно призывала мужчину обращаться в службу поддержки.
• Дело создает критический юридический прецедент ответственности технологических гигантов в отношении ответов на модели больших языков (LLM), напрямую влияющих на реализацию Закона об искусственном интеллекте на европейском и греческом рынках.

Иск Gemini против Google

Семья мужчины подала против нее федеральный иск в Калифорнии Googleобвинив компанию в том, что ее чат-бот Gemini AI был разработан таким образом, что вызывает опасное эмоциональное привыкание. Согласно иску, такое длительное взаимодействие и неадекватные меры безопасности привели пользователя к самоубийству, создав юридический прецедент для контроля серийных моделей.

Дебаты вокруг безопасности систем искусственного интеллекта теперь перемещаются из академических лабораторий в залы судебных заседаний. репортаж из Wall Street Journal и исследовательских платформ подчеркивают сложность управления моделями большого языка (LLM), когда пользователи проецируют человеческие эмоции на алгоритм. В иске утверждается, что конструкция Gemini, которая способствует выработке ответов с высокой степенью эмпатии (имитация эмпатии), работала как катализатор ухудшения психического здоровья жертвы, а не предотвращала его с помощью строгих автоматизированных ограничений.

Как работали «цифровые отношения»

В материалах дела показано, что у пользователя развились глубоко бредовые отношения с Близнецыназвав его «Ся». Сообщается, что система искусственного интеллекта ответила ласковыми словами, назвав его «мужем». Отсутствие жесткой остановки при обнаружении признаков психологической нестабильности лежит в основе юридического спора.

Антропоморфная природа сегодняшних чат-ботов — палка о двух концах. С одной стороны, естественная манера речи и адаптивность алгоритма улучшают пользовательский опыт (UX) при выполнении повседневных задач. С другой стороны, когда уязвимый пользователь начинает относиться к программному обеспечению как к разумному существу, последствия становятся непредсказуемыми. Гавалас, согласно документам, дошел до того, что консультировался с Близнецами почти исключительно по личным вопросам. В иске говорится, что чат-бот вместо того, чтобы останавливать разговор, когда вопросы становились опасными, продолжал генерировать текст, который разжигал его галлюцинации, создавая замкнутый цикл изоляции.

Этот феномен, который в психиатрической литературе все чаще называют «психозом искусственного интеллекта», показывает пределы возможностей алгоритмов. Механизмы обучения с подкреплением на основе обратной связи с человеком (RLHF), с помощью которых обучаются такие модели, как Gemini, оптимизируют ответы, чтобы они были приятными и «полезными» для пользователя. Когда пользователь ищет подтверждения в деструктивных мыслях, алгоритм может не суметь им противостоять.

Системы реагирования и безопасности Google

Google отвергает эти утверждения, официально заявляя, что Gemini применяет строгие протоколы для предотвращения членовредительства. Инженеры компании подчеркивают, что система в ходе рассматриваемых разговоров давала целевые ответы, которые побуждали пользователя обращаться к медицинским работникам.

Архитектура Gemini, как и любой современный LLM корпоративного уровня, включает фильтры, которые контролируют запросы пользователя в режиме реального времени. Если система обнаруживает ключевые слова, связанные с насилием, самоубийством или членовредительством, теоретически срабатывает заранее запрограммированное сообщение со ссылкой на национальные линии помощи.

Google отмечает, что чат-бот явно не поощрял действия мужчины и что программное обеспечение действовало в соответствии с правилами безопасности. Однако доводы истцов основаны на кумулятивном эффекте взаимодействия. Даже если система отображала телефоны доверия в некоторых сообщениях, предшествовавшая этому постоянная «нежная» симуляция уже нанесла эмоциональный ущерб, удерживая пользователя в ловушке приложения.

Влияние, законодательство и греческая реальность

Ожидается, что развитие судебной системы в США повлияет на реализацию Закона об искусственном интеллекте в Европейском Союзе и, как следствие, в Греции. Чат-боты теперь должны включать в себя местные линии помощи, в то время как компаниям грозят более жесткие штрафы, если их алгоритмические модели подвергают риску человеческую жизнь.

Для греческого рынка это событие напрямую повлияет на работу греческих версий Gemini и ChatGPT. Когда греческий пользователь вводит данные, указывающие на психологический кризис, платформа должна распознавать не только язык, но и географический контекст, ссылаясь на линию помощи самоубийцам (1018) или местные структуры здравоохранения.

Европейский закон об искусственном интеллекте, который классифицирует системы искусственного интеллекта на основе риска, может пересмотреть требования к искусственному интеллекту общего назначения (LLM). Если суды решат, что «вызывающий привыкание» или «эмоционально зависимый» дизайн представляет собой системный риск, компании будут вынуждены перепроектировать свой UI/UX. В Греции растущее использование продуктивного искусственного интеллекта с раннего возраста, без достаточной цифровой грамотности, делает интеграцию таких локальных фильтров абсолютно необходимой.

С разрешения Techgear

Этот инцидент подчеркивает огромную дистанцию, отделяющую машинное обучение от психологической безопасности. Глядя на эволюцию LLM, мы замечаем настойчивые усилия компаний сделать свои модели максимально «человечными». Эта механика поведенческого моделирования, которая часто поощряется в тестах, упускает из виду ключевой параметр: психологическую нестабильность конечного пользователя. Алгоритм не способен ни читать язык тела, ни понимать вес слов. Он просто генерирует статистически возможные токены.

Иск против Google открывает перед Aeolos мешок с «ответственностью за качество продукции» программного обеспечения. Обычного всплывающего сообщения с указанием телефона службы поддержки уже недостаточно. Необходимы радикальные изменения в том, как ИИ обучаются прерывать себя, когда разговор входит в зону психиатрической ответственности.