ИИ Меты отправляет «мусорные» советы Министерству юстиции, утверждают американские следователи по вопросам жестокого обращения с детьми | Технология

Метаиспользование искусственный интеллект Программное обеспечение для модерации своих платформ в социальных сетях генерирует большие объемы бесполезных отчетов о случаях сексуального насилия над детьми, что истощает ресурсы и препятствует расследованиям, заявили сотрудники оперативной группы США по расследованию преступлений против детей в Интернете (ICAC).

«Мы получаем много советов от Меты, которые являются просто мусором», — заявил на прошлой неделе во время своих показаний в суде Бенджамин Цвибель, специальный агент оперативной группы ICAC в Нью-Мексико. государственный судебный процесс против Меты. Генеральный прокурор штата утверждает, что платформы компании ставят прибыль выше безопасности детей. Meta оспаривает эти обвинения, ссылаясь на изменения, которые она ввела на своих платформах, например, подростковые учетные записи с защитой по умолчанию. Рабочая группа ICAC представляет собой общенациональную сеть правоохранительных органов, сотрудничающую с Министерством юстиции США, которая занимается расследованием и судебным преследованием случаев онлайн-эксплуатации и жестокого обращения с детьми.

Другой офицер ICAC, выступавший на условиях анонимности для обсуждения внутренних вопросов, сказал: “Мета предоставляет тысячи советов каждый месяц. Это довольно ошеломляет, потому что мы получаем так много отчетов, но качество отчетов действительно недостаточно с точки зрения нашей способности предпринимать серьезные действия”. Сотрудник МКАС добавил, что общее количество киберсоветов, полученных их ведомством, удвоилось с 2024 по 2025 год.

Нежизнеспособные сообщения из Instagram, Facebook и WhatsApp в некоторых случаях содержат информацию, не являющуюся криминальной, заявили Цвайбель и два сотрудника МКАС. В сообщениях иногда содержится информация, указывающая на то, что преступление могло иметь место, однако важные изображения, видео или текст отсутствуют или отредактированы, добавили анонимные офицеры.

«[Unviable tips from] Instagram в последнее время резко вырос, особенно за последние пару месяцев, и это одно из крупнейших мест, где мы видим, что эта информация не предоставляется», — добавил сотрудник ICAC. «В таких случаях у нас нет информации для дальнейшего расследования. Вам тяжело осознавать, что это преступление произошло, но мы не можем установить личность преступника».

Отвечая на вопрос о показаниях Цвайбеля и замечаниях офицеров ICAC, представитель Meta сказал: «Мы годами поддерживали правоохранительные органы в преследовании преступников: Министерство юстиции неоднократно хвалило наше быстрое сотрудничество, которое помогло привести к арестам, а NCMEC похвалил наши упорядоченные и «улучшенные» действия.[d]’ процесс сообщения о чаевых. В 2024 году мы получили более 9000 экстренных запросов от властей США и разрешили их в среднем за 67 минут, а в случаях, связанных с безопасностью детей и самоубийствами, — еще быстрее. В соответствии с действующим законодательством мы также сообщаем NCMEC о очевидных изображениях сексуальной эксплуатации детей и поддерживаем их в определении приоритетности сообщений: от помощи в создании инструмента управления делами до маркировки киберсоветов, чтобы они знали, какие из них являются срочными».

Компания отметила, что агент Цвайбель рекомендовал использовать функцию подростковых учетных записей Меты во время своих показаний, что, по его словам, он и сделал, «потому что это единственный доступный вариант, при условии, что подростки не будут воздерживаться от использования социальных сетей».

Рауль Торрес, Нью-Мексико Генеральный прокурор, ведущий дело против Меты, признал сотрудничество компании в предоставлении сведений о жестоком обращении с детьми в ходе судебного разбирательства: «Я хочу отдать должное некоторым приложениям и платформам социальных сетей, включая Meta, в определенной степени они передают изображения в Национальный центр по делам пропавших и эксплуатируемых детей».

Материалы, опубликованные по делу в пятницу, показывают, что руководители Meta бьют внутреннюю тревогу по поводу способности компании контролировать сексуальное насилие над детьми и предупреждать правоохранительные органы в начале 2019 года. В то время компания готовилась включить сквозное шифрование в Facebook Messenger, которое скрывает сообщения пользователей от кого-либо, кроме предполагаемого получателя, с помощью криптографии.

Документы вызывают новые вопросы

“Мы как компания собираемся совершить плохой поступок. Это так безответственно”, – написала Моника Бикерт, руководитель отдела контентной политики Meta.

Бикерт написал, что «не было бы возможности обнаружить планирование теракта или эксплуатацию детей», если бы содержимое Messenger было зашифровано, что может затруднить работу с правоохранительными органами. Бикерт также заявил, что, согласно внутренним документам, Meta «грубо искажает нашу способность проводить операции по обеспечению безопасности».

В другом документе сотрудники Meta подсчитали, что шифрование Messenger сделало бы компанию «неспособной активно предоставлять данные правоохранительным органам в 600 случаях эксплуатации детей, 1454 случаях сексуального вымогательства, 152 случаях терроризма, 9 угрозах стрельбы в школах».

Энди Стоун, представитель Meta, сказал Reuters: «Опасения, поднятые в 2019 году, являются той самой причиной, по которой мы разработали ряд новых функций безопасности, помогающих обнаруживать и предотвращать злоупотребления, и все они предназначены для работы в зашифрованных чатах».

Группы безопасности детей раскритиковали шифрование Messenger, которое в конечном итоге было запущено в 2023 году.

Массовое сообщение о жестоком обращении с детьми

По закону компании социальных сетей, базирующиеся в США, обязан сообщить любые обнаруженные на своих платформах материалы о сексуальном насилии над детьми (CSAM) в Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC). NCMEC служит национальным центром обмена отчетами, которые пересылаются в соответствующие правоохранительные органы в США и за рубежом. NCMEC не имеет полномочий отфильтровывать любые сообщения, которые могут оказаться нежизнеспособными, прежде чем они будут отправлены в соответствующие правоохранительные органы.

Meta на сегодняшний день является крупнейшим репортером NCMEC. В своем отчете о данных за 2024 год NCMEC сообщила, что Meta отправила 13,8 млн сообщений в Facebook, Instagram и Whatsapp из 20,5 млн советов, которые она получила в общей сложности.

В NCMEC заявили, что в 2024 году более 1 миллиона отчетов CyberTipline были связаны с конкретным штатом США, и эти отчеты были предоставлены оперативным группам ICAC по всей стране, а также другим федеральным, государственным и местным правоохранительным органам для расследования.

Meta и другие компании, занимающиеся социальными сетями, используют ИИ для обнаружения подозрительных материалов на своих сайтах и сообщения о них, а также нанимают модераторов для проверки части помеченного контента перед отправкой его в правоохранительные органы. Ранее газета Guardian сообщили, что подсказки, генерируемые ИИ которые также не были проверены сотрудником компании, занимающейся социальными сетями, часто не могут быть открыты сотрудником правоохранительных органов без ордера из-за защиты четвертой поправки. Этот дополнительный шаг также замедляет расследование потенциальных преступлений, говорят адвокаты, занимающиеся такими делами.

Представитель Meta сказал: “К сожалению, судебные постановления увеличили нагрузку на правоохранительные органы, требуя ордера на обыск для открытия идентичных копий контента, который мы уже рассмотрели и сообщили. Наша система сопоставления изображений находит копии известных случаев эксплуатации детей в масштабах, которые было бы невозможно сделать вручную, и мы работаем над обнаружением нового контента об эксплуатации детей с помощью технологий, отчетов нашего сообщества и расследований наших специалистов по безопасности детей”.

Законодательные изменения вызывают лавину советов

В соответствии с Законом о сообщениях (пересмотр существующих процедур сообщения с помощью технологий), который вступил в силу в ноябре 2024 года, поставщики онлайн-услуг должны расширить и ужесточить свои обязательства по отчетности, уведомляя CyberTipline NCMEC не только о материалах о сексуальном насилии над детьми, но также о планируемом или неминуемом насилии, торговле детьми в целях сексуальной эксплуатации и связанной с ними эксплуатации; они также должны сохранять доказательства в течение более длительного периода и подвергаться более суровым наказаниям, если они сознательно не соблюдают требования.

С момента принятия закона количество нежизнеспособных чаевых, предоставляемых Meta, резко возросло, что может быть связано с тем, что компания действует для того, чтобы гарантировать, что она не нарушает закон, сказали два сотрудника ICAC. Многие из этих советов не могут быть расценены как преступление, например, когда девочки-подростки рассказывают о том, какую знаменитость они считают наиболее привлекательной.

«Исходя из моего образования и опыта, похоже, что они представляются с использованием ИИ, поскольку это типичные ошибки, которые ИИ может совершить, а человек-наблюдатель — нет», — заявил Цвибель в суде.

Напротив, отдел Звибеля получает от Meta значительно меньше информации о законных случаях распространения материалов о сексуальном насилии над детьми (CSAM), чем в предыдущие годы, сказал он.

Каждое сообщение, поступающее в подразделение ICAC, должно быть проверено, а наплыв нежизнеспособных сообщений отнимает время и ресурсы у расследования законных случаев жестокого обращения с детьми, заявили два офицера.

“Это убивает моральный дух. Мы тонем в чаевых и хотим выйти и выполнить эту работу”, – сказал один из офицеров ICAC. “У нас нет персонала, чтобы это выдержать. Мы не сможем справиться с надвигающимся наводнением”.