На фоне роста Sextortion ученые-компьютерщики используют ИИ для выявления рискованных приложений

Почти каждую неделю Брайану Левину, специалисту по информатике из Массачусетского университета в Амхерсте, его 14-летняя дочь задает один и тот же вопрос: «Могу ли я загрузить это приложение?»

В ответ г-н Левин просматривает сотни отзывов клиентов в App Store на предмет обвинений в домогательствах или сексуальном насилии над детьми. Ручной и произвольный процесс заставил его задуматься, почему нет дополнительных ресурсов, чтобы помочь родителям быстро принимать решения о приложениях.

За последние два года г-н Левин стремился помочь родителям, разработав вычислительную модель, которая оценивает отзывы клиентов о социальных приложениях. Используя искусственный интеллект для оценки контекста отзывов с такими словами, как «детское порно» или «педо», он и группа исследователей создали доступный для поиска веб-сайт под названием App Danger Project, который предоставляет четкие рекомендации по безопасности приложений для социальных сетей. .

Веб-сайт подсчитывает отзывы пользователей о сексуальных хищниках и дает оценки безопасности приложений с негативными отзывами. В нем перечислены отзывы, в которых упоминается сексуальное насилие. Хотя команда не связалась с рецензентами, чтобы проверить их утверждения, она прочитала каждое из них и исключила те, в которых не было указано на проблемы с безопасностью детей.

«Есть обзоры, в которых говорится о типе опасного поведения, но эти обзоры заглушаются», — сказал г-н Левин. — Вы не можете их найти.

Хищники все чаще используют приложения и онлайн-сервисы для сбора откровенных изображений. В прошлом году правоохранительные органы получили 7000 заявлений о детях и подростках, которых принуждали отправлять обнаженные изображения, а затем шантажировали фотографиями или деньгами. ФБР отказалось сообщить, сколько из этих сообщений заслуживают доверия. Инцидентов, которые называют сексторцией, за время пандемии стало более чем вдвое.

По словам г-на Левин, поскольку магазины приложений Apple и Google не предлагают поиск по ключевым словам, родителям может быть трудно найти предупреждения о неприемлемом сексуальном поведении. Он предполагает, что бесплатный проект App Danger Project дополнит другие сервисы, которые проверяют пригодность продуктов для детей, такие как Common Sense Media, путем выявления приложений, которые недостаточно контролируют пользователей. Он не планирует получать прибыль от сайта, но поощряет пожертвования Массачусетскому университету, чтобы компенсировать его расходы.

Г-н Левин и дюжина ученых-компьютерщиков изучили количество обзоров, предупреждающих о сексуальном насилии над детьми в более чем 550 приложениях для социальных сетей, распространяемых Apple и Google. Они обнаружили, что пятая часть этих приложений содержала две или более жалобы на материалы о сексуальном насилии над детьми, а 81 предложение в магазинах приложений и игр имело семь или более таких отзывов.

Их расследование основано на предыдущих сообщениях о приложениях с жалобами на нежелательные сексуальные взаимодействия. В 2019 году The New York Times подробно описала, как хищники относятся к видеоиграм и платформам социальных сетей как к охотничьим угодьям. В отдельном отчете The Washington Post в том же году были обнаружены тысячи жалоб на шесть приложений, что привело к удалению Apple приложений Monkey, ChatLive и Chat for Strangers.

Apple и Google имеют финансовый интерес в распространении приложений. Технологические гиганты, на долю которых приходится до 30 процентов продаж в магазинах приложений, помогли трем приложениям с многочисленными сообщениями пользователей о сексуальном насилии заработать в прошлом году 30 миллионов долларов: Hoop, MeetMe и Whisper, по данным исследовательской фирмы Sensor Tower.

В более чем дюжине уголовных дел Министерство юстиции описало эти приложения как инструменты, которые использовались для того, чтобы просить детей о сексуальных изображениях или встречах — Hoop в Миннесоте; MeetMe в Калифорнии, Кентукки и Айове; и Whisper в Иллинойсе, Техасе и Огайо.

Г-н Левин сказал, что Apple и Google должны предоставлять родителям больше информации о рисках, связанных с некоторыми приложениями, и лучше следить за теми, кто имеет послужной список злоупотреблений.

«Мы не говорим, что каждое приложение с обзорами, в которых говорится, что в нем есть дети-хищники, должно быть удалено, но если у них есть технология, чтобы проверить это, почему некоторые из этих проблемных приложений все еще находятся в магазинах?» — спросил Хейни Фарид, специалист по информатике из Калифорнийского университета в Беркли, работавший с г-ном Левином над проектом App Danger Project.

Apple и Google заявили, что регулярно сканируют отзывы пользователей о приложениях с помощью собственных вычислительных моделей и расследуют заявления о сексуальном насилии над детьми. Когда приложения нарушают их политику, они удаляются. Приложения имеют возрастные рейтинги, чтобы помочь родителям и детям, а программное обеспечение позволяет родителям накладывать вето на загрузки. Компании также предлагают разработчикам приложений инструменты для контроля за материалами детского сексуального характера.

Представитель Google сказал, что компания исследовала приложения, перечисленные в App Danger Project, и не нашла доказательств материалов о сексуальном насилии над детьми.

«Хотя отзывы пользователей действительно играют важную роль в качестве сигнала для начала дальнейшего расследования, утверждения из обзоров сами по себе недостаточно надежны», — сказал он.

Apple также исследовала приложения, перечисленные в App Danger Project, и удалила 10 приложений, которые нарушали его правила распространения. Он отказался предоставить список этих приложений или причины, по которым они приняли меры.

«Наша команда по проверке приложений работает круглосуточно и без выходных, тщательно проверяя каждое новое приложение и его обновление, чтобы убедиться, что оно соответствует стандартам Apple», — говорится в заявлении представителя.

Проект App Danger заявил, что обнаружил значительное количество отзывов, в которых говорилось, что Hoop, приложение для социальных сетей, небезопасно для детей; например, было обнаружено, что 176 из 32 000 отзывов с 2019 года содержали сообщения о сексуальном насилии.

«Здесь полно сексуальных хищников, которые рассылают спам людям со ссылками на сайты знакомств, а также людей с ником «Прочитай мою фотографию», — говорится в обзоре, взятом из App Store. «На нем есть фотография маленького ребенка и предлагается перейти на их сайт для просмотра детской порнографии».

У Hoop, который находится под новым руководством, есть новая система модерации контента для повышения безопасности пользователей, сказал Лиат Ариш, исполнительный директор Hoop, добавив, что исследователи обратили внимание на то, как первоначальные основатели боролись с ботами и злоумышленниками. «Ситуация резко улучшилась», — сказал глава администрации.

Meet Group, которой принадлежит MeetMe, заявила, что не терпит жестокого обращения или эксплуатации несовершеннолетних и использует инструменты искусственного интеллекта для обнаружения хищников и сообщения о них правоохранительным органам. Он сообщает властям о ненадлежащей или подозрительной деятельности, в том числе об эпизоде ​​2019 года, когда мужчина из Роли, Северная Каролина, вымогал детскую порнографию.

Whisper не ответил на запросы о комментариях.

сержант Шон Пирс, возглавляющий оперативную группу Департамента полиции Сан-Хосе по борьбе с интернет-преступлениями против детей, сказал, что некоторые разработчики приложений избегали расследования жалоб на секс-вымогательство, чтобы уменьшить свою юридическую ответственность. Закон гласит, что они не обязаны сообщать о преступной деятельности, пока не обнаружат ее, сказал он.

«В этом больше виноваты приложения, чем магазин приложений, потому что это делают приложения», — сказал сержант Пирс, который проводит презентации в школах Сан-Хосе в рамках программы под названием «Инициатива бдительных родителей». По его словам, часть проблемы заключается в том, что многие приложения связывают незнакомцев для анонимных разговоров, что затрудняет проверку правоохранительными органами.

Apple и Google ежегодно направляют в информационный центр США сотни отчетов о сексуальном насилии над детьми, но не уточняют, связаны ли какие-либо из этих отчетов с приложениями.

Whisper входит в число приложений для социальных сетей, которые команда г-на Левайна обнаружила во множестве обзоров, в которых упоминается сексуальная эксплуатация. После загрузки приложения в 2018 году старшеклассник получил сообщение от незнакомца, который предложил внести свой вклад в сбор средств для школьной робототехники в обмен на фотографию топлесс. После того, как она отправила фотографию, незнакомец пригрозил отправить ее ее семье, если она не предоставит больше изображений.

Семья подростка сообщила об инциденте в местные правоохранительные органы, согласно отчету полицейского управления Маскуты в Иллинойсе, которое позже арестовало местного жителя Джошуа Брекеля. Он был приговорен к 35 годам лишения свободы за вымогательство и детскую порнографию. Хотя Whisper не был признан виновным, он был назван вместе с полдюжиной приложений в качестве основных инструментов, которые он использовал для сбора изображений жертв в возрасте от 10 до 15 лет.

Крис Хоэлл, бывший федеральный прокурор Южного округа штата Иллинойс, который работал над делом Брекеля, сказал, что всесторонняя оценка обзоров проекта App Danger Project может помочь родителям защитить своих детей от проблем с такими приложениями, как Whisper.

«Это похоже на агрессивно распространяющуюся, устойчивую к лечению опухоль», — сказал г-н Хоэлл, который сейчас имеет частную практику в Сент-Луисе. «Нам нужно больше инструментов».