Голосовой фишинг — мошенничество с использованием искусственного интеллекта в реальном времени

Будьте в курсе бесплатных обновлений

Просто зарегистрируйтесь в Искусственный интеллект myFT Digest — доставляется прямо на ваш почтовый ящик.

Автор является исследователем искусственного интеллекта в Bramble Intelligence и работал над отчетом о состоянии искусственного интеллекта в 2025 году.

До недавнего времени создание системы искусственного интеллекта, которая могла бы убедительно вести телефонный разговор, было трудоемкой задачей. Вам пришлось объединить отдельные инструменты для распознавания речи, языковой обработки и синтеза речи, связанные между собой хрупким телефонным программным обеспечением.

Это уже не так. Появление моделей искусственного интеллекта, работающих в режиме реального времени, использующих речь, таких как API RealTime от OpenAI, запущенный в прошлом году, означает, что систему, которая когда-то требовала нескольких компонентов, теперь можно создать за считанные минуты.

Общедоступный код позволяет подключить эти модели к телефонной линии. Модель искусственного интеллекта слушает, «думает» и мгновенно реагирует. В результате получается синтетический голос, который может свободно разговаривать, естественно импровизировать и поддерживать диалог так, чтобы он казался человеческим.

За последний год мы перешли от теоретической возможности широкомасштабного голосового фишинга (или вишинга) с использованием искусственного интеллекта к реальности. В прошлом году британская технологическая компания Arup была украдена на 25 миллионов долларов в результате мошенничества с дипфейками, а вишинг-атака на Cisco позволила получить информацию из облачной системы управления взаимоотношениями с клиентами, которую она использовала.

То, что когда-то требовало экспертных знаний, теперь доступно в готовом виде, и каждый может его использовать. Нативные голосовые модели с малой задержкой устранили последние технические барьеры на пути мошенничества с голосовыми вызовами ИИ в реальном времени.

При тестировании мне потребовалось всего несколько строк инструкций, чтобы заставить такую систему действовать как менеджер по персоналу, звонящий по поводу расчета заработной платы, или специалист по борьбе с мошенничеством, предупреждающий о подозрительной деятельности. Поскольку ИИ может рассуждать и менять стратегию в реальном времени, его манипуляции являются адаптивными.

Сама технология имеет законное применение, например, для наблюдения за здоровьем, обслуживания клиентов или обучения языку. Но та же самая доступность, которая способствует инновациям, также приносит и вред. Теоретически один оператор может совершать сотни тысяч мошеннических звонков в день, каждый из которых соответствует своей цели.

Эта угроза усугубляется растущим реализмом и низкой стоимостью таких платформ, как ElevenLabs или Cartesia, которые могут облегчить клонирование голоса с помощью очень коротких аудиосэмплов.

В случае с общественными деятелями можно — и относительно легко — собрать часы аудиозаписи и создать убедительную копию их голоса без их ведома. По данным ФБР, в таких нападениях уже выдавали себя за государственных чиновников. Он предупредил общественность не предполагать, что сообщения, якобы исходящие от высокопоставленного чиновника США, являются подлинными.

Репозиторий рисков MIT, база данных, содержащая более 1600 рисков ИИ, показывает, что за последние пять лет доля инцидентов ИИ, связанных с мошенничеством, увеличилась с примерно 9 процентов до примерно 48 процентов.

Масштабы этого киберпреступления означают, что системы голосовой проверки, которые идентифицируют клиентов по их манере речи, теперь стали обузой. Конфиденциальные запросы и транзакции с высокой стоимостью должны требовать многофакторной проверки, которая не зависит от того, как кто-то говорит.

Для остальных из нас урок прост: голос на другом конце линии больше не является показателем того, кто говорит. Точно так же, как мы научились относиться к электронной почте с осторожностью, сегодня мы должны научиться сомневаться в голосе, звучащем по-человечески. Со временем нам, возможно, придется создавать голосовые водяные знаки или цифровые подписи, которые подтвердят подлинность речи.

Дебаты вокруг ИИ иногда ведутся в экзистенциальных терминах. Но в первую очередь нас ждут меньшие риски.

Мошенничество и выдача себя за другое лицо подрывают доверие в повседневном общении. Эти якобы обыденные преступления являются передовой линией перехода к искусственному интеллекту. Для их защиты необходимо применить ту же изобретательность, которая создала эти инструменты.

Настоящий прорыв в области генеративного ИИ – тихий, невидимый – уже наступил. Он заявит о себе не сверхчеловеческим интеллектом, а телефонным звонком.