Ужасающая афера с искусственным интеллектом, использующая голос вашего близкого человека

Недавно ночью женщина по имени Робин спала рядом со своим мужем Стивом в их доме в Бруклине, когда на прикроватной тумбочке зазвонил ее телефон. Робин около тридцати пяти лет, у нее длинные грязно-светлые волосы. Она работает дизайнером интерьеров, специализируясь на роскошных домах. В тот вечер пара пошла в бар с натуральными винами в Коббл-Хилл, а несколькими часами ранее вернулась домой и легла спать. Двое их маленьких детей спали в спальнях дальше по коридору. «Я всегда бодрствую на одно ухо», — сказала мне недавно Робин. Когда зазвонил ее телефон, она открыла глаза и посмотрела на номер звонящего. Это была ее свекровь Мона, которая никогда не звонила после полуночи. «Я думаю, может быть, это пустяк», — сказала Робин. «Поэтому я игнорирую это и пытаюсь перевернуться и вернуться в постель. Но потом я вижу, как оно всплывает снова».

Она взяла трубку и на другом конце услышала голос Моны, плачущей и повторяющей слова: «Я не могу этого сделать, я не могу этого сделать». «Я думала, она пытается сказать мне, что произошла какая-то ужасная трагедия», — сказала мне Робин. Моне и ее мужу Бобу за семьдесят. Она устроитель вечеринок на пенсии, а он дантист. Теплые месяцы они проводят в Бетесде, штат Мэриленд, а зиму — в Бока-Ратон, где играют в пиклбол и канасту. Первой мыслью Робина было, что произошел несчастный случай. Родители Робин тоже зимуют во Флориде, и она представила их четверых в автокатастрофе. «Ваш мозг совершает странные вещи посреди ночи», — сказала она. Затем Робин услышал по телефону что-то похожее на голос Боба. (Члены семьи попросили изменить их имена, чтобы защитить их частную жизнь.) «Мона, передай мне телефон», – сказал голос Боба, а затем: «Позови Стива. Возьми Стива. Робин восприняла это – то, что они не хотели говорить ей, пока она была одна – как еще один признак их серьезности. Она разбудила Стива. «Я думаю, это твоя мама», сказала она ему. «Я думаю, она говорит мне, что произошло что-то ужасное».

Стив, у которого коротко подстриженные волосы и спортивное телосложение, работает в правоохранительных органах. Когда он открыл глаза, он обнаружил Робин в состоянии паники. «Она кричала», — вспоминал он. «Я думал, что вся ее семья умерла». Когда он взял трубку, он услышал расслабленный мужской голос – возможно, южный – на другом конце линии. «Вы не будете звонить в полицию», — сказал мужчина. «Ты никому не расскажешь. Я приставил пистолет к голове твоей мамы и вышибу ей мозги, если ты не сделаешь именно то, что я говорю.

Стив воспользовался своим телефоном, чтобы позвонить коллеге, имеющему опыт переговоров о заложниках. У коллеги был отключен звук, чтобы он мог слышать звонок, но не был услышан. «Ты слышишь это???» Стив написал ему. “Что я должен делать?” Коллега ответил: «Делаю заметки. Продолжай говорить. Идея, по словам Стива, заключалась в том, чтобы продолжить разговор, откладывая насилие и пытаясь узнать любую полезную информацию.

«Я хочу услышать ее голос», — сказал Стив мужчине по телефону.

Мужчина отказался. «Если ты спросишь меня об этом еще раз, я убью ее», — сказал он. — Ты, черт возьми, спятил?

— Хорошо, — сказал Стив. “Что ты хочешь?”

Мужчина потребовал деньги на проезд; он хотел пятьсот долларов, отправленных через Венмо. «Это была безумно маленькая сумма для человека», — вспоминал Стив. «Но также: я, очевидно, заплачу это». Робин, подслушивая, предположил, что кто-то ворвался в дом родителей Стива, чтобы задержать их и потребовать немного денег. По телефону мужчина дал Стиву счет Venmo, на который можно было отправить деньги. Это не сработало, поэтому он попробовал еще несколько и в конце концов нашел тот, который сработал. Приложение спросило, для чего была проведена транзакция.

«Поставь смайлик с пиццей», — сказал мужчина.

После того, как Стив отправил пятьсот долларов, мужчина проговорил женским голосом (кажется, подругой), который сказал, что деньги поступили, но их недостаточно. Стив спросил, отпустят ли его мать, и мужчина расстроился из-за того, что он говорил об этом в присутствии женщины. «Эй, эй, эй», — сказал он. — Детка, я позвоню тебе позже. По мнению Стива, это означало, что женщина не знала о ситуации с заложниками. «Это сделало ситуацию еще более реальной», — сказал мне Стив. Затем мужчина попросил еще двести пятьдесят долларов, чтобы купить билет для своей девушки. «Мне нужно привести сюда маму моего малыша», — сказал он. Стив отправил дополнительную сумму, и когда она была обработана, мужчина повесил трубку.

К этому времени прошло около двадцати пяти минут. Робин плакала, а Стив разговаривал со своим коллегой. «Ребята, вы отлично справились», — сказал коллега. Он сказал им позвонить Бобу, поскольку телефон Моны явно был взломан, и убедиться, что он и Мона теперь в безопасности. После нескольких попыток Боб взял телефон и передал его Моне. “Ты дома?” Стив и Робин спросили ее. “Ты в порядке?”

Мона говорила нормально, но она не понимала, о чем они говорят. «Да, я в постели», — ответила она. “Почему?”

Искусственный интеллект производит революцию, казалось бы, во всех аспектах нашей жизни: в медицинской диагностике, прогнозировании погоды, освоении космоса и даже в таких повседневных задачах, как написание электронных писем и поиск в Интернете. Но с ростом эффективности и точности вычислений появился ящик Пандоры. В Интернете распространяется дипфейковый видеоконтент. Через месяц после того, как Россия вторглась в Украину, в социальных сетях появилось видео, на котором президент Украины Владимир Зеленский, похоже, приказывает своим войскам сдаться. (Он этого не сделал.) В начале февраля этого года полиция Гонконга объявила, что финансового работника обманом заставили выплатить двадцать пять миллионов долларов после того, как он принял участие в видеоконференции с людьми, которые, по его мнению, были членами его фирмы. старший персонал. (Это не так.) Благодаря крупным языковым моделям, таким как ChatGPT, фишинговые электронные письма также становятся все более изощренными. Тем временем Стив и Робин стали жертвами еще одной новой аферы, которая использует ИИ для копирования голоса любимого человека. «Теперь мы прошли через жуткую долину», — сказал мне Хани Фарид, изучающий генеративный искусственный интеллект и манипулирование медиа в Калифорнийском университете в Беркли. «Теперь я могу клонировать голос практически любого человека и заставить его говорить что угодно. И то, что, по вашему мнению, произойдет, именно то, что происходит».

Роботы, подражающие человеческим голосам, конечно, не новость. В 1984 году компьютер Apple стал одним из первых, способных читать текстовый файл собственным жестким роботизированным голосом. «Привет, я Macintosh», — объявила приседающая машина живой аудитории на презентации со Стивом Джобсом. «Конечно, здорово вылезти из этой сумки». Компьютер в то время раскритиковал главного конкурента Apple, заявив: «Я хотел бы поделиться с вами принципом, который пришел мне в голову, когда я впервые встретил мэйнфрейм IBM: никогда не доверяйте компьютеру, который вы не можете поднять». В 2011 году Apple выпустила Siri; Вдохновленная говорящими компьютерами из «Звездного пути», программа могла интерпретировать точные команды — скажем, «Играть в Стального Дэна» или «Позвонить маме» — и отвечать, используя ограниченный словарный запас. Три года спустя Amazon выпустила Alexa. Синтезированные голоса соседствовали с нами.

Тем не менее, еще несколько лет назад прогресс в области синтетических голосов застопорился. Они были не совсем убедительны. «Если я пытаюсь создать лучшую версию Siri или GPS, меня волнует естественность», — объяснил Фарид. «Это похоже на человека, а не на этого жуткого получеловека-полуробота?» Воспроизвести конкретный голос еще сложнее. «Я должен не только звучать человек— продолжил Фарид. «Я должен звучать как ты». Однако в последние годы проблема стала решаться благодаря увеличению количества денег, большего количества данных (что немаловажно, множества голосовых записей в Интернете) и прорывов в базовом программном обеспечении, используемом для генерации речи. В 2019 году это принесло свои плоды: базирующаяся в Торонто компания Dessa, занимающаяся искусственным интеллектом, клонировала голос подкастера Джо Рогана. (Роган ответил тогда с «трепетом» и одобрением в Instagram, добавив: «Будущее будет чертовски странным, ребята».) Но Дессе нужно было много денег и сотни часов очень доступного голоса Рогана, чтобы сделать их продукт. Их успех был разовым.

Однако в 2022 году нью-йоркская компания ElevenLabs представила сервис, который быстро создает впечатляющие клоны практически любого голоса; были включены звуки дыхания, и можно было клонировать более двух десятков языков. Технология ElevenLabs теперь широко доступна. «Вы можете просто зайти в приложение, заплатить пять долларов в месяц, передать ему сорок пять секунд чьего-то голоса, а затем клонировать этот голос», — сказал мне Фарид. Сейчас компания оценивается более чем в миллиард долларов, а остальные крупные технологические компании не отстают. Разработчики программы клонирования Vall-E от Microsoft, которая дебютировала в прошлом году, использовали шестьдесят тысяч часов англоязычной аудиокниги, записанной более чем семью тысячами носителей. Сообщается, что Vall-E, недоступный для широкой публики, может воспроизводить голос и «акустическую среду» говорящего всего за три секунды.

Технология клонирования голоса, несомненно, улучшила жизнь некоторых людей. Voice Keeper входит в число немногих компаний, которые сейчас «аккумулируют» голоса тех, кто страдает от заболеваний, лишающих голоса, таких как БАС, болезнь Паркинсона и рак горла, чтобы позже они могли продолжать говорить своим голосом посредством текстовых сообщений. программное обеспечение для озвучивания речи. Южнокорейская компания недавно запустила то, что она называет первой «поминальной службой по искусственному интеллекту», которая позволяет людям «жить в облаке» после их смерти и «разговаривать» с будущими поколениями. Компания предполагает, что это может «облегчить боль смерти ваших близких». У этой технологии есть и другие законные, хотя и менее альтруистические, применения. Знаменитости могут использовать программы клонирования голоса, чтобы «одолжить» свои голоса для записи рекламы и другого контента: например, член Зала славы студенческого футбола Кейт Байарс недавно позволил сети куриных ресторанов в Огайо использовать клон его голоса для приема заказов. Киноиндустрия также выиграла. Актеры в фильмах теперь могут «говорить» на других языках — скажем, на английском, когда в США выходит иностранный фильм. «Это означает, что больше не будет субтитров и дубляжа», — сказал Фарид. «Каждый может говорить на том языке, на котором хочет». Множество публикаций, в том числе Житель Нью-Йорка, используйте ElevenLabs, чтобы предложить аудиозапись историй. В прошлом году мэр Нью-Йорка Эрик Адамс разослал роботизированные звонки с помощью искусственного интеллекта на китайском и идише — языках, на которых он не говорит. (Защитники конфиденциальности назвали это «жутким тщеславным проектом».)

Но чаще всего технология используется в гнусных целях, например, в мошенничестве. Теперь это стало проще, поскольку TikTok, YouTube и Instagram хранят бесконечное количество видеороликов, на которых разговаривают обычные люди. «Это просто», — объяснил Фарид. «Вы берете тридцать или шестьдесят секунд детского голоса и входите в ElevenLabs, и очень скоро бабушке звонят голосом внука и говорят: «Бабушка, у меня проблемы, я попал в аварию». «Финансовый запрос почти всегда является концом игры. Фарид продолжил: «И вот в чем дело: плохой парень может потерпеть неудачу в девяноста девяти процентах случаев, и он все равно станет очень, очень богатым. Это игра чисел». Распространенность этих незаконных действий трудно измерить, но, как ни странно, они растут уже несколько лет. В 2020 году корпоративному адвокату в Филадельфии позвонил человек, который, по его мнению, был его сыном, и сказал, что он пострадал в автокатастрофе с участием беременной женщины и ему нужно девять тысяч долларов, чтобы внести залог. (Он узнал, что это мошенничество, когда его невестка позвонила в офис его сына, где он был в безопасности на работе.) В январе избирателям в Нью-Гэмпшире поступил звонок от робота от голоса Джо Байдена, в котором им предлагалось не голосовать на выборах. начальный. (Человек, который признался, что совершил звонок, сказал, что он использовал программное обеспечение ElevenLabs.) «В то время я не думал об этом, потому что это был не его настоящий голос», – сказал агентству Associated Press пожилой демократ из Нью-Гэмпшира. «Насколько это было убедительно».