Хакеры могут получить доступ к вашим личным зашифрованным чатам помощников искусственного интеллекта

Фейспалм: Для некоторых ИИ-помощники — как хорошие друзья, к которым можно обратиться с любым деликатным или неловким вопросом. В конце концов, это кажется безопасным, потому что наше общение с ними зашифровано. Однако исследователи в Израиле обнаружили, как хакеры могут обойти эту защиту.

Как и любой хороший помощник, ваш ИИ знает о вас многое. Он знает, где вы живете и где работаете. Вероятно, он знает, какую еду вы любите и что планируете делать на этих выходных. Если вы особенно болтливы, он может даже узнать, подумываете ли вы о разводе или планируете банкротство.

Вот почему разработанная исследователями атака, которая может читать зашифрованные ответы от помощников ИИ через Интернет, вызывает тревогу. Исследователи из Лаборатории исследований наступательного искусственного интеллекта в Израиле обнаружили уязвимый побочный канал, присутствующий в большинстве основных помощников искусственного интеллекта, которые используют потоковую передачу для взаимодействия с большими языковыми моделями, за исключением Google Gemini. Затем они демонстрируют, как это работает с зашифрованным сетевым трафиком от OpenAI ChatGPT-4 и Microsoft Copilot.

“[W]Мы смогли точно реконструировать 29% ответов ИИ-помощника и успешно вывести тему из 55% из них», — написали исследователи в своей работе. бумага.

Начальной точкой атаки является побочный канал длиной в токен. Исследователи объясняют, что при обработке естественного языка токен — это наименьшая единица текста, несущая смысл. Например, предложение «У меня зудящая сыпь» можно лексемизировать следующим образом: S = (k1, k2, k3, k4, k5), где лексемы: k1 = I, k2 = иметь, k3 = an, k4 = зуд, а k5 = сыпь.

Однако токены представляют собой значительную уязвимость в том, как службы больших языковых моделей обрабатывают передачу данных. А именно, поскольку LLM генерируют и отправляют ответы в виде серии токенов, каждый токен передается с сервера пользователю по мере его создания. Хотя этот процесс зашифрован, размер пакетов может раскрыть длину токенов, что потенциально позволяет злоумышленникам в сети читать разговоры.

По словам исследователей, определить содержание ответа по последовательности длины токенов сложно, поскольку ответы могут состоять из нескольких предложений, что приводит к миллионам грамматически правильных предложений. Чтобы обойти эту проблему, они (1) использовали большую языковую модель для перевода этих последовательностей, (2) предоставили LLM контекст между предложениями, чтобы сузить пространство поиска, и (3) выполнили атаку с использованием известного открытого текста путем точной настройки. модель в стиле письма целевой модели.

«Насколько нам известно, это первая работа, в которой используется генеративный ИИ для атаки по побочному каналу», — написали они.

Исследователи связались по крайней мере с одним поставщиком средств безопасности, Cloudflare, по поводу своей работы. После получения уведомления Cloudflare сообщает, что у него есть реализован меры по обеспечению безопасности собственного продукта вывода под названием Workers AI, а также добавили его в свой AI Gateway для защиты LLM клиентов независимо от того, где они их используют.

В своей статье исследователи также представили предложение по смягчению последствий: включение случайного заполнения в каждое сообщение, чтобы скрыть фактическую длину токенов в потоке, тем самым усложняя попытки получить информацию, основанную исключительно на размере сетевых пакетов.