А вот и ИИ-черви

Поскольку генеративные системы искусственного интеллекта, такие как OpenAI ChatGPT и Близнецы от Google становятся более продвинутыми, их все чаще заставляют работать. Стартапы и технологические компании создают агентов и экосистемы искусственного интеллекта поверх систем, которые могут сплошные скучные дела для тебя: подумайте об автоматическом бронировании по календарю и, возможно, покупка продуктов. Но поскольку инструментам предоставляется больше свободы, это также увеличивает потенциальные способы их атак.

Теперь, демонстрируя риски подключенных автономных экосистем ИИ, группа исследователей создала одного из первых, по их словам, генеративных червей ИИ, которые могут распространяться из одной системы в другую, потенциально крадя данные или внедряя вредоносное ПО в систему. процесс. «По сути, это означает, что теперь у вас есть возможность проводить или осуществлять новый вид кибератак, которого раньше не было», — говорит Бен Насси, исследователь Корнеллского технологического института, стоявший за исследованием.

Насси вместе с коллегами-исследователями Ставом Коэном и Роном Биттоном создали червя, получившего название Моррис II, как дань уважения оригиналу. Компьютерный червь Морриса это вызвало хаос в Интернете в 1988 году. исследовательская статья и веб-сайт Исследователи показывают, как ИИ-червь может атаковать генеративного помощника по электронной почте с целью кражи данных из электронных писем и рассылки спам-сообщений, нарушая при этом некоторые средства защиты в ChatGPT и Gemini.

Исследование, проведенное в тестовых средах, а не с использованием общедоступного помощника по электронной почте, выглядит так: большие языковые модели (LLM) все больше становятся мультимодальными, имея возможность генерировать изображения и видео и текст. Хотя черви с генеративным искусственным интеллектом еще не были обнаружены в дикой природе, многие исследователи говорят, что они представляют собой угрозу безопасности, о которой следует беспокоиться стартапам, разработчикам и технологическим компаниям.

Большинство генеративных систем искусственного интеллекта работают, получая подсказки — текстовые инструкции, которые советуют инструментам ответить на вопрос или создать изображение. Однако эти подсказки также могут быть использованы против системы. Джейлбрейки может заставить систему игнорировать правила безопасности и извергать токсичный или разжигающий ненависть контент, в то время как быстрые инъекционные атаки может дать чат-боту секретные инструкции. Например, злоумышленник может скрыть текст на веб-странице. сказать LLM, чтобы он действовал как мошенник и запросил ваши банковские реквизиты.

Чтобы создать генеративного ИИ-червя, исследователи обратились к так называемой «состязательной самовоспроизводящейся подсказке». По словам исследователей, это приглашение, которое заставляет генеративную модель ИИ выводить в ответ еще одно приглашение. Короче говоря, системе ИИ приказано выдавать набор дальнейших инструкций в своих ответах. Это во многом похоже на традиционное SQL-инъекция и атаки на переполнение буфераговорят исследователи.

Чтобы показать, как может работать червь, исследователи создали систему электронной почты, которая может отправлять и получать сообщения с помощью генеративного искусственного интеллекта, подключаясь к ChatGPT, Gemini и LLM с открытым исходным кодом. Лава. Затем они нашли два способа эксплуатировать систему — использовать текстовую самовоспроизводящуюся подсказку и встроить самовоспроизводящуюся подсказку в файл изображения.