Google исправляет ошибку в искусственном интеллекте, которая превращала Близнецов в шпионов

Изображение: Шаттерсток

Google исправила уязвимость в Gemini Enterprise, которая позволяла злоумышленникам украсть корпоративные данные через общий документ, приглашение в календаре или электронную почту без каких-либо действий со стороны пользователя или предупреждений системы безопасности.

См. также: Выйдя за рамки второго пилота — взгляд директора по информационной безопасности

Или лаборатории обнаруженный уязвимость, получившая название GeminiJack, в Google Gemini Enterprise после того, как она была впервые обнаружена в Google Vertex AI Search, отдельном корпоративном поисковом продукте. Google сотрудничал с Noma Labs для проверки результатов и развертывания обновлений, которые изменили взаимодействие Gemini Enterprise и Vertex AI Search с их базовыми системами поиска и индексирования.

В атаке использовалось то, как корпоративные системы искусственного интеллекта интерпретируют информацию. Злоумышленники внедрили скрытые инструкции в общие документы. Когда сотрудники выполняли стандартный поиск в Gemini Enterprise, ИИ автоматически извлекал зараженный документ и выполнял встроенные инструкции. Поскольку Gemini Enterprise имеет доступ к Gmail, Календарю, Документам и другим источникам данных Workspace организации, эти инструкции заставили ИИ выполнить поиск по всем из них. Результаты были отправлены злоумышленникам с использованием замаскированных внешних запросов изображений.

С точки зрения службы безопасности, ни одно вредоносное ПО не было запущено, никакие учетные данные не были взломаны и никакие данные не прошли через утвержденные каналы. Инструменты предотвращения потери данных не увидели ничего необычного.

Одна-единственная внезапная инъекция может украсть годы электронной переписки, содержащей данные о клиентах, финансовые обсуждения и стратегические решения. Были доступны полные календарные истории, раскрывающие деловые отношения, сроки сделок и организационную структуру. Целые хранилища документов, включая конфиденциальные соглашения, технические спецификации и конкурентную информацию, могут быть скомпрометированы.

Злоумышленникам не нужно было знать организационную структуру, клиентов или проекты. Общие поисковые запросы, такие как «конфиденциально», «ключ API», «привлечение», «зарплата» или «юридический», позволяют ИИ выполнять всю работу.

Функция поиска Google Gemini Enterprise реализует архитектуру генерации с расширенным поиском — систему, которая позволяет ИИ извлекать и комбинировать информацию из нескольких источников данных для ответа на запросы. Эта архитектура позволяет организациям отправлять запросы через Gmail, Календарь Google, Документы Google и другие компоненты Google Workspace. Организации должны предварительно настроить, к каким источникам данных будет иметь доступ система. После настройки система имеет постоянный доступ к этим источникам данных для всех пользовательских запросов.

Атака включала четыре этапа. Сначала злоумышленники создали обычные документы Google, события Календаря Google или сообщения Gmail и поделились ими с кем-то из целевой организации. В контенте содержались инструкции, предписывающие ИИ искать конфиденциальные термины и загружать результаты во внешний URL-адрес изображения, контролируемый злоумышленником.

Наконец, Google Gemini включил в свои выходные данные внешний тег изображения злоумышленника. Когда браузер пытался загрузить это изображение, он отправлял собранную конфиденциальную информацию непосредственно на сервер злоумышленника посредством одного HTTP-запроса.

Google не фильтровал вывод HTML, что позволило встроенному тегу изображения инициировать удаленный вызов на сервер злоумышленника при загрузке изображения, говорит Саси Леви, руководитель исследования безопасности в Noma Security. URL-адрес содержал удаленные внутренние данные, обнаруженные в ходе поисков. Леви сказал, что исследователям удалось успешно взломать длинные электронные письма, хотя исследователи не проверяли максимальный размер полезной нагрузки.

Уязвимость GeminiJack представляет собой классический пример непрямой атаки с использованием оперативного внедрения, сказал Леви в интервью Information Security Media Group. Для обнаружения требуется комплексная проверка всех источников данных, питающих контекст агента, включая выходные данные инструментов, данные генерации с расширенным поиском и другие внешние входные данные, добавил он.

«Этот тип атаки не будет последним в своем роде. Он отражает растущий класс уязвимостей искусственного интеллекта», — пишут исследователи Noma.

Уязвимость использовала границу доверия между контролируемым пользователем контентом в источниках данных и обработкой инструкций модели ИИ. Леви сказал, что корпоративные системы искусственного интеллекта на основе генерации с расширенным поиском уязвимы, поскольку они смешивают доверенные инструкции с ненадежным извлеченным контентом и позволяют модели действовать с широкими привилегиями. Это также основная причина Принудительная утечканедостаток, обнаруженный Noma в Salesforce Agentforce. «Исправление носит архитектурный характер: системы должны обеспечивать строгие границы между инструкциями и доказательствами, привязывать уровни происхождения и доверия к каждому полученному элементу и не допускать, чтобы ненадежный контент переписывал цели или запускал высокоэффективные действия», — сказал он.

#Google #исправляет #ошибку #искусственном #интеллекте #которая #превращала #Близнецов #шпионов