«Атака Батлера» – доставка быстрого утечки данных прямо из вашего почтового ящика | Анкура

Введение

Забудьте о «варварах у ворот», у нас могут быть более серьезные проблемы, с которыми сталкиваются из «Батлера, служащего нам на наших банкеты». В то время как компромисс бизнес-электронной почты (BEC) и/или вымогатели были эффективными на сегодняшний день киберпреступления, новая порода атак находится на подъеме, нацеленная на технологии и приложения с поддержкой искусственного интеллекта (AI). Эти атаки также представляют собой новую форму инсайдерской угрозы, которую мы должны рассмотреть в наших моделях управления рисками.

Перед лицом этих новых атак ИИ, включающих быстрые техники инженерных технологий, организации должны сосредоточиться на укреплении своей защиты. Эти атаки представляют значительные риски для технологий с поддержкой AI и организациями, которые развертывают их, если не предприняты соответствующие действия. Быстрое принятие ИИ – особенно генеративного ИИ (Геная) и агента АИ – увеличило потенциальное влияние этих уязвимостей, поскольку технологии становятся более интегрированными в бизнес -операции. Шаги восстановления с использованием традиционных контролей безопасности могут быть недостаточно или достаточно, чтобы опередить эти новые типы атак, требующие внимания теми, кто ответственен за безопасность в организации, чтобы обеспечить понимание этих технологий, угроз и соответствующих смягчений.

Природа технологий ИИ

Технологии искусственного интеллекта предлагают значительные преимущества, автоматизируя мирские задачи и повышая эффективность за счет обработки потока информации, забивающей наши электронные письма, новости и социальные сети. Представьте себе, что вам не нужно больше составлять заметки, тратить часы, читая и суммируя большие объемы данных, и постоянно координируя дневники – нирвану для некоторых, но есть скрытый улов.

ИИ требует обширного доступа к данным, что вызывает опасения по поводу безопасности данных и аутентификации пользователей. У большинства реализаций не хватает адекватных мер для обеспечения контента и легитимности пользователей. Кроме того, ИИ может манипулировать различными способами раскрытия конфиденциальной информации или предпринять непреднамеренные действия из -за неэффективных ограждений и механизмов безопасности.

В отличие от «дворецких» прошлого, технология ИИ не предлагает неотъемлемой лояльности. У него часто нет контекста, чтобы идентифицировать нас от мошеннических актеров, просящих помощи. Кроме того, по самой своей природе он сделает все, чтобы угодить нам, предоставляя «Троверы данных» или предпринимая действия от нашего имени, независимо от того, кто или что было запрошено.

Быстрые инженерные атаки

Оперативные инженерные атаки представляют собой новую породу киберугроз, нацеленных на системы ИИ. Эти атаки включают в себя создание конкретных подсказок ввода, которые манипулируют технологией ИИ для выполнения несанкционированных действий, которые могут привести к непредвиденным последствиям и утечке данных. Две атаки такого рода были опубликованы в этом месяце. Исследователи из AIM Security продемонстрировали уязвимость «Zero Click», нацеленную на Microsoft Copilot.[1] Они успешно вводили подсказки в сообщения, отправленные в Copilot, которые действовали без какого -либо взаимодействия с пользователем. Это может привести к несанкционированному доступу и утечке данных.[2]

В другом блоге исследователи безопасности из 0din.ai сосредоточились на среде рабочего пространства Google Gemini.[3] Они продемонстрировали, как индивидуальные электронные письма, которые интерпретируются Близнецами, могут «отравить» функцию «суммировать это электронное письмо». Таким образом, они могут представить мошеннические сообщения прямо на суммарных страницах, что приводит к атакам на пользователей, получающих такие сообщения, как кража учетных данных, фишинговые или вредоносные программы.

Мы ожидаем, что это будет первым из многих откровений относительно уязвимых систем ИИ, которые плодовиты в организациях по всему миру.

Уникальность этих типов атак заключается в том, что они требуют, чтобы минимальное взаимодействие было успешным и может быть легко запущено в масштабе в целевой компании. Успех не полагается на фишинговые ссылки для пользователей, чтобы нажать или файлы, которые будут загружены и выполнены. Все, что требуется, это то, что пользователь имеет некоторое взаимодействие между их сообщением по электронной почте или системами календаря и технологией искусственного интеллекта, которая потребляет запросы и действует от их имени.

Проблемы доступа к данным и доверия

Технология искусственного интеллекта требует обширного доступа к функционированию к функции, но это создает возможности для эксфильтрации данных и нарушений данных, если их эксплуатируют плохие субъекты. Предприятия открывают «озера данных» для AI Technologies, которые могут эксплуатироваться злоумышленниками, если системы будут принуждены к выявлению конфиденциальной информации. Отсутствие надежной механизмов аутентификации и ведения ведения ведения ведения ведения ведения ведения ведения ведения регистрации еще больше усугубляет влияние этих уязвимостей, делая сложные для ранних вмешательств и судебных исследований, если происходит несанкционированная деятельность с помощью систем ИИ.

Интересно, что реализация технологии ИИ продолжает демонстрировать слабость даже без сложных атак. Сообщается, что AI -бот McDonald’s AI, нанимающий чата, способен протекать миллионы записей, связанных с данными заявителя при обращении к слабому паролю. Это дает еще одно напоминание о необходимости проведения тестирования безопасности перед запуском технологии искусственного интеллекта без подходящих гарантий.[4]

Пробелы в реализации и теневой ИИ

Технологии ИИ чрезвычайно новые, а их устойчивость к кибер-атакам еще предстоит полностью протестировать. Те, которые разработали и создавали эти системы, были сосредоточены на исследованиях ИИ и не обязательно сосредоточены конкретно на их безопасности – еще один неудачный урок, который мы переуживаем, когда Интернет и Интернет вещей (IoT) были введены в мир.

Хотя организации часто используют технологии ИИ, стоящие за брандмауэрами, лазейки остаются. Необходимость в удобстве использования или доступности часто мешает, требуя некоторого уровня взаимодействия, что приводит к внешнему, частному или полу-частному воздействию. Более того, отсутствие эффективности усилий по сегментации может также играть роль в дальнейшем воздействии риска.

Наконец, сотрудники, взаимодействующие с системами ИИ без надлежащего образования и осознания и надзора за безопасностью, могут ввести неконтролируемые уязвимости, особенно если производные с открытым исходным кодом используются без понимания потенциальных рисков и предпринятых соответствующих действий по смягчению последствий.

Недостаточные ограждения

Существующие технологии безопасности, такие как сканирование по электронной почте, веб-странице и дате (DLP), могут предложить некоторую защиту, но они отстают при решении об угрозах, специфичных для искусственного интеллекта. Системы ИИ часто слепо доверяют подсказкам ввода без адекватных проверок и редко подтверждают вывод результатов, полученных из запросов. 10 лучших уязвимостей OWASP помогают расставить приоритеты в этих вопросах, но требуется дополнительная экспертиза и индивидуальные решения.[5]

Опережать риск

Сообщество исследований в области безопасности, известное как «иммунная система» Интернета, продолжает дать отпор. Проекты Bug Bounty и исследователи безопасности, такие как 0DIN, заполняют пробел. 0DIN Crowdsources AI Security Testing, с целью поиска уязвимостей в технологиях искусственного интеллекта и сообщить им о поставщиках до того, как плохие парни. Проект 0DIN подтвердил, что многие технологии ИИ подвержены разнообразным атакам – многие из них были эффективны в сферах традиционного тестирования приложений в течение некоторого времени, а другие уникальны для инженерного пространства AI.

Они сотрудничали с инновационными исследователями безопасности для создания библиотеки подсказок и методов ввода ИИ, которые расширяют надежность многих моделей ИИ, доступных в общественном доступе. Они также недавно опубликовали инструмент для сканирования и интеллекта угроз, а также связанные подписи атаки искусственного интеллекта, чтобы помочь организациям проверить свои собственные технологии искусственного интеллекта. Их структура для курирования, мониторинга и тестирования можно найти здесь.[6]

Рекомендации

Недавние события являются признаком раннего предупреждения о том, что кибератаки, связанные с технологиями искусственного интеллекта, не только осуществимы, но и из-за роста в предстоящие месяцы. Просмотрите и примите следующие рекомендации в вашем собственном бизнесе, чтобы быть лучше подготовленными для защиты, реагирования и сохранения волны технологических атак искусственных технологий, приближающихся к вам.

Организациям рекомендуется реализовать комплексные стратегии безопасности, в том числе:

• Берегите себя при использовании ИИ, без дополнительной защиты, он потенциально уязвим.
• Используйте существующие технологии безопасности на всех уровнях архитектуры ИИ.
• Поддерживать надежную программу по исправлению и мониторингу безопасности.
• Установить упреждающую программу управления уязвимостью и тестирования безопасности искусственного интеллекта.
• Обеспечить тщательную регистрацию и мониторинг систем искусственного интеллекта.
• Сегмент ИИ и оценить риск, поэтому могут быть реализованы соответствующие элементы управления.
• Обучите пользователей о безопасных практиках искусственного интеллекта, обновите политики искусственного интеллекта и предоставите им безопасную среду для их работы.
• Обновите планы реагирования и проводите упражнения, чтобы лучше подготовиться к нарушениям искусственного интеллекта.

Заключение

Рост кибератак, связанных с ИИ, неизбежно, и предприятия должны принять упреждающие меры для защиты своих систем и данных. Многие полагают слепое доверие к нашим цифровым «дворецким», но как мы можем доказать, что им действительно можно доверять? Интегрируя традиционные методы и технологии безопасности и учитывая ключевые практики из правил искусственного интеллекта, таких как Закон о ЕС с AI, с AI, защищенными средствами, организации могут лучше подготовиться и смягчить риски, связанные с технологиями искусственного интеллекта.

Примечания:

[1] https://www.infosecurity-magazine.com/news/microsoft-365-copilot-zeroclick-ai

[2] https://nvd.nist.gov/vuln/detail/cve-2025-32711

[3] Фишинг для Близнецов | 0din.ai

[4] https://www.wired.com/story/mcdonalds-ai-hing-chat-bot-paradoxai/

[5] https://owasp.org/www-project-top-10-for-large-language-model-pplications

[6]

2025-08-15 14:02:00


1755267967
#Атака #Батлера #доставка #быстрого #утечки #данных #прямо #из #вашего #почтового #ящика #Анкура