Фишинг ИИ-агента: новая защита от Proofpoint

Безопасность электронной почты всегда была игрой в кошки-мышки. Вирусы изобретены, и антивирус программное обеспечение изобретено для каталогизации известных вирусы и обнаруживать их присутствие во вложениях электронной почты и URL-адресах. По мере того как вирусы трансформировались в более сложные формы вредоносное ПО, кибербезопасность инструменты, адаптированные для сканирования и обнаружения этих новых угроз. Фишинг стала следующей ареной, породив новые инструменты, а также совершенно новую категорию защиты, известную как обучение по вопросам безопасности. Сейчас, плохие парни атакуют ИИ-агенты для обхода существующих ограждений безопасности.

«Помощники, вторые пилоты и агенты на основе искусственного интеллекта значительно расширяют поверхность корпоративных атак, с чем традиционные архитектуры безопасности не справляются», — сказал Тодд Тиманн, кибербезопасность аналитик исследовательской фирмы Омдия.

Введите серию функций на основе искусственного интеллекта для Защита от угроз Proofpoint Prime которые были представлены на мероприятии компании Proofpoint Protect 2025 в сентябре. Они сводят на нет усилия хакеры чтобы свести на нет действия агентов ИИ, сканируя потенциальные угрозы до того, как сообщения электронной почты поступят в почтовый ящик.

Традиционный подход к безопасности электронной почты

Большинство инструментов безопасности электронной почты предназначены для обнаружения известных плохих сигналов, таких как подозрительные ссылки, поддельные домены, которые выглядят реальными, или вложения, содержащие вредоносное ПО. Этот подход хорошо работает против обычных фишингспам и известные уязвимости. Но теперь киберпреступники преследуют многих ИИ-помощников и ИИ-агентов, встроенных в рабочие места.

Они делают это, используя подсказки (вопросы или команды в текстовой или кодовой форме), которые помогают модели искусственного интеллекта и агенты ИИ, чтобы либо давать соответствующие ответы, либо выполнять определенные задачи. Все чаще электронные письма содержат скрытые вредоносные подсказки, в которых используется невидимый текст или специальное форматирование, предназначенное для обмана. генеративный ИИ такие инструменты, как Microsoft второй пилот и Гугл Близнецы совершать небезопасные действия, такие как утечка данных или обход проверок безопасности.

«Быстрые инъекции и другие эксплойты, нацеленные на ИИ, представляют собой новый класс атак, в которых используются текстовые данные, которые манипулируют машинным мышлением, а не человеческим поведением», — сказал Тиманн.

Дэниел Рапп, директор по искусственному интеллекту и данным в Доказательствопривел пример: стандарт, используемый для сообщений электронной почты, известный как RFC-822 описывает использование заголовков, обычного текста и HTML. Не все это видно пользователю. Злоумышленники пользуются этим, встраивая инструкции в сообщения, которые невидимы для людей, но полностью читаемы агентом ИИ. Когда ИИ обрабатывает текст, встроенные инструкции непреднамеренно выполняются. Это может привести к краже данных или изменению или повреждению поведения системы. Устаревшие фильтры, выявляющие вредоносное ПО или некорректные ссылки, не видят ничего плохого.

Дэниел Рапп, директор по искусственному интеллекту и данным в Доказательство.Доказательство

«В недавних атаках мы наблюдаем случаи, когда HTML-версия и версия обычного текста полностью различаются», — сказал Рапп. «Почтовый клиент отображает HTML-версию, в то время как невидимый простой текст содержит подсказку, которую может подхватить и, возможно, отреагировать на нее система искусственного интеллекта».

Есть две причины, почему эта стратегия оказывается эффективной: во-первых, яЕсли у ИИ-помощника есть доступ к почтовому ящику, он может автоматически реагировать на электронное письмо в момент его поступления. Второй, Рэпп сказал, что буквальная природа агентов ИИ делает их уязвимыми для фишинга и других атак. социальная инженерия трюки. Человек может дважды подумать, прежде чем отправлять деньги на счет в нигерийском банке. Агент ИИ может слепо выполнить команду.

Что отличает подход Proofpoint, так это то, что компания сканирует электронные письма до того, как они попадают в почтовые ящики. У него было много практики. Компания сканирует 3,5 миллиарда электронных писем каждый день, что составляет одну треть от общего количества. Кроме того, ежедневно он сканирует около 50 миллиардов URL-адресов и 3 миллиарда вложений. Это делается онлайн, т. е. пока электронное письмо перемещается от отправителя к получателю.

«Мы разместили возможности обнаружения непосредственно на пути доставки, а это означает, что задержка и эффективность имеют решающее значение», — сказал Рапп.

Этот необходимый уровень скорости достигается за счет обучения меньших моделей ИИ специально для обнаружения, на основе примеров и базовых знаний большой языковой модели (LLM). Например, OpenAI По оценкам, GPT-5 имеет столько же, сколько 635 миллиардов параметров. Пройти через такой объем данных для каждого электронного письма невозможно. Proofpoint настроил свои модели примерно до 300 миллионов параметров. Он очищает и сжимает свои модели для достижения оперативной производительности с малой задержкой без ущерба для точности обнаружения. Он также обновляет эти модели каждые 2,5 дня, чтобы иметь возможность эффективно интерпретировать смысл самого сообщения, а не просто искать индикаторы. Таким образом, перед доставкой он обнаруживает скрытые быстрые инъекции, вредоносные инструкции и другие эксплойты ИИ.

«Останавливая атаки на этапе до их реализации, Proofpoint предотвращает компрометацию пользователей и эксплуатацию ИИ», — сказал Рапп. «Наш безопасный шлюз электронной почты может видеть электронные письма и блокировать угрозы до того, как они попадут в почтовый ящик».

Кроме того, Proofpoint использует ансамблевую архитектуру обнаружения. Вместо того, чтобы полагаться на единый механизм обнаружения, он объединяет сотни поведенческих, репутационных и контентных сигналов, чтобы обойти векторы атак, которые могут обойти один метод.

ИИ меняет игру в сфере безопасности

Агенты искусственного интеллекта внедряются на предприятиях и среди потребителей. К сожалению, стремление извлечь выгоду из потенциала ИИ часто отодвигает вопросы безопасности на второй план. Плохие парни знают это. Они используют искусственный интеллект в своих киберпреступность методы и технологии для совершенствования искусства фишинга в эпоху агентов ИИ.

«Инструменты безопасности должны развиваться от обнаружения известных плохих индикаторов до интерпретации намерений людей, машин и агентов искусственного интеллекта», — сказал Тиманн. «Подходы, которые выявляют вредоносные инструкции или манипулятивные подсказки перед доставкой, в идеале с использованием дистиллированных моделей искусственного интеллекта для встроенной защиты с малой задержкой, устраняют значительный пробел в сегодняшней защите».

Proofpoint опережает конкурентов благодаря этим возможностям. Ожидается, что другие поставщики кибербезопасности последуют этому примеру в ближайшие месяцы. Однако какая еще угроза, исходящая от ИИ, появится к тому времени?