Технологические группы активизируют усилия по устранению серьезного недостатка безопасности ИИ

Ведущие мировые группы по искусственному интеллекту активизируют усилия по устранению критического недостатка безопасности в своих больших языковых моделях, который может быть использован киберпреступниками.

Google DeepMind, Anthropic, OpenAI и Microsoft входят в число тех, кто пытается предотвратить так называемые атаки с непрямым внедрением, когда третья сторона скрывает команды на веб-сайтах или в электронных письмах, предназначенные для того, чтобы обманом заставить модель ИИ раскрыть несанкционированную информацию, например конфиденциальные данные.

«Сейчас ИИ используется киберпреступниками на каждой цепочке атак», — сказал Джейкоб Кляйн, возглавляющий группу по анализу угроз в стартапе Anthropic, занимающемся искусственным интеллектом.

Группы искусственного интеллекта используют различные методы, в том числе нанимают внешних тестировщиков и используют инструменты на базе искусственного интеллекта, чтобы обнаружить и сократить злонамеренное использование своих мощных технологий. Но эксперты предупредили, что отрасль еще не решила, как остановить непрямые атаки с быстрым внедрением.

Частично проблема заключается в том, что LLM предназначены для следования инструкциям и в настоящее время не различают законные команды пользователей и вводимые данные, которым не следует доверять. Это также причина, по которой модели искусственного интеллекта склонны к взлому, когда пользователи могут побудить LLM игнорировать их меры безопасности.

Кляйн сказал, что Anthropic работает с внешними тестировщиками, чтобы сделать свою модель Claude более устойчивой к непрямым атакам с быстрым внедрением. У них также есть инструменты искусственного интеллекта, позволяющие определить, когда они могут произойти.

«Когда мы обнаруживаем злонамеренное использование, в зависимости от уровня уверенности мы можем автоматически инициировать какое-либо вмешательство или отправить его на проверку человеком», — добавил он.

Google DeepMind использует технику, называемую автоматизированной красной командой, при которой внутренние исследователи компании постоянно атакуют ее модель Gemini реалистичным способом, чтобы выявить потенциальные слабости безопасности.

В мае Национальный центр кибербезопасности Великобритании предупредил, что этот недостаток представляет повышенную угрозу, поскольку он рискует подвергнуть миллионы компаний и частных лиц, использующих LLM и чат-ботов, изощренным фишинговым атакам и мошенничеству.

У LLM также есть еще одна серьезная уязвимость: посторонние могут создать лазейки и вызвать неправильное поведение моделей, вставляя вредоносный материал в данные, которые затем используются в обучении ИИ.

Согласно новому исследованию, опубликованному в прошлом месяце стартапом по искусственному интеллекту Anthropic, британским Институтом безопасности ИИ и Институтом Алана Тьюринга, эти так называемые «атаки по отравлению данных» осуществить легче, чем считали ученые ранее.

Хотя эти уязвимости представляют собой большие риски, эксперты утверждают, что ИИ также помогает повысить защиту компаний от кибератак.

В течение многих лет злоумышленники имели небольшое преимущество: им нужно было найти только одно слабое место, в то время как защитникам приходилось защищать все, сказала корпоративный вице-президент Microsoft и заместитель директора по информационной безопасности Энн Джонсон.

«Защитные системы быстрее обучаются, быстрее адаптируются и переходят от реактивного к проактивному», — добавила она.

Гонка за устранением недостатков в моделях искусственного интеллекта происходит в связи с тем, что кибербезопасность становится одной из главных проблем для компаний, стремящихся внедрить инструменты искусственного интеллекта в свой бизнес.

Недавний анализ Financial Times сотен корпоративных документов и протоколов руководителей компаний из списка S&P 500 в прошлом году показал, что наиболее часто упоминаемой проблемой является кибербезопасность, которую в 2024 году упоминали как риск более половины компаний из списка S&P 500.

Эксперты по хакерству заявили, что развитие искусственного интеллекта в последние годы уже привело к росту многомиллиардной индустрии киберпреступности. Он предоставил хакерам-любителям дешевые инструменты для написания вредоносного программного обеспечения, а также системы для профессиональных преступников, позволяющие лучше автоматизировать и масштабировать свои операции.

LLM позволяют хакерам быстро генерировать новый вредоносный код, который еще не был обнаружен, что усложняет защиту от него, говорит Джейк Мур, советник по глобальной кибербезопасности группы кибербезопасности ESET.

Недавнее исследование, проведенное исследователями из Массачусетского технологического института, показало, что в 80 процентах атак программ-вымогателей, которые они рассмотрели, использовался искусственный интеллект, а в 2024 году количество фишинговых атак и мошенничества, связанного с дипфейками, связанными с этой технологией, увеличилось на 60 процентов.

Хакеры также используют инструменты искусственного интеллекта для сбора информации о жертвах в Интернете. LLM могут эффективно просматривать Интернет в поисках личных данных в чьих-либо общедоступных учетных записях, изображений или даже находить аудиоклипы чьих-либо выступлений.

По словам Пола Фабара, директора по рискам и обслуживанию клиентов Visa, они могут быть использованы для проведения сложных атак с использованием социальной инженерии для финансовых преступлений.

Виджай Баласубраманьян, исполнительный директор и соучредитель Pindrop, фирмы по кибербезопасности, специализирующейся на голосовом мошенничестве, сказал, что генеративный искусственный интеллект сделал создание реалистично звучащих дипфейков намного проще и быстрее, чем раньше.

“Еще в 2023 году мы наблюдали одну дипфейковую атаку в месяц на всю клиентскую базу. Теперь мы видим семь в день на каждого клиента”, – добавил он.

По словам Мура из ESET, компании особенно уязвимы к такого рода атакам. Системы искусственного интеллекта могут сопоставлять информацию из общедоступного Интернета, например публикации сотрудников в LinkedIn, чтобы выяснить, какие программы и программное обеспечение компании используют изо дня в день, а затем использовать эту информацию для поиска уязвимостей.

Недавно Anthropic перехватила искусного злоумышленника, использовавшего языковые модели компании для «взлома вибрации», где этот человек автоматизировал многие процессы крупномасштабной атаки.

Злоумышленник использовал Клод Код для автоматизации разведки, сбора учетных данных жертв и проникновения в системы. Этот человек нацелился на 17 организаций, чтобы вымогать у них до 500 000 долларов.

Киберэксперты заявили, что компаниям необходимо сохранять бдительность при мониторинге новых угроз и рассмотреть возможность ограничения доступа людей к конфиденциальным наборам данных и инструментам искусственного интеллекта, которые подвержены атакам.

«В наши дни не нужно многого, чтобы стать мошенником», — сказал Фабара из Visa. «Вы получаете ноутбук, 15 долларов, чтобы загрузить дешевую контрафактную версию Gen AI в даркнете, и вперед».