Национальный центр кибербезопасности (NCSC) Соединенного Королевства подняла тревогу по поводу растущей восприимчивости чат-ботов к манипуляциям со стороны хакеров, что может привести к серьезным последствиям в реальном мире.
Это предостерегающее заявление прозвучало на фоне растущей обеспокоенности по поводу появления атак «быстрого внедрения» — метода, используемого отдельными людьми для преднамеренного ввода данных или подсказок, направленных на манипулирование поведением языковых моделей, лежащих в основе чат-ботов.
Чат-боты стали незаменимыми инструментами в ряде приложений, таких как онлайн-банкинг и электронная коммерция, благодаря их способности обрабатывать несложные запросы пользователей. Эти возможности в первую очередь обусловлены большими языковыми моделями (LLM), включая известные системы, такие как ChatGPT OpenAI и чат-бот Google Bard с искусственным интеллектом.
Кроме того, эти модели прошли исчерпывающее обучение на обширных наборах данных, что позволяет им давать человеческие ответы на запросы пользователей.
Теперь NCSC обратил внимание на растущие риски, связанные с вредоносным внедрением подсказок, в первую очередь потому, что чат-боты часто облегчают обмен данными со сторонними приложениями и сервисами.
Центр рекомендовал организациям, включающим LLM в свои услуги, проявлять осторожность, аналогичную подходу, применяемому в отношении бета-версий программного обеспечения или библиотек кода. Точно так же, как они не могут доверять таким продуктам совершать транзакции от имени клиентов или полностью полагаться на них, аналогичную осторожность следует проявлять и в отношении LLM.
«Организации, создающие услуги, использующие LLM, должны быть осторожны, точно так же, как если бы они использовали продукт или библиотеку кода, находящуюся в стадии бета-тестирования», — пояснили в NCSC.
В сценариях, когда пользователи вводят незнакомые утверждения или используют определенные комбинации слов для отмены исходного программирования модели, могут быть инициированы непредвиденные действия. Потенциально это может привести к созданию нежелательного контента, несанкционированному доступу к конфиденциальным данным или даже к утечке данных.
Оселока Обиора, технический директор RiverSafe, отметил, что стремление внедрить ИИ без проведения необходимых проверок может привести к катастрофическим результатам.
Обиора заявил: «Гонка за внедрение ИИ будет иметь катастрофические последствия, если предприятия не смогут провести базовые необходимые проверки комплексной проверки».
Чат-боты уже продемонстрировали восприимчивость к манипуляциям, открывая путь для мошеннических действий, незаконных транзакций и нарушения конфиденциальных данных.
Примечательный инцидент произошел с выпуском МайкрософтОбновленная поисковая система Bing и диалоговый бот. Студент Стэнфордского университета Кевин Лю успешно применил быстрое внедрение, чтобы обнаружить уязвимости в первоначальном приглашении Bing Chat.
Аналогичным образом, исследователь безопасности Йоханн Ребергер обнаружил возможность манипулирования ChatGPT для ответа на запросы из непредусмотренных источников, тем самым создавая потенциал для косвенных уязвимостей внедрения подсказок.
Чтобы противодействовать проблемам выявления и смягчения атак с быстрым внедрением, NCSC выступает за целостную конструкцию системы, которая учитывает потенциальные риски, связанные с компонентами машинного обучения.
Внедрение системы, основанной на правилах, наряду с моделью машинного обучения рекомендуется как средство противодействия потенциально вредным действиям. Укрепив архитектуру безопасности всей системы, становится возможным отражать вредоносные быстрые внедрения.
NCSC подчеркивает, что борьба с кибератаками, вызванными уязвимостями машинного обучения, требует понимания тактики, используемой злоумышленниками, и определения приоритетов безопасности на этапе проектирования. Джейк Мур, глобальный советник по кибербезопасности компании ESET, добавляет, что, разрабатывая приложения с приоритетом безопасности и понимая стратегии, которые злоумышленники применяют для использования слабых мест в алгоритмах машинного обучения, можно уменьшить влияние кибератак, связанных с искусственным интеллектом.
Тем не менее, он сетует на то, что необходимость быстрого запуска или достижения экономии средств часто затмевает важность принятия надежных мер безопасности, тем самым подвергая людей и их данные опасности из-за непредвиденных атак. Мур подчеркивает, что людям необходимо осознавать, что данные, которые они предоставляют чат-ботам, не всегда защищены.
Учитывая, что чат-боты продолжают играть ключевую роль в различных онлайн-взаимодействиях и транзакциях, предупреждение NCSC является уместным напоминанием о необходимости отражать развивающиеся угрозы кибербезопасности.
