ChatGPT написал код, который может привести к утечке конфиденциальной информации из баз данных

Исследователи манипулировали ChatGPT и пятью другими коммерческими инструментами искусственного интеллекта для создания вредоносного кода, который мог привести к утечке конфиденциальной информации из онлайн-баз данных, удалению критически важных данных или нарушению работы облачных служб баз данных в ходе первой в своем роде демонстрации.

Эта работа уже привела к тому, что компании, ответственные за некоторые инструменты искусственного интеллекта, в том числе Baidu и OpenAI, внедрили изменения, чтобы не дать злоумышленникам воспользоваться уязвимостями.

«Это первое исследование, демонстрирующее, что уязвимости больших языковых моделей в целом могут быть использованы в качестве пути атаки на коммерческие онлайн-приложения», — говорит Сютан Пэнкоторый был одним из руководителей исследования в Университете Шеффилда в Великобритании.

Пэн и его коллеги рассмотрели шесть сервисов искусственного интеллекта, которые могут переводить человеческие вопросы на язык программирования SQL, который обычно используется для запросов к компьютерным базам данных. Системы «текст-в-SQL», основанные на искусственном интеллекте, становятся все более популярными – даже автономные чат-боты с искусственным интеллектом, такие как OpenAI ChatGPTможет генерировать код SQL, который можно подключить к таким базам данных.

Исследователи показали, как этот код, сгенерированный ИИ, можно включить в него инструкции по утечке информации из базы данных, что может открыть дверь для будущих кибератак. Он также может очистить системные базы данных, в которых хранятся профили авторизованных пользователей, включая имена и пароли, и перегрузить облачные серверы, на которых размещены базы данных, через атака типа «отказ в обслуживании». Пэн и его коллеги представили свою работу на 34-й конференции. Международный симпозиум IEEE по проектированию надежности программного обеспечения 10 октября во Флоренции, Италия.

Их тесты с ChatGPT OpenAI еще в феврале 2023 года показали, что автономный чат-бот с искусственным интеллектом может генерировать код SQL, который повреждает базы данных. Даже тот, кто использует ChatGPT для генерации кода для запроса базы данных с невинной целью (например, медсестра, взаимодействующая с клиническими записями, хранящимися в базе данных системы здравоохранения), на самом деле может получить вредоносный код SQL, который повредит базу данных.

«Код, сгенерированный с помощью этих инструментов, может быть опасным, но эти инструменты могут даже не предупредить пользователя», — говорит Пэн.

Исследователи поделились своими выводами с OpenAI. Их последующее тестирование показало, что OpenAI теперь обновил ChatGPT, чтобы устранить проблемы преобразования текста в SQL.

Другая демонстрация показала аналогичные уязвимости в Baidu-UNIT, интеллектуальной диалоговой платформе, предлагаемой китайским технологическим гигантом Baidu, которая автоматически преобразует клиентские запросы, написанные на китайском языке, в SQL-запросы для облачного сервиса Baidu. После того, как в ноябре 2022 года исследователи отправили Baidu отчет о результатах тестирования, компания выплатила им финансовое вознаграждение за обнаружение слабых мест и исправила систему к февралю 2023 года.

Но в отличие от ChatGPT и других ИИ, которые полагаются на большие языковые модели – который может выполнять новые задачи без особого предварительного обучения – сервис Baidu на базе искусственного интеллекта в большей степени опирается на заранее написанные правила для выполнения преобразований текста в SQL.

По словам Пэна, системами преобразования текста в SQL, основанными на больших языковых моделях, легче манипулировать для создания вредоносного кода, чем старыми системами искусственного интеллекта, которые полагаются на заранее написанные правила. Но он по-прежнему видит перспективу в использовании больших языковых моделей для помощи людям в запросах к базам данных, даже если он описывает риски безопасности как «задолго недооцененные до нашего исследования».

Ни OpenAI, ни Baidu не ответили на Новый учёный запрос комментариев по исследованию.

Темы: