Добро пожаловать в эпоху взлома ИИ, в которой правильные подсказки превращают любителей в опытных хакеров.
Группа киберпреступников недавно использовала готовые чат-боты с искусственным интеллектом для кражи данных почти 200 миллионов налогоплательщиков. Боты предоставили код и готовые планы обхода межсетевых экранов.
Хотя они были явно запрограммированы на отказ от помощи хакерам, боты были обмануты и потворствовали киберпреступлениям.
Согласно недавнему отчету израильской фирмы Gambit Security, занимающейся кибербезопасностью, в прошлом месяце хакеры использовали чат-бота Claude от Anthropic, чтобы украсть 150 гигабайт данных мексиканских правительственных учреждений.
По словам экспертов, обнаруживших нарушение, Клод первоначально отказался сотрудничать с попытками взлома и даже отклонил запросы о сокрытии цифровых следов хакеров. Группа забросала бота более чем 1000 подсказками, чтобы обойти меры безопасности и убедить Клода, что им разрешено протестировать систему на наличие уязвимостей.
Компании, занимающиеся искусственным интеллектом, пытаются создать неразрывные цепи в своих моделях искусственного интеллекта, чтобы удержать их от помощи в таких вещах, как создание детского сексуального контента или помощь в поиске и создании оружия. Они нанимают целые команды, чтобы попытаться сломать собственных чат-ботов раньше, чем это сделает кто-то другой.
Но в данном случае хакеры постоянно подсказывали Клоду творческие подходы и смогли «взломать» чат-бота, чтобы помочь им. Когда у них возникли проблемы с Клодом, хакеры использовали ChatGPT OpenAI для анализа данных и определения того, какие учетные данные необходимы для незамеченного перемещения по системе.
Группа использовала ИИ для поиска и использования уязвимостей, обхода защиты, создания бэкдоров и анализа данных, чтобы получить контроль над системами, прежде чем они украли 195 миллионов личных данных из девяти мексиканских правительственных систем, включая налоговые отчеты, регистрацию транспортных средств, а также данные о рождении и имуществе.
ИИ «не спит», — заявил в своем блоге Кертис Симпсон, исполнительный директор Gambit Security. «Это сводит стоимость сложности практически к нулю».
«Никакие инвестиции в предотвращение не сделали бы это нападение невозможным», — сказал он.
Anthropic не ответил на просьбу о комментариях. Он сообщил Bloomberg, что после расследования заблокировал соответствующие аккаунты и прекратил их деятельность.
OpenAI заявила, что ей известно о кампании атак, проведенной с использованием моделей Anthropic против мексиканских правительственных учреждений.
«Мы также выявили другие попытки злоумышленника использовать наши модели для действий, которые нарушают нашу политику использования; наши модели отказались соответствовать этим попыткам», — заявил представитель OpenAI. «Мы заблокировали учетные записи, используемые этим злоумышленником, и ценим поддержку Gambit Security».
Растет количество случаев генеративного взлома с помощью искусственного интеллекта, и угроза кибератак со стороны ботов, действующих самостоятельно, больше не является научной фантастикой. Благодаря тому, что ИИ выполняет его приказы, новички могут нанести ущерб за считанные секунды, а опытные хакеры могут запустить гораздо более сложные атаки с гораздо меньшими усилиями.
Ранее в этом году Amazon обнаружила, что низкоквалифицированный хакер использовал коммерчески доступный искусственный интеллект для взлома 600 брандмауэров. Другой взял под свой контроль тысячи роботов-пылесосов DJI с помощью Клода он смог получить доступ к видеотрансляциям в реальном времени, аудио и планам этажей незнакомцев.
«То, что мы наблюдаем сегодня, — это лишь первые признаки того, что ИИ сможет делать через несколько лет», — сказал Никола Юркович, эксперт, работающий над снижением рисков, связанных с передовым ИИ. «Поэтому нам нужно срочно подготовиться».
В конце прошлого года Anthropic предупредил, что общество достигло «точка перегиба» в использовании искусственного интеллекта в сфере кибербезопасности после того, как компания сорвала шпионскую кампанию, спонсируемую государством Китая, в ходе которой Клод использовался для проникновения в 30 глобальных объектов, включая финансовые учреждения и правительственные учреждения.
Генеративный ИИ также был использовал вымогать деньги у компаний, создавать реалистичные онлайн-профили северокорейских оперативников для получения рабочих мест в американских компаниях из списка Fortune 500, заниматься романтическими мошенничествами и управлять сетью российских пропагандистских аккаунтов.
За последние несколько лет модели ИИ прошли путь от возможности управлять задачами, длящимися всего несколько секунд, до сегодняшних агентов ИИ, работающих автономно в течение многих часов. Способность ИИ выполнять длительные задачи удваивается каждые семь месяцев.
«На самом деле мы просто не знаем, каков верхний предел возможностей ИИ, потому что никто не проводил достаточно сложных тестов, чтобы ИИ не мог их выполнить», — сказал Юркович, работающий в МЕТРнекоммерческой организации, которая измеряет возможности систем искусственного интеллекта нанести катастрофический вред обществу.
До сих пор наиболее распространенным применением ИИ для взлома была социальная инженерия. Большие языковые модели используются для написания убедительных электронных писем с целью обмануть людей и лишить их денег, что приводит к восьмикратный Увеличение количества жалоб от пожилых американцев, поскольку в 2025 году они потеряли 4,9 миллиарда долларов в результате онлайн-мошенничества.
«Сообщения, используемые для получения клика от цели, теперь могут генерироваться для каждого пользователя более эффективно и с меньшим количеством явных признаков фишинга», таких как грамматические и орфографические ошибки, — сказал Клифф Нойман, доцент кафедры информатики в Университете Южной Калифорнии.
Компании, занимающиеся искусственным интеллектом, используют искусственный интеллект для обнаружения атак. код аудита и патчить уязвимости.
«В конечном счете, большой дисбаланс проистекает из потребности хороших игроков всегда быть в безопасности, а плохих — быть правыми только один раз», — сказал Нойман.
Ставки вокруг ИИ растут, поскольку он проникает во все аспекты экономики. Многие обеспокоены недостаточным пониманием того, как гарантировать, что злоумышленники не смогут злоупотребить им или подтолкнуть его к мошенничеству.
Даже те, кто находится на вершине отрасли, предупреждают пользователей о потенциальном неправильном использовании ИИ.
Дарио Амодей, генеральный директор Anthropic, уже давно утверждает, что создаваемые системы искусственного интеллекта непредсказуемы и их трудно контролировать. Эти ИИ продемонстрировали столь разнообразное поведение, как обман и шантажироватьк интриги и обман путем взлома программного обеспечения.
Тем не менее, крупные компании, занимающиеся ИИ — OpenAI, Anthropic, xAI и Google — подписали контракты с правительством США на использование своих ИИ в военных операциях.
На прошлой неделе Пентагон поручил федеральным агентствам поэтапный отказ от Клода после того, как компания отказалась отступить от своего требования о том, что она не позволит использовать свой ИИ для массового внутреннего наблюдения и полностью автономного оружия.
«Сегодняшние системы искусственного интеллекта далеко не достаточно надежны, чтобы создавать полностью автономное оружие», — сказал Амодей. Новости CBS.
Продолжение темы
