ИИ практически автономно организовал бы кибератаку в интересах Китая, впервые в мире.

Впервые ИИ провел бы в квазиавтономном режиме обширную шпионскую операцию, пилотируемую китайскими цифровыми пиратами и финансируемую Пекином. Для достижения своих целей шпионы прибегли к Клодгенеративная модель искусственного интеллекта, разработанная американской компанией антропный. Эту информацию обнародовала сама компания в 13-страничном отчете, опубликованном в четверг, 13 ноября. «Мы считаем, что это первый задокументированный случай крупномасштабной кибератаки, осуществленной ИИ без значительного вмешательства человека» сказал Антропик на X.

В середине сентября компания обнаружила, что проводится сложная операция кибершпионажа. В нем участвует финансируемая государством китайская организация, личность которой Anthropic не раскрывает в своем отчете. взаимопонимание. Сообщается, что эта операция была направлена против около 30 организаций, включая крупные технологические компании, финансовые учреждения, компании-производители химической продукции и правительственные учреждения в нескольких странах. Сообщается, что ИИ преуспел в нескольких вторжениях.

Пропустить рекламу

Ролевые игры

Спонсоры, указывает Anthropic, вмешивались только перед операцией и давали разрешение в определенные критические моменты. От 80 до 90% операций было бы автоматизировано. Беспрецедентный до сих пор случай. ИИ действовал практически автономно, обнаруживая уязвимости, в которые он попал. Она также выполняла широкий спектр действий после эксплуатации: навигацию по проникшим сетям, сбор и анализ данных. Чтобы не вызвать подозрений и не получить отказ в запросах, программы играли роль операторов-людей. Они заявили, что являются сотрудниками компаний, занимающихся кибербезопасностью, и заявили, что лишь проводят тестирование.

Хакеры разработали автоматизированную систему, которая разбила, казалось бы, безобидные операции на микрозадачи. Каждая инструкция передается через протокол контекста модели (MCP), открытый стандарт, который позволяет нескольким ИИ взаимодействовать друг с другом. Агент Клод сканирует сеть? «Простой аудит безопасности». Другой вводит украденный пароль? «Внутренний тест аутентификации». Третий путешествует через внедренную сеть? «Развертывание исправлений». Изолированный, каждый заказ безупречен и использует только программное обеспечение с открытым исходным кодом. Вирусы не используются, что не препятствует развертыванию системы удаленного управления.

Методически ИИ затем самостоятельно выполнил бы большое количество задач, выявляя и проникая в сети определенных целевых компаний. После включения он продолжил бы работу без инструкций человека: отображение внутренних сервисов, генерация вредоносного кода, эксплуатация уязвимостей, проверка украденных идентификаторов. После эксфильтрации ИИ сам проанализировал, отсортировал и расставил приоритеты восстановленных данных для выявления конфиденциальной информации. Согласно сообщению, она даже смогла продолжать атаку в течение нескольких дней.

У ИИ были бы галлюцинации

Однако Антропик отмечает, что у ИИ были галлюцинации. У Клода есть «преувеличивал свои результаты, а иногда и сфабриковал данные»отмечает компания. Например, он утверждал, что у него есть идентификаторы, которые на самом деле были непригодны для использования, и представлял информацию, которая уже была общедоступна, как важную.

Трудности, которые до сих пор являются препятствием для реализации полностью автономных кибератак, отмечает Anthropic. Однако компания отмечает, что в некоторых случаях ИИ преуспел в своей миссии, сопоставив, среди прочего, сеть компаний, от которых последний получил IP-адреса (уникальный идентификационный номер, присвоенный каждому устройству, прим. редактора). Anthropic обеспокоен тем, что простота доступа к этим функциям может привести к «быстрое распространение» об этом типе атаки и утверждает, что проинформировал компании, чьи данные были скомпрометированы.

Пропустить рекламу

«Барьеры для проведения сложных кибератак значительно снизились»

«Эта кампания демонстрирует, что барьеры для проведения сложных кибератак значительно уменьшились, и мы можем прогнозировать, что они будут продолжать это делать»прогнозирует компания. Он объявляет, что принял меры по усилению обнаружения злонамеренного использования. Это также требует увеличения инвестиций в защиту платформ, поскольку ИИ становится более автономным.

Заявления, которые не успокаивают Хенка ван Эсса, специалиста по журналистике с открытым исходным кодом (OSINT) и цифровым технологиям. «Пираты захватили защиту Клода с помощью простой ролевой игры (..) Насколько эффективна эта защита на самом деле?» он беспокоился о своем блог. Вопрос, на данный момент, по сути риторический.