Amazon использует специализированных агентов искусственного интеллекта для глубокого поиска ошибок

Как генеративный ИИ толкает скорость разработки программного обеспеченияэто также расширяет возможности цифровых злоумышленников осуществлять финансово мотивированный или поддерживаемый государством хаки. Это означает, что командам безопасности технологических компаний приходится проверять больше кода, чем когда-либо, и при этом они сталкиваются с еще большим давлением со стороны злоумышленников. В понедельник, Амазонка впервые опубликует подробную информацию о внутренней системе, известной как автономный анализ угроз (ATA), которую компания использует, чтобы помочь своим командам безопасности активно выявлять слабые места в своих платформах, выполнять анализ вариантов для быстрого поиска других подобных недостатков, а затем разрабатывать средства устранения и возможности обнаружения, чтобы затыкать дыры до того, как злоумышленники их обнаружат.

ATA родился в результате внутреннего хакатона Amazon в августе 2024 года, и члены команды безопасности говорят, что с тех пор он превратился в важнейший инструмент. Ключевая концепция, лежащая в основе ATA, заключается в том, что это не единый агент искусственного интеллекта, разработанный для комплексного проведения тестирования безопасности и анализа угроз. Вместо этого Amazon разработала несколько специализированных агентов искусственного интеллекта, которые соревнуются друг с другом в двух командах, чтобы быстро исследовать реальные методы атак и различные способы их использования против систем Amazon, а затем предлагать меры безопасности для проверки человеком.

«Первоначальная концепция была направлена на устранение критического ограничения в тестировании безопасности — ограниченного охвата и проблемы поддержания актуальности возможностей обнаружения в быстро меняющейся среде угроз», — рассказал WIRED Стив Шмидт, директор по безопасности Amazon. “Ограниченный охват означает, что вы не можете пройти через все программное обеспечение или не можете получить доступ ко всем приложениям, потому что у вас просто не хватает людей. И затем здорово провести анализ набора программного обеспечения, но если вы не будете поддерживать сами системы обнаружения в курсе изменений в ландшафте угроз, вы упускаете половину картины”.

В рамках расширения использования ATA компания Amazon разработала специальные «высокоточные» среды тестирования, которые очень реалистично отражают производственные системы Amazon, поэтому ATA может как принимать, так и создавать реальные данные телеметрии для анализа.

Команды безопасности компании также позаботились о том, чтобы спроектировать ATA таким образом, чтобы каждая используемая им технология и возможности обнаружения проверялись с помощью реального автоматического тестирования и системных данных. Агенты красной команды, которые работают над обнаружением атак, которые могут быть использованы против систем Amazon, выполняют реальные команды в специальных тестовых средах ATA, которые создают поддающиеся проверке журналы. Синяя команда, или агенты, ориентированные на защиту, используют реальную телеметрию, чтобы подтвердить эффективность предлагаемых ими средств защиты. И каждый раз, когда агент разрабатывает новую технику, он также извлекает журналы с отметками времени, чтобы доказать точность своих утверждений.

По словам Шмидта, такая проверяемость снижает количество ложных срабатываний и действует как «управление галлюцинациями». Поскольку система построена так, чтобы требовать определенных стандартов наблюдаемых доказательств, Шмидт утверждает, что «галлюцинации архитектурно невозможны».