Команда Microsoft AI Red уже доказала свою эффективность

Для большинства людей, Идея использования инструментов искусственного интеллекта в повседневной жизни — или даже просто возиться с ними — стала популярной только в последние месяцы, когда появились новые выпуски генеративных инструментов искусственного интеллекта от множества крупных технологических компаний и стартапов, таких как OpenAI. ЧатGPT и Бард Google. Но за кулисами технология распространялась годами, а вместе с ней и вопросы о том, как лучше всего оценивать и защищать эти новые системы искусственного интеллекта. В понедельник Microsoft раскрывает подробности о команде внутри компании, которой с 2018 года было поручено выяснить, как атаковать платформы ИИ, чтобы выявить их слабые места.

За пять лет, прошедших с момента своего создания, команда Microsoft AI red выросла из того, что по сути было экспериментом, в полноценную междисциплинарную команду экспертов по машинному обучению, исследователей кибербезопасности и даже социальных инженеров. Группа работает над тем, чтобы сообщить о своих выводах в Microsoft и в технологической отрасли, используя традиционный язык цифровой безопасности, чтобы идеи были доступны, а не требовали специальных знаний в области ИИ, которых еще нет у многих людей и организаций. Но на самом деле команда пришла к выводу, что безопасность ИИ имеет важные концептуальные отличия от традиционной цифровой защиты, которые требуют различий в том, как красная команда ИИ подходит к своей работе.

«Когда мы начинали, вопрос был: «Что принципиально нового вы собираетесь делать? Зачем нам нужна красная команда ИИ?», — говорит Рам Шанкар Сива Кумар, основатель красной команды ИИ Microsoft. «Но если вы посмотрите на Red Teaming ИИ только как на традиционное Red Team, и если вы возьмете только мышление безопасности, этого может быть недостаточно. Теперь мы должны признать ответственный аспект ИИ, который заключается в ответственности за сбои системы ИИ — поэтому создание оскорбительного контента, создание необоснованного контента. Это святой Грааль объединения красных команд ИИ. Рассматривая не только сбои безопасности, но и ответственные сбои ИИ».

Шанкар Шива Кумар говорит, что потребовалось время, чтобы выявить это различие и доказать, что миссия красной команды ИИ действительно будет иметь двойную направленность. Большая часть ранней работы была связана с выпуском более традиционных инструментов безопасности, таких как Матрица угроз состязательного машинного обучения 2020 года, сотрудничество между Microsoft, некоммерческой научно-исследовательской группой MITRE и другими исследователями. В том же году группа также выпустила инструменты автоматизации с открытым исходным кодом для тестирования безопасности ИИ, известные как Контрафигурация Майкрософт. А в 2021 году красная команда опубликовано дополнительная система оценки рисков безопасности ИИ.

Однако со временем команда AI red смогла развиваться и расширяться по мере того, как неотложность устранения недостатков и сбоев машинного обучения становится все более очевидной.

В одной из первых операций красная команда оценила службу развертывания облачных вычислений Майкрософт, в которой был компонент машинного обучения. Команда разработала способ запуска атаки типа «отказ в обслуживании» на других пользователей облачной службы, используя уязвимость, которая позволяла им создавать вредоносные запросы для злоупотребления компонентами машинного обучения и стратегически создавать виртуальные машины, эмулированные компьютерные системы, используемые в облаке. . Тщательно размещая виртуальные машины на ключевых позициях, красная команда может запускать атаки «шумных соседей» на других пользователей облака, когда активность одного клиента негативно влияет на производительность другого клиента.