Microsoft и MITRE разработали инструмент, который работает как библиотека автоматизированных состязательных атак для тех, у кого нет глубоких знаний в области машинного обучения или искусственного интеллекта, предоставляя информацию о том, как работают эти атаки, и дает возможность построить защиту.
ПОЧЕМУ ЭТО ВАЖНО
Алгоритмы искусственного интеллекта используются в здравоохранении для анализа огромных объемов медицинских данных, чтобы помочь в принятии решений о клиническом лечении, разработке персонализированного лечения, удаленном наблюдении за пациентами и повышении эффективности клинических испытаний.
Новая интеграция MITRE и знаний Microsoft об атаках может помочь специалистам по кибербезопасности в сфере здравоохранения обнаруживать новые уязвимости в сквозном рабочем процессе машинного обучения и разрабатывать контрмеры, предотвращающие использование системы.
Инструмент Arsenal использует структуру MITRE Adversarial Threat Landscape для систем искусственного интеллекта, базу знаний о тактике злоумышленников, методах и тематических исследованиях для систем машинного обучения, и был создан на основе инструмента автоматизации Microsoft Counterfit для тестирования безопасности систем ИИ.
ATLAS основан на реальных наблюдениях, демонстрациях красных команд ML и академических исследованиях.
Вместо того, чтобы исследовать конкретные уязвимости в системе машинного обучения, специалисты по кибербезопасности могут использовать Arsenal для выявления угроз безопасности, с которыми система столкнется как часть корпоративной сети, пояснил Чарльз Клэнси, старший вице-президент и генеральный менеджер MITRE Labs, в заявлении компании. .
Подключаемый модуль Arsenal позволяет CALDERA — платформе MITRE, которую можно использовать для создания и автоматизации определенных профилей злоумышленников, — получать доступ к библиотеке Microsoft Counterfit и эмулировать атаки и поведение злоумышленников.
«Объединение этих инструментов — большая победа для сообщества кибербезопасности, потому что оно дает представление о том, как разыгрываются враждебные атаки машинного обучения», — сказал Клэнси.
«Совместная работа по устранению потенциальных недостатков безопасности с помощью систем машинного обучения поможет повысить доверие пользователей и позволит этим системам оказывать положительное влияние на общество», — добавил он.
БОЛЬШАЯ ТЕНДЕНЦИЯ
Создание надежного сквозного рабочего процесса машинного обучения для выявления уязвимостей в системах машинного обучения, интегрированных в корпоративную сеть, может быть чрезвычайно сложным.
«Многие специалисты по кибербезопасности в различных отраслях, включая здравоохранение, не совсем понимают, как работают различные формы ИИ», — сказал Иттай Даян, генеральный директор и соучредитель Rhino Health, предлагающей платформу ИИ.
По его словам, машинное обучение — это область ИИ, которая фокусируется на разработке алгоритмов и статистических моделей, которые позволяют компьютерам повышать свою производительность при выполнении конкретной задачи. Медицинские ИТ-новости На этой неделе.
«Например, алгоритмы машинного обучения можно использовать для анализа огромных объемов медицинских данных, таких как электронные медицинские карты, для выявления закономерностей и взаимосвязей, которые могут помочь в разработке более эффективных методов лечения», — сказал он в учебнике по искусственному интеллекту.
«Машинное обучение также можно использовать для разработки прогностических моделей, которые могут помочь поставщикам медицинских услуг прогнозировать результаты лечения пациентов и принимать более обоснованные решения».
Поскольку алгоритмы машинного обучения предназначены для автоматического повышения их производительности путем изучения данных, их можно использовать для атак злоумышленников, мотивированных денежной выгодой, мошенничеством со страховкой или даже появлением благоприятных результатов клинических испытаний.
В одном исследовании смоделированная кибератака на диагностический ИИ, который использовал машинное обучение для анализа медицинских изображений, была обманута фальшивыми изображениями.
«Потенциально такие атаки могут быть очень вредными для пациентов, если они приведут к неправильному диагнозу рака», — сказал Шаньдун Ву, доцент кафедры радиологии, биомедицинской информатики и биоинженерии Питтсбургского университета.
В ЗАПИСИ
«Поскольку мир надеется на то, что ИИ положительно изменит работу организаций, крайне важно предпринять шаги, чтобы помочь обеспечить безопасность тех моделей ИИ и машинного обучения, которые позволят сотрудникам делать больше с меньшими затратами времени, бюджета и ресурсы», — заявил Рам Шанкар Сива Кумар, главный менеджер программы безопасности ИИ в Microsoft.
«Мы гордимся тем, что работали с MITRE и HuggingFace. [AI community and ML platform] чтобы предоставить сообществу безопасности инструменты, необходимые для более безопасного использования ИИ».
Андреа Фокс — старший редактор Healthcare IT News.
Электронная почта: [email protected]
Healthcare IT News — это издание HIMSS Media.
