DataBricks, Noma Skeall Cisos’s AI SNEPERNCE NONCEMARE

CISO точно знают, где их кошмар AI разворачивается быстрее. Это вывод, уязвимая этап, на которой живые модели соответствуют реальным данным, в результате чего предприятия подвергаются воздействию быстрого впрыска, утечек данных и модельных джейлбрейков.

DataBricks Ventures и NOMA Security сталкиваются с этими угрозами вывода. При поддержке свежего раунда серии A в размере 32 миллионов долларов, возглавляемого баллистическими предприятиями и Glilot Capital, при поддержке Databricks Ventures, партнерство направлено на решение критических пробелов в безопасности, которые препятствовали развертываниям AI Enterprise AI.

«Причина, по которой предприятия, не решаются развернуть ИИ в масштабе в масштабе, – это безопасность», – сказал Нив Браун, генеральный директор Noma Security, в эксклюзивном интервью VentureBeat. «Благодаря DataBricks мы внедряем аналитику угроз в реальном времени, расширенную защиту вывода и упреждающую команду AI Red непосредственно в корпоративные рабочие процессы. Наш совместный подход позволяет организациям безопасно и уверенно ускорить свои амбиции искусственного интеллекта»,-сказал Браун.

Обеспечение вывода с ИИ требует аналитики в реальном времени и защиты времени выполнения, Gartner находит

Традиционная кибербезопасность определяет приоритеты защиты от периметра, оставляя уязвимость от вывода искусственного интеллекта опасно упускать из виду. Эндрю Фергюсон, вице-президент DataBricks Ventures, подчеркнул этот критический разрыв в безопасности в эксклюзивном интервью с VentureBeat, подчеркивая срочность клиентов в отношении безопасности вывода. «Наши клиенты четко указали, что обеспечение вывода ИИ в режиме реального времени имеет решающее значение, и NOMA уникально обеспечивает эту возможность»,-сказал Фергюсон. «NOMA напрямую обращается к разрыву в обеспечении вывода с непрерывным мониторингом и точным контролем времени выполнения».

Браун расширил эту критическую потребность. «Мы создали нашу защиту времени выполнения специально для все более сложных взаимодействий с ИИ», – объяснил Браун. «Аналитика угроз в режиме реального времени на стадии вывода гарантирует, что предприятия поддерживают надежную защиту времени выполнения, минимизируя несанкционированную экспозицию данных и манипуляции с состязательной моделью».

Недавний анализ Гартнера подтверждает, что предложение предприятия на продвинутый ИИ Доверие, риск и управление безопасности (Trism) Возможности растет. Гартнер предсказывает, что до 2026 года над 80% Из несанкционированных инцидентов искусственного интеллекта будут результатом внутреннего неправильного использования, а не внешних угроз, усиливая срочность для интегрированного управления и безопасности ИИ в реальном времени.

Структура AI Trish Gartner иллюстрирует комплексные уровни безопасности, необходимые для эффективного управления риском искусственного интеллекта предприятия. Источник: Gartner

Проактивная красная команда Noma стремится обеспечить целостность искусственного интеллекта с самого начала.

Проактивный подход Noma Red Teaming является стратегически центральным для выявления уязвимостей задолго до того, как модели искусственного интеллекта достигли производства, сказал Браун VentureBeat. Моделируя сложные состязательные атаки во время предварительных испытаний, NOMA подвергает и устраняет риски рано, значительно повышая надежность защиты времени выполнения.

Во время своего интервью с VentureBeat Браун разработал стратегическую ценность проактивного красного команды: «Красная команда очень важна. Мы активно раскрываем уязвимости предварительную выгоду, обеспечивая целостность искусственного интеллекта с первого дня».

(Луи будет вести круглый стол о красной команде в VB Transform 24 и 25 июня, Зарегистрируйтесь сегодня.)

«Сокращение времени до производства без ущерба для безопасности требует избегания чрезмерного инженера. Мы проектируем методологии тестирования, которые непосредственно информируют защиту времени выполнения, помогая предприятиям безопасно и эффективно перемещаться от тестирования к развертыванию»,-посоветовал Браун.

Браун подробно рассказал о сложности современных взаимодействий ИИ и глубине, необходимой для проактивных методов команды Red. Он подчеркнул, что этот процесс должен развиваться вместе со все более сложными моделями ИИ, особенно с генеративным типом: «Наша защита времени выполнения была специально создана для обработки все более сложных взаимодействий ИИ», – объяснил Браун. «Каждый детектор, который мы используем, объединяет несколько уровней безопасности, включая расширенные модели НЛП и возможности для моделирования языка, обеспечивая обеспечение комплексной безопасности на каждом этапе вывода».

Красная команда осуществляет не только проверку моделей, но и укрепляет доверие предприятия в безопасном развертывании передовых систем ИИ в масштабе, непосредственно соответствуя ожиданиям главных сотрудников информационной безопасности предприятия (CISO).

Как DataBricks и Noma блокируют критические угрозы вывода искусственного интеллекта

Обеспечение вывода ИИ от возникающих угроз стало главным приоритетом для CISO, поскольку предприятия масштабируют их модельные трубопроводы. «Причина, по которой предприятия, не решаются полностью развернуть ИИ в масштабе в масштабе, является безопасностью», – подчеркнул Браун. Фергюсон повторил эту срочность, отметив: «Наши клиенты четко указали, что обеспечение вывода ИИ в режиме реального времени имеет решающее значение, и NOMA однозначно удовлетворяет эту потребность».

Вместе DataBricks и Noma предлагают интегрированную защиту в реальном времени от сложных угроз, включая быстрый впрыск, утечки данных и модельные джейлбрейки, в то же время тесно соответствуя таким стандартам, как DataBricks ‘DASF 2.0 и руководящие указания OWASP для надежного управления и соответствия.

В таблице ниже суммируются ключевые угрозы вывода ИИ и то, как партнерство DataBricks-Noma смягчает их:

Вектор угрозы	Описание	Потенциальное воздействие	Noma-Databricks смягчение
Быстрое впрыск	Злоугодные входы переоценивают инструкции по моделям.	Несанкционированное воздействие данных и вредное образование контента.	Быстрое сканирование с помощью многослойных детекторов (NOMA); Проверка ввода через DASF 2.0 (DataBricks).
Конфиденциальная утечка данных	Случайное воздействие конфиденциальных данных.	Нарушения соответствия, потеря интеллектуальной собственности.	Обнаружение и маскирование конфиденциальных данных в реальном времени (NOMA); Управление и шифрование каталога единства (DataBricks).
Модель джейлбрейка	Обход встроенных механизмов безопасности в моделях ИИ.	Генерация неподходящих или злонамеренных результатов.	Выявление и правоприменение джейлбрейка во время выполнения (NOMA); MLFLOW MODEL Управление (DataBricks).
Эксплуатация инструмента агента	Неправильное использование интегрированных функций агента ИИ.	Несанкционированный доступ к системе и эскалация привилегий.	Мониторинг взаимодействия агентов в реальном времени (NOMA); Управляемые среды развертывания (DataBricks).
Отравление памятью агента	Инъекция ложных данных в постоянную память агента.	Скомпрометированное принятие решений, дезинформация.	Проверки целостности AI-SPM и безопасность памяти (NOMA); Дельта -озеро
Косвенная подсказка	Внедрение вредоносных инструкций в доверенные входные данные.	Похищение агента, несанкционированное выполнение задачи.	Входное сканирование в реальном времени для вредоносных шаблонов (NOMA); Безопасные трубопроводы по употреблению данных (DataBricks).

Как DataBricks Lakehouse Architecture поддерживает управление и безопасность ИИ

Архитектура DataBricks ‘Lakehouse объединяет структурированные возможности управления традиционными хранилищами данных с масштабируемостью Data Lakes, централизацией аналитики, машинного обучения и рабочих нагрузок искусственного интеллекта в пределах одной, управляемой среды.

Внедряя управление непосредственно в жизненный цикл данных, архитектура Lakehouse рассматривает риски соблюдения и безопасности, особенно на стадии вывода и времени выполнения. Он тесно связан с отраслевыми рамками, такими как OWASP и Miter Atlas.

Во время нашего интервью Браун подчеркнул выравнивание платформы с строгими требованиями регулирования, которые он видит в циклах продаж и с существующими клиентами. «Мы автоматически отображаем наши элементы управления безопасности на широко принятых рамках, таких как OWASP и Miter Atlas. Это позволяет нашим клиентам уверенно соблюдать критические правила, такие как AC EA AI и ISO 42001.

DataBricks Lakehouse объединяет управление и аналитику для безопасного управления рабочими нагрузками ИИ. Источник: Gartner

Как DataBricks и NOMA планируют обеспечить AI Enterprise в масштабе

Усыновление AI Enterprise ускоряется, но по мере расширения развертывания, так и риски безопасности, особенно на стадии вывода модели.

Партнерство между DataBricks и NOMA Security обращается непосредственно, предоставляя интегрированное управление и обнаружение угроз в реальном времени, с акцентом на обеспечение рабочих процессов искусственного интеллекта от развития до производства.

Фергюсон ясно объяснил обоснование этого комбинированного подхода: «Enterprise AI требует комплексной безопасности на каждом этапе, особенно во время выполнения. Наше партнерство с NOMA объединяет упреждающую аналитику угроз непосредственно в операции AI, предоставляя предприятиям страховое покрытие, необходимое для того, чтобы они были уверенно масштабировать их развертывание ИИ».