Использование математики для обеспечения безопасной работы систем искусственного интеллекта

Поскольку искусственный интеллект (ИИ) берет на себя все более важную роль — от управления электросетями до пилотирования автономных транспортных средств, — обеспечение безопасности этих систем становится как никогда важным. Но как мы можем быть уверены, что управляющему ими ИИ можно доверять?

Исследовательская группа из Университета Ватерлоо решает этот вопрос, используя инструменты прикладной математики и машинного обучения для тщательной проверки и проверки безопасности систем, управляемых искусственным интеллектом.

Исследование «Физика, информированная нейронная сеть Функции Ляпунова: характеристика, обучение и проверка PDE». появляется в Автоматический.

«Каждый раз, когда вы имеете дело с динамической системой — чем-то, что меняется со временем, например, с автономным транспортным средством или энергосистемой — вы можете математически смоделировать ее, используя дифференциальные уравнения», — сказал д-р Цзюнь Лю, профессор прикладной математики и канадский кафедра исследований гибридных систем и управления.

Чтобы предсказать долгосрочное поведение этих систем, ученые и инженеры полагаются на математический инструмент называется «функцией Ляпунова». Интуитивно понятно, что этот инструмент показывает, перейдет ли система естественным путем в стабильное и безопасное состояние — подобно мячу, катящемуся на дно чаши и остающемуся там. «Однако найти такую функцию часто бывает чрезвычайно сложной задачей», — сказал Лю.

Чтобы решить эту проблему, Лю и его команда обратились к машинному обучению. Они создали нейронную сеть, которая учится выполнять математические правила, определяющие, остается ли система стабильной и безопасной — те же правила, на которые полагаются инженеры, чтобы соблюдать их. электрические сети и автономные транспортные средства под контролем.

Затем исследователи использовали отдельную систему рассуждений, основанную на строгих вычислениях и математическая логика чтобы убедиться, что эти нейронные сети действительно удовлетворяют условиям, необходимым для гарантий безопасности. Вместе эти инструменты позволяют подтвердить, что ИИ-контроллеры могут безопасно и надежно управлять сложными системами.

Использование одной формы ИИ для проверки другой может показаться удивительным, но Лю объясняет, что ИИ — это обширная область. В своей работе нейронные сети (один из распространенных типов ИИ) изучают математические доказательства безопасности, а иногда даже проектируют сами контроллеры, в то время как логическая система (еще одна форма рассуждения ИИ) проверяет правильность этих доказательств. Обе задачи когда-то исследователям приходилось выполнять вручную.

«Чтобы внести ясность: никто не пытается создавать фабрики или системы, полностью управляемые ИИ, без участия человека», — сказал Лю. «Есть такие области, как этика, которые всегда будут руководствоваться человеческими суждениями. Эти ИИ-контроллеры и помощники по доказательствам берут на себя выполнение ресурсоемких задач, таких как решение о том, как распределить энергию в сети, или построение утомительных математических доказательств, которые смогут освободить людей для принятия решений более высокого уровня».

Данная система была протестирована на нескольких сложных задачах контроля, где она соответствовала традиционным подходам или превосходила их. В настоящее время команда Лю разрабатывает его в набор инструментов с открытым исходным кодом и изучает возможности отраслевого сотрудничества для продвижения безопасного и заслуживающего доверия искусственного интеллекта для физических систем.

Эта работа является частью более широкой программы Ватерлоо по развитию безопасного и заслуживающего доверия искусственного интеллекта.