Сделать искусственный интеллект объяснимым для преодоления разрыва в доверии: мнение Forrester

Искусственный интеллект вторгся в отрасли и компании всех размеров, но предыстория того, что делает эти инструменты одновременно мощными и нестабильными, остается несколько неясной.

Понимание того, как и почему системы ИИ достигают своих результатов, объяснил Форрестер в новом отчете, является критически важным механизмом прозрачности, называемым объяснимым ИИ. И это ключ к тому, чтобы предприятия минимизировали разрыв в доверии к системам искусственного интеллекта среди всех заинтересованных сторон.

В отчете поясняется, что компании, которые достигли более высокого уровня зрелости ИИ и начинают использовать непрозрачные методы, такие как нейронные сети, для дополнительной предсказательной силы, больше всего обеспокоены проблемами объяснимости.

Эти нейронные сети — единственный способ масштабного анализа текста, изображений и видео, поэтому отрасли, в которых используются неструктурированные данные, будут более склонны инвестировать в объяснимость. В то же время эти компании будут подвергаться еще большему риску со стороны регулирующих органов.

Однако с бурным развитием генеративного взаимодействия на естественном языке с помощью искусственного интеллекта всем компаниям в конечном итоге придется инвестировать в объяснимость, отмечается в отчете.

Соответствие нормативным требованиям является одним из факторов, но объяснимость также может помочь компаниям раскрыть бизнес-ценность своих алгоритмов ИИ. Например, в таком случае использования, как определение кредита, объяснимость может служить основой для будущих моделей кредитного риска. Информация о клиентах — еще один важный аспект, на который обращают внимание предприятия, чтобы повысить ценность бизнеса.

Кроме того, объяснимость может повысить доверие среди сотрудников, которые используют системы искусственного интеллекта для выполнения повседневных функций. Внедрение ИИ существенно страдает, когда сотрудники не имеют хотя бы минимального понимания того, как система дает результаты. Фактически, исследование данных и аналитики, проведенное Forrester в 2023 году, показало, что 25 процентов лиц, принимающих решения в области данных и аналитики, говорят, что отсутствие доверия к системам ИИ является серьезной проблемой при использовании ИИ.

Чтобы достичь этих результатов с помощью объяснимости, исследователи разработали методы интерпретации, такие как SHAP и LIME, которые имеют открытый исходный код и широко используются учеными, работающими с данными. Многие крупные поставщики платформ машинного обучения также предлагают объяснимые возможности искусственного интеллекта в дополнение к существующим функциям разработки моделей. Эти поставщики также удовлетворяют другие ответственные потребности в области искусственного интеллекта, такие как интерпретируемость моделей, обнаружение предвзятости, происхождение моделей и многое другое.

Но ученые, работающие с данными, не единственные, кому понадобится объяснимость. Командам по управлению ИИ нужны модели интеллектуальных платформ, которые обеспечивают ответственную оценку ИИ для контроля за использованием ИИ на предприятии.

Бизнес-пользователи также могут использовать эти платформы модельного интеллекта или механизмы машинного обучения с объяснимыми методами искусственного интеллекта, особенно для случаев использования с высоким уровнем риска или строгого регулирования, таких как определение кредита и найм персонала.

Forrester рекомендует предприятиям, стремящимся к объяснению, сделать следующее:

1. Посмотрите на различные варианты использования ИИ, соответствующим образом классифицируйте риски, а затем определите требования к объяснимости для каждого уровня. Компании, например, заимствовали средства из Закона ЕС об искусственном интеллекте, который классифицирует системы искусственного интеллекта на четыре категории: неприемлемый риск, высокий риск, средний риск и низкий риск. В результате, например, сценарии использования с высоким риском могут потребовать полной прозрачности, тогда как интерпретируемость может быть достаточна для случаев использования с умеренным риском.
2. Требуйте объяснений от поставщиков ИИ и остерегайтесь «черного ящика», так как вы можете быть привлечены к ответственности за любые уязвимости или недостатки.
3. Убедитесь, что объяснимость выходит за рамки отдельных моделей и охватывает работу всей системы (взаимодействие всех ее частей), а также измеряйте результаты бизнеса и удовлетворенность клиентов, а также производительность модели, чтобы гарантировать, что система работает так, как ожидалось.

Полный отчет Forrester можно приобрести здесь.