Управление решением: подотчетность в разведке с помощью искусственного интеллекта

Интеллект принятия решений обещает дополнить человеческое суждение знаниями, полученными с помощью искусственного интеллекта, но системы управления не поспевают за ним. Когда система искусственного интеллекта участвует в принятии решения, кто несет ответственность за результат? Как мы можем отследить информацию, которая легла в основу решения, до ее источников? Какая документация должна существовать до принятия решения, а что необходимо сохранить после? Эти вопросы становятся актуальными по мере того, как ИИ переходит от анализа к действию. На этом заседании представлена структура управления для принятия решений с помощью ИИ, основанная на различии между происхождением и происхождением. Lineage документирует поток данных через системы: какие источники информировали ИИ, посредством каких преобразований и с какими зависимостями. Провенанс записывает историю конкретных ценностей: кто их создал, когда они были изменены и какие параметры управляли их обращением. Для управления принятием решений необходимы оба фактора. Lineage показывает, что решение основывалось на утвержденных источниках через документированные конвейеры; Происхождение гарантирует, что конкретные ценности можно отследить в цепочке поставок. Особое внимание уделяется генерации с расширенным поиском, где решения могут основываться на контенте, полученном из баз знаний. Управление должно начинаться с момента поступления, документирования источников до того, как они попадут в систему. Средства управления доступом должны фильтровать поиск по разрешениям. Следы цитирования должны соединять сгенерированные результаты с извлеченными отрывками и оригинальными источниками. На сессии рассматривается, что управление может автоматизировать, а что нет. Ключевые выводы: – Управление принятием решений требует как происхождения (системных потоков), так и происхождения (истории ценностей). – Системы RAG требуют управления от приема через извлечение до вывода. – Подотчетность не может быть автоматизирована; управление должно сохранять ответственность человека. – Журналы цитирования позволяют принимать обоснованные решения с использованием ИИ.