Использование агентов ИИ в организациях сегодня и в будущем

Агенты искусственного интеллекта (ИИ) быстро переходят от экспериментальных прототипов к интегрированным помощникам на предприятиях, в государственных службах и в повседневной жизни. Эти системы на базе искусственного интеллекта могут быть построены для независимой интерпретации информации, принятия решений и выполнения действий для достижения конкретных целей. В ближайшие годы будут продолжать появляться более функциональные системы, что будет иметь последствия для людей, бизнеса и общества.

Поскольку организации используют агентов ИИ для пополнения команд или действий в физическом мире, им следует относиться к их адаптации с той же строгостью, что и к новому сотруднику. Это включает в себя разработку четко определенных ролей, гарантий и структурированной практики надзора.

Белый документ, Агенты ИИ в действии: основы оценки и управленияразработанный рабочей группой по безопасным системам и технологиям Всемирного экономического форума в сотрудничестве с Capgemini, обрисовывает новые основы для ответственного внедрения агентов ИИ. В нем представлены четыре основных принципа, которые обеспечивают структурированный подход к оценке и внедрению агентов ИИ:

Структурированный подход к классификации агентов помогает лицам, принимающим решения, сформулировать, что делает агент, как он ведет себя и при каких условиях он должен действовать. Ан агентская картаили «резюме» для агента ИИ, может предоставить важную информацию о возможностях агента до того, как он будет «включен» и интегрирован в организацию.

Семь основных параметров должны определять профиль агента:

В сочетании эти измерения создают поведенческое и оперативное понимание агента, что имеет решающее значение для оценки рисков, установления уровней надзора и обмена ожиданиями между поставщиками, заказчиками и конечными пользователями.

Концепция автономии сильно отличается от более ранних форм автоматизации. Ключевое различие заключается в том, что автономия предполагает гибкость принятия решений или выбора того, что делать, тогда как автоматизация подчеркивает надежность выполнения или выполнение того, на что запрограммирована система. Автономию и полномочия следует рассматривать не как неотъемлемые свойства системы, а как конструктивный выбор, который можно сделать на основе предполагаемых функций агентов, соображений риска и требований надзора.

Например, робот-пылесос имеет низкий уровень полномочий, среднюю автономность и работает в относительно простой среде, тогда как персональный цифровой помощник может охватывать несколько систем, получать доступ к конфиденциальным данным на разных платформах и выполнять действия от имени пользователей. Таким образом, личный помощник требует гораздо большего внимания:

По мере того, как организации начинают развертывать агентов с различными функциональными ролями, структурированная оценка становится все более важной. Традиционная оценка ИИ в значительной степени опирается на модельно-ориентированный подход. ориентирыпроверка точности или рассуждений в контролируемых сценариях. Но агенты не являются статичными моделями. Это системы, состоящие из одной или нескольких моделей плюс инструменты, память, петли обратной связи и взаимодействия с пользователем – и все это в различных средах.

Таким образом, оценка агента ИИ означает изучение таких параметров, как показатели успешности выполнения задач, надежность использования инструментов, производительность, поведение во времени, доверие пользователей и шаблоны взаимодействия, а также надежность работы в реальных рабочих процессах.

Новые ориентиры, такие как АгентБенч или SWE-скамья подавайте ранние сигналы, но реальная уверенность приходит от контекстуальной оценки. Это означает тестирование агентов в средах, отражающих реальные условия развертывания. Таким образом, разработчикам (которые обладают ноу-хау системы) и пользователям (имеющим данные и опыт, связанные с операционным контекстом) часто необходимо тесно сотрудничать, чтобы обеспечить точную и надежную контекстную оценку.

Хотя оценка предоставляет доказательства, оценка риска определяет, какое значение эти доказательства имеют для безопасности и пригодности. Как правило, жизненный цикл оценки рисков, состоящий из пяти этапов, включает определение контекста, идентификацию, анализ, оценку и управление соответствующими рисками.

Этот подход напрямую связывает классификацию и оценку с управлением. Например, агентам с высокими полномочиями и высокой автономией в сложных средах требуется больше гарантий. Недетерминированное поведение также должно сочетаться с более строгим контролем. А агенты, взаимодействующие с внешними системами, должны работать под нулевое доверие предположения о безопасности, поскольку их интеграция расширяет поверхность атаки.

Этот структурированный подход имеет важное значение, поскольку агенты все чаще действуют за пределами организационных границ, используют внешние инструменты и сотрудничают с другими агентами посредством протоколов взаимодействия.

Оценка и оценка рисков дают важную информацию о возможностях агента, производительности, надежности, безопасности, безопасности и согласованности. С другой стороны, управление определяет, преобразуются ли эти идеи в эффективный надзор и ответственное внедрение.

В официальном документе изложен прогрессивный подход к надзору за агентами, начиная с базового уровня. для всех агентов, включая ведение журнала и отслеживание, четкую идентификацию для каждого действия агента и мониторинг в реальном времени (все больше полагается на агентов для мониторинга агентов).

Прогрессивный подход к управлению гарантирует, что более способные агенты получают пропорциональный контроль, в то же время обеспечивая инновации и гибкость в масштабировании с течением времени.

Следующий рубеж для агентов ИИ выходит далеко за рамки интеграции отдельных агентов внутри организаций. Он включает в себя новые экосистемы агентов, которые взаимодействуют между сетями, платформами и организациями. Это означает, что организациям, начинающим внедрять и развертывать агенты сегодня, следует учитывать такие вопросы, как:

Эти возникающие проблемы делают необходимым дальновидный надзор и прогрессивное управление. Новые подходы, такие как использование агентов-аудиторов, могут помочь отслеживать, проверять и регулировать экосистемы агентов в масштабе. Однако они также создают новые уязвимости, включая риск зависимости от агентов для мониторинга других агентов.

Агенты ИИ уже приносят пользу во многих отраслях — от ускорения исследований и разработок и обслуживания клиентов до помощи организациям в управлении сложными операциями. Но по мере роста их возможностей должна расти и способность организаций руководить ими ответственно.

Основы, изложенные в официальном документе, касающиеся классификации, оценки, оценки рисков и прогрессивного управления, предлагают структурированный план для организаций, готовящихся к агентному будущему уже сегодня. Благодаря тщательному проектированию, пропорциональным мерам защиты и межфункциональному сотрудничеству агенты ИИ могут расширить человеческие возможности, повысить производительность и поддерживать высоконадежные и эффективные цифровые экосистемы.

Однако долгосрочный успех внедрения и использования агентов ИИ зависит от создания систем, которые останутся понятными, надежными и подотчетными. Эти системы должны быть построены как общие инструменты для создания долгосрочной стоимости.