20 вопросов, которые должен задать каждый бакалавр перед началом строительства

20 вопросов, которые должен задать каждый бакалавр перед началом строительства

«Давайте добавим ИИ» — это современная версия «Давайте добавим панель мониторинга». Это звучит продуктивно, хорошо демонстрируется и все же может привести к впечатляющим провалам, потому что люди на самом деле хотят не ИИ. Они хотят быстрее принимать решения, меньше ошибок, меньше переделок, лучшее качество обслуживания клиентов и избавление от повторяющейся работы.

ИИ дает такие результаты только тогда, когда команда договаривается о чем-то более конкретном, чем «сделать это умным». Вот где блистают бизнес-аналитики. Вам не нужно быть экспертом по моделям. Вы должны быть человеком, который поворачивает энтузиазм в ясность: как выглядит успех, что системе разрешено делать, чего она никогда не должна делать и как вы докажете, что она ведет себя безопасно и последовательно.

Эта статья предназначена для использования в реальном мире. Вы можете запустить его в течение 60–90 минут, фиксировать ответы по ходу дела и уйти с ощутимыми результатами: границами объема, контрактом на выходные данные, ограничителями, критериями приемки и реалистичным планом тестирования и мониторинга.

Почему требования к ИИ идут не так (даже в случае с талантливыми командами)

Традиционные требования к программному обеспечению предполагают, что система детерминирована: одни и те же входные данные должны давать одинаковый результат. Системы искусственного интеллекта не такие. Даже когда они «работают», их результаты могут различаться, особенно если входные данные неоднозначны, неполны или зашумлены — условия, которые часто встречаются в реальных рабочих процессах бизнеса.

ИИ также превращает данные в зависимость от продукта. В тот момент, когда ваша функция использует внутренние документы, записи CRM, заявки или данные клиентов, вы не просто создаете функциональность — вы создаете трубопровод доверия. Откуда взялась эта информация? Это актуально? Это разрешено? Что произойдет, если источники конфликтуют?

И самое главное отличие: неудачи ИИ часто выглядят как уверенный успех. Беглый ответ все равно может быть неверным, небезопасным или несоответствующим требованиям. Вот почему подход к требованиям к искусственному интеллекту под руководством BA должен включать в себя ограждения, резервные варианты и доказательства, а не только функции.

Карта вывода требований (самый быстрый способ обеспечить согласованность действий всех участников)

Разговоры об искусственном интеллекте быстро переходят к инструментам и поставщикам. Верните их к тому, что важно, с помощью этой простой карты:

1. Вариант использования и решение – на какое действие влияет ИИ?
2. Входы и источники – какую информацию он использует и какая является авторитетной?
3. Модель поведения – что он должен делать и чего не должен делать?
4. Выходы – структура, тон, цитаты и обработка неопределенностей.
5. Элементы управления – ограждения, резервное поведение, пути эскалации
6. Доказательство – как вы тестируете, отслеживаете и проверяете его с течением времени

Теперь давайте перейдем к практике: 20 вопросов, которые заполняют эту карту.

20 вопросов, которые необходимо задать (почему они важны и что они производят)

А) Ясность вариантов использования (вопросы 1–4)

1) Какую проблему пользователя мы решаем и какую работу предстоит выполнить?

Проекты ИИ застревают, когда «проблемой» на самом деле является смутное желание модернизироваться. Этот вопрос заставляет команду назвать настоящую боль: время, ошибки, задержки, затраты, упущенные возможности, непоследовательные решения или плохое качество обслуживания клиентов.

Выходные артефакты:

• Постановка задачи (1–2 абзаца)
• Текущий рабочий процесс (даже простой эскиз дорожки)

2) Какова роль ИИ: предлагать, обобщать, классифицировать, принимать решения или действовать?

Это не семантика; это риск. Обобщающему и «агенту», выполняющему действия, нужны совершенно разные средства контроля, тестирования и подотчетности. Четко определите свою роль, чтобы случайно не создать что-то с более высоким воздействием, чем предполагали заинтересованные стороны.

Выходные артефакты:

• Заявление «Роль ИИ» (одно предложение)
• Граница ответственности человека и ИИ («ИИ проектирует; человек одобряет» и т. д.)

3) Что явно выходит за рамки и почему?

Если вы не определите, чего ИИ не будет делать, пользователи все равно будут об этом просить. Границы, выходящие за пределы области действия, защищают вас от расползания объема, сюрпризов, связанных с соблюдением требований, и эскалации «ну, неужели это тоже…» на поздних этапах поставки?

Выходные артефакты:

• Список входящих и выходящих за рамки области применения
• Список «Запрещено» (темы, действия, источники данных)

4) Как выглядит успех в измеримом выражении?

Если успех невозможно измерить, единственным реальным показателем становится вопрос «нравится ли людям результат?». Вот так команды запускают с плохим качеством и потом обнаруживают, что система создает лишние доработки.

Выходные артефакты:

• Показатели успеха + цели (например, экономия времени, точность, отклонение, меньшее количество эскалаций)
• Базовый план измерений (как вы будете измерять текущую производительность)

Б) Пользователи, контекст и рабочий процесс (вопросы 5–7)

5) Кто являются основными пользователями и каков уровень их опыта?

Один и тот же вывод может быть полезен для эксперта и опасен для новичка. Опыт влияет на тон, глубину, предположения и тип необходимых вам ограждений.

Выходные артефакты:

• Персоны с уровнем навыков, контекстом и ключевыми ограничениями.
• Предположения по обучению/адаптации (что пользователи уже знают)

6) Где это происходит в рабочем процессе и что происходит дальше?

Результаты ИИ редко являются конечным продуктом. Он становится исходной информацией для принятия решения, взаимодействия с клиентом или обновления системы учета. Этот вопрос определяет последующие последствия, когда ошибки усиливаются.

Выходные артефакты:

• Обновленная схема рабочего процесса, показывающая точку вставки.
• Примечания к дальнейшему использованию («выходные данные вставляются в CRM», «клиент видит это» и т. д.)

7) Какова цена неправильного ответа — раздражающего, дорогого, небезопасного, незаконного?

Это ваша модель серьезности. Не все ошибки одинаковы, и ваши требования должны это отражать. Определите уровни, чтобы команда знала, где следует быть консервативной.

Выходные артефакты:

• Уровни воздействия/серьезности (низкий/средний/высокий)
• Требуемый уровень контроля для каждого уровня (например, одобрение человека для высокого уровня)

C) Входные данные и доступ (вопросы 8–10)

8) Какие данные будет использовать ИИ и какие источники являются авторитетными?

Большинство «галлюцинаций» в бизнесе на самом деле являются проблемами «неопределенности источника». Системе нужна четкая иерархия доверенных источников, а вам нужны правила для конфликтов и недостающей информации.

Выходные артефакты:

• Инвентаризация данных/источников (что можно использовать)
• Иерархия источников истины («политический документ имеет приоритет перед вики» и т. д.)

9) Какой доступ ему нужен и к чему он никогда не должен иметь доступ?

Наименьшие привилегии — это требование ИИ, а не деталь инфраструктуры. Если система может видеть слишком много, она в конечном итоге покажет слишком много — часто случайно.

Выходные артефакты:

• Роль × матрица доступа к данным
• Явные исключения («никогда не обращаться к папкам отдела кадров», «нет номеров SSN клиентов» и т. д.)

10) Как мы обрабатываем конфиденциальные данные, сохраняем их и используем для обучения?

Заинтересованные стороны часто предполагают, что «этим занимается поставщик». Не. Определите, что регистрируется, что сохраняется, как долго сохраняется и используются ли какие-либо данные для обучения или улучшения.

Выходные артефакты:

• Требования к регистрации/хранению
• Правила обработки данных (маскирование/редактирование)
• Правила использования тренинга (разрешено/запрещено)

D) Требования к выходным данным (вопросы 11–13)

11) Какой формат вывода требуется (маркеры, JSON, черновик электронного письма, рекомендации по решению)?

Если вы хотите стабильного качества, вам нужен контракт на выпуск продукции. Структура уменьшает двусмысленность, улучшает обзорность и делает возможным тестирование.

Выходные артефакты:

• Определение выходной схемы/структуры
• 2–3 примера результатов («хорошие» примеры)

12) Что должен включать в себя результат (источники, достоверность, ссылки, временные метки)?

Здесь вы защищаете доверие. Если вывод должен быть обоснован, потребуйте цитаты/ссылки. Если результаты влияют на решения, потребуйте указаний на неопределенность или заявлений об ограничениях.

Выходные артефакты:

• Список обязательных полей (цитаты, достоверность, идентификаторы записей, временные метки)
• Требования к отображению пользовательского интерфейса (где появляются эти поля)

13) Какие ограничения стиля имеют значение (тон, уровень чтения, заявления об отказе от ответственности, «не похоже на политику»)?

Стиль влияет на неправильное использование. Уверенный тон может заставить пользователей переоценить слабый звук. Юридический тон может создать риск несоблюдения требований. Определите «голос» намеренно.

Выходные артефакты:

• Руководство по тону/стилю (короткое)
• Список запрещенных фраз («гарантированно», «определенно» и т. д., если применимо)

E) Ограждения и неприемлемое поведение (вопросы 14–16)

14) Что ИИ должен отказаться делать или говорить?

Отказ – это особенность. Без явных правил отказа система попытается ответить на все вопросы, и некоторые из этих ответов будут неприемлемы.

Выходные артефакты:

• Правила отказа («Если спросят X, откажитесь, нажав Y + предложите безопасную альтернативу»)
• Список запрещенных действий/тем

15) Каковы сценарии «красного флажка», требующие передачи человеку?

Правила эскалации защищают клиентов и бизнес. Они также защищают вашу команду от вопросов «почему она не отметила это?» вопрос после инцидента.

Выходные артефакты:

• Список триггеров эскалации (по типу сценария)
• Путь эскалации (кто/куда он направляется)

16) Каков запасной вариант, когда уверенность низкая?

Хороший запасной вариант предотвращает вымышленные ответы. Он может задавать уточняющие вопросы, показывать основные источники, направлять к малому и среднему бизнесу или явно указывать то, что неизвестно.

Выходные артефакты:

• Спецификация поведения с низкой степенью уверенности
• Уточнение шаблонов вопросов
• Правила маршрутизации (когда передавать)

F) Качество, оценка и тестирование (вопросы 17–18)

17) Как мы будем измерять качество (точность, точность/напоминаемость, обоснованность, задержка)?

Одной «точности» редко бывает достаточно. Разные роли ИИ требуют разных определений качества. Этот вопрос заставляет команду определить рубрику до того, как дебаты станут субъективными.

Выходные артефакты:

• Показатели качества + пороговые значения (в зависимости от роли)
• Нефункциональные цели (задержка, время безотказной работы, стоимость запроса, если необходимо)

18) Что такое набор приемочных испытаний (золотой набор данных) и кто его подписывает?

Если вы не определите тестовые примеры заранее, вы будете тестировать то, что проще всего, а не то, что является репрезентативным. Включите крайние случаи и сценарии отказа, чтобы не «пройти», оставаясь при этом небезопасным.

Выходные артефакты:

• План золотого тестового набора + владение
• Роли подписания и критерии запуска

G) Операции: мониторинг, дрейф и контроль изменений (вопросы 19–20).

19) Что мы контролируем на производстве?

Система изменится: изменится использование, изменится распределение ресурсов, изменится политика. Мониторинг — это способ обнаружить «тихую деградацию» до того, как пользователи потеряют доверие.

Выходные артефакты:

• Требования к мониторингу (сигналы + пороговые значения)
• Триггеры инцидентов (что считается инцидентом ИИ)

20) Как происходят обновления (подсказка/изменение модели/версии, откат, контрольный журнал)?

Системы искусственного интеллекта развиваются быстро. Относитесь к изменениям как к контролируемым выпускам с возможностью управления версиями, утверждениями (при необходимости) и возможностью отката. Если вы не можете объяснить, почему объем производства изменился, вы не сможете им управлять.

Выходные артефакты:

• Процесс контроля изменений
• Требования к версии/аудиторскому журналу
• План отката

Превращение ответов в требования (не превращая это в бюрократию)

Если вы правильно ответите на эти 20 вопросов, вы заметите кое-что обнадеживающее: вы не создаете гору документов. Вы вносите ясность там, где обычно скрывается двусмысленность.

Самый практичный способ уловить это — каждый раз использовать единый формат спецификации. Вот почему я разделил копирование/вставку Шаблон спецификации требований к AI в загружаемый PDF-файл. Свяжите его со своей статьей, прикрепите к своему эпику/рассказу и рассматривайте любой оставшийся без ответа раздел как явный элемент открытия «TBD», а не невысказанное предположение.

А если вам нужна быстрая версия для семинаров, PDF-файл с контрольным списком можно распечатать или вставить в заметки к совещанию:

Практическое практическое правило «готовности к сборке»

Вам не нужны точные ответы на каждый вопрос, чтобы начать создавать прототипы. Но вам нужно знать, что вы откладываете, и вам необходимо договориться о том, что должно быть правдой до начала производства (ограждения, набор тестов, мониторинг и утверждение).

Если команда не может достаточно четко ответить хотя бы на 15 из 20 вопросов, следующим шагом будет не «начинать программировать». Это открытие, потому что вам не хватает не деталей реализации. Это определение.

---

Автор: Морган Мастерс, бизнес-аналитик, Modern Analyst Media LLC

Морган Мастерс Бизнес-аналитик и штатный писатель в ModernAnalyst.comведущее сообщество и ресурсный портал для бизнес-аналитиков. Ресурсы бизнес-анализа, такие как статьи, блоги, шаблоны, форумы, книги, а также процветающий сообщество бизнес-аналитиков можно найти по адресу http://www.ModernAnalyst.com