Сопоставление степени автономности ИИ с профилем рисков рабочего процесса

В эпоху буйства вокруг ИИ Джон Халамка, доктор медицинских наук, президент Mayo Clinic Platform, отмечает, что за кажущейся «внезапностью» его появления скрывается долгий путь работы. «Это мгновенная революция, на создание которой ушло 50 лет», — сказал он, отметив, что сегодняшние прорывы основаны на десятилетиях прогресса в области вычислений, хранения данных и инструментов в сочетании с резким культурным сдвигом, который последовал за дебютом чат-ботов, ориентированных на потребителя, в конце 2022 года.

Это интервью было проведено в рамках нашего недавно опубликованного Специальный репортаж об ИИ

50-летняя «ночная» смена

По мнению Халамки, нынешний момент стал возможным благодаря трем силам: технологиям, политике и культуре. На технологическом фронте дешевые терафлопс и практически неограниченная память превратили некогда экзотические эксперименты в рутинную инженерную работу. Что касается политики, усилия многих заинтересованных сторон, таких как отраслевые коалиции, теперь предлагают рекомендации о том, где следует использовать ИИ, как его следует проверять и какие меры защиты необходимы. Что касается культуры, он отметил, что после конца 2022 года дискуссии об искусственном интеллекте станут актуальными в советах директоров и клиническом руководстве, что повлечет за собой новые инвестиции и безотлагательность. Практический результат, по его словам, заключается в том, что продукты выпускаются быстро не потому, что команды спешат, а потому, что большая часть фундамента создавалась десятилетиями.

Подкаст: Играть в новом окне | Скачать (Продолжительность: 26:51 — 18,5МБ)

Подписаться: Apple Подкасты | Спотифай

Руководители хотят результатов, а не шумихи

Он сказал, что руководство больниц просит не «дать нам ИИ», а «помочь нам решить бизнес-проблемы». Низкая прибыль, кадровые проблемы и выгорание врачей доминируют в повестке дня; технологии оцениваются по их способности ослабить это давление. «Кто-нибудь из них сказал мне, что им нужен ИИ? Нет». Вместо этого руководители ищут способы повысить точность документации и возмещение затрат, снизить административную нагрузку, чтобы врачи могли работать с максимальной отдачей, а также расширить дефицитные специальные знания за счет расширения на основе моделей. Он отметил, что окружающее прослушивание стало ставкой на многих рынках; системы без заслуживающей доверия программы рискуют отстать от аналогов, которые уже сокращают количество графиков в нерабочее время и улучшают качество банкнот. Объединяющая тема, добавил он, заключается в том, чтобы сопоставить инициативы в области ИИ с заявленными стратегическими целями системы здравоохранения, а не позволять новым инструментам диктовать повестку дня.

Управление, валидация и риски

По мнению Халамки, управление ИИ должно быть специально построено с учетом реалий статистических систем, развернутых в гетерогенных группах населения. Разрешение FDA (для программного обеспечения как медицинского устройства) важно, но само по себе недостаточно. Местная проверка – безопасность, справедливость, соответствие и эффективность в отношении пациентов организации – имеет важное значение. «Должна быть какая-то проверка или квалификация для вашего местного населения», — сказал он. Клиническое внедрение также требует управления изменениями; врачей редко убеждает одна только новизна. Он подчеркнул необходимость доказать, что новые инструменты экономят время, улучшают качество и повышают удовлетворенность пациентов.

Обсуждение рисков выходит за рамки кибербезопасности и касается операционных и клинических последствий решений, основанных на моделях. Он призывает лидеров работать в сообществах практиков — отраслевых консорциумах и доверенных форумах — для обмена методами оценки, оценками предвзятости и подходами к мониторингу после развертывания. Что касается технологических шаблонов, он отличал системы прогнозирования (сопоставление шаблонов на больших когортах) от генеративных систем (выходные данные на основе языка с переменной точностью) и от агентной оркестровки (где системы могут выполнять действия). Он посоветовал калибровать автономию с учетом риска: разрешить автоматизацию рабочих процессов с низкими ставками, требовать присутствия человека в цикле для задач с более высокими ставками и избегать полностью автономного контроля в таких настройках, как дозирование устройств.

Проектирование с учетом гибкости и масштабирование за пределы пилотных проектов

Он советует организациям разрабатывать модульную архитектуру, чтобы они могли заменять компоненты по мере развития поставщиков и технологий. Это означает, что необходимо избегать привязки, отдавать предпочтение уровням API, нейтральным к поставщику, и сохранять облачные стратегии достаточно портативными, чтобы можно было адаптироваться к изменениям. По его словам, основной инженерный принцип заключается в том, чтобы определить рабочие процессы как заменяемые этапы, чтобы неэффективную модель или инструмент можно было удалить без перенастройки предприятия.

При исполнении он предостерег от «пилотита», когда десятки успешных экспериментов останавливаются, потому что они никогда не были предназначены для производства. Он рекомендует поэтапно: начните с одного отдела, расширяйте его до следующего и сознательно масштабируйте — всегда с возможностью паузы — чтобы организация с самого начала понимала, что инициатива должна стать реальной. Четкие критерии расширения или прекращения использования должны быть определены до того, как первый пациент или пользователь подвергнется воздействию инструмента.

Клиническое воздействие уже наступает

По словам Халамки, измеримое клиническое воздействие не является теоретическим или отдаленным. Он описал рабочие процессы, требующие большого количества изображений, такие как эндоскопия и радиология, где системы искусственного интеллекта уже дополняют человеческий обзор, чтобы обнаружить тонкие результаты, которые могут ускользнуть от глаз. В онкологии он указал на планирование лучевой терапии, где оптимизация на основе моделей помогает формировать лучи, нацеленные на опухоли, сохраняя при этом окружающие структуры, дополняя работу физиков-людей. Он представил их как рабочие процессы, дополненные человеком, а не замену клинической оценки.

Параллельно административные варианты использования — пропускная способность цикла доходов, создание документов, прогнозирование цепочки поставок — продолжают привлекать к раннему внедрению, поскольку профиль вреда ниже, а преимущества напрямую переходят на финансовую устойчивость. Сферы повышенного риска, включая поддержку клинических решений или автономию на уровне устройств, будут развиваться медленнее по мере того, как организации приобретут опыт и уверенность.

Убери это

• Свяжите каждое предложение ИИ с определенной стратегической целью (прибыль, доступ, качество, опыт).
• Создайте совет по управлению ИИ, который будет отвечать за прием вариантов использования, локальную проверку, тестирование на предвзятость, мониторинг и вывод из эксплуатации.
• Начните с административных побед с меньшим риском, одновременно наращивая потенциал клинической оценки для приложений с более высокими ставками.
• Проектируйте с возможностью замены: настаивайте на уровнях абстракции, открытых интерфейсах и облачной переносимости, чтобы избежать блокировки.
• Замените «пилотный» планами поэтапного развертывания, включающими четкие критерии масштабирования и отходы от проекта.
• Автономия подходящего размера: автоматизируйте шаги с низким уровнем риска, требуйте участия человека в процессе при среднем риске и запретите автономию там, где вред вероятен.
• Докажите ценность для врачей с помощью показателей качества и экономии времени
• Участвуйте в доверенных отраслевых коалициях для обмена методами оценки рисков, безопасности и справедливости.
• Тщательно отслеживайте оркестровку агентов; предпочитают рекомендации действиям, когда ставки клинические
• Бюджет на мониторинг после запуска и обновление модели как часть общей стоимости владения.

Халамка добавил, что, хотя в ИИ есть некоторая динамика «черного ящика», большая часть ее логична и понятна; что должно дать лидерам утешение. «Это математика, а не магия».