Управление ИИ должно быть встроено в систему

«Город надежды» создал собственную генеративную платформу искусственного интеллекта, которая за секунды преобразует тысячи страниц медицинских карт пациентов в полезные клинические сводки, экономя врачам часы на просмотре графиков в нерабочее время и ускоряя процесс подбора больных раком для участия в клинических исследованиях. Платформа под названием HopeLLM находится в центре более широкой стратегии искусственного интеллекта, которую Саймон Назарян, исполнительный вице-президент системы и директор по цифровым технологиям и технологиям City of Hope, реализует через национальную сеть онкологических центров организации в Южной Калифорнии, Аризоне, Иллинойсе и Джорджии.

Город надежды, основанный в 1913 году, является одной из крупнейших организаций по исследованию и лечению рака в стране. Его комплексный онкологический центр, назначенный NCI, получил высшую оценку института «Исключительно», а его расположение обеспечивает доступ более чем 86 миллионам американцев. Назарян присоединился к компании в сентябре 2024 года после четырех лет работы в качестве директора по информационным технологиям в Optum Health, и его резюме включает руководящие должности в McKinsey & Company, Kaiser Permanente и Sony Pictures Entertainment. Этот межотраслевой опыт формирует его убежденность в том, что технологии, ориентированные на пациентов в здравоохранении, должны соответствовать тем же ожиданиям потребителей, которые установлены в сфере развлечений и розничной торговли.

Подкаст: Играть в новом окне | Скачать (Продолжительность: 43:08 — 39,5 МБ)

Подписаться: Apple Подкасты | Спотифай

Искусственный интеллект для онкологии

HopeLLM использует множество коммерческих моделей искусственного интеллекта и моделей с открытым исходным кодом, основанных на собственных данных City of Hope, охватывающих более чем столетний опыт лечения рака и его результаты. Платформа обрабатывает огромный объем документации, которая сопровождает каждого онкологического пациента. Будучи крупным справочным центром, «Город надежды» получает от 2000 до 3000 страниц записей на каждого поступающего пациента. Исторически сложилось так, что по вечерам и выходным врачи часами просматривали эти записи, чтобы подготовиться к приему на следующий день. HopeLLM синтезирует эту информацию в краткие, структурированные сводки, доступные в местах оказания медицинской помощи, сокращая время подготовки на два-три часа на одного пациента.

Платформа также автоматизирует сопоставление клинических исследований в обоих направлениях. Когда пациент прибывает, HopeLLM определяет подходящие исследования на основе геномных данных, социальных детерминант здоровья и истории болезни. Когда начинается новое исследование, система сканирует существующие популяции пациентов, чтобы найти кандидатов. Назарян указал на отраслевые прогнозы о том, что инструменты биомаркеров и подбора пациентов на базе искусственного интеллекта могут улучшить набор участников в клинические исследования до 26%. «Когда пациент приходит к нам, у нас есть возможность выяснить, какие клинические испытания подходят для него и в какой степени», — сказал он. «Мы также можем, если хотим провести клинические испытания, подбирать пациентов для участия в этих испытаниях».

Возможности обработки естественного языка позволяют врачам и исследователям взаимодействовать с HopeLLM непосредственно в месте оказания медицинской помощи, запрашивая у системы конкретные клинические или исследовательские данные. Большая часть входящих данных о пациентах поступает в неструктурированной форме, включая заметки, изображения и записи в различных форматах от направляющих поставщиков. HopeLLM обрабатывает эти неструктурированные данные, структурирует их для алгоритмического использования и объединяет их с существующими структурированными данными организации. Платформа использует основанные на стандартах протоколы передачи информации, включая FHIR и HL7, но основное внимание по-прежнему уделяется максимальному упрощению процесса для пациентов и направляющих поставщиков услуг.

Управление, построенное изнутри наружу

Назарян с энтузиазмом относится к управлению ИИ, отвергая идею о том, что его можно наложить на системы ИИ после развертывания. Это должно быть заложено в архитектуру с самого начала. Это означает переход от внешнего надзора к встроенной подотчетности, где логика управления находится внутри самой модели. Это означает, что ИИ должен рассматриваться как участник принятия решений, потому что, если никто не сможет объяснить, кто несет ответственность, когда ИИ ошибается, доверие быстро рушится. И это означает переход от статических политик к тому, что он называет «диалоговым управлением», когда системы искусственного интеллекта отслеживают поведение, смещают флаги и оспаривают небезопасные запросы в режиме реального времени.

«Ответственное управление ИИ не направлено на замедление инноваций», — сказал Назарян. «Речь идет о том, чтобы инновации никогда не выходили за рамки клинической ответственности». Он подчеркнул, что прозрачность в сфере ИИ не может быть чисто философской. Публикация карточек моделей и надежда, что кто-то их прочитает, ни к чему не приведет. Объясненность в момент принятия решения – это то, что укрепляет доверие, даже если результаты не идеальны. В контексте здравоохранения этот принцип имеет особое значение. Ни один алгоритм не имеет морального авторитета. Клинические границы, прослеживаемость и мониторинг систематических ошибок должны функционировать как живые процессы, при этом согласие пациента заложено в дизайн.

Дрейф модели является основной проблемой. По мере того как системы ИИ учатся на новых данных и взаимодействиях, их поведение может отклоняться от статистических свойств и взаимосвязей функций, которым они обучались. Назарян назвал это естественным явлением, требующим постоянного наблюдения. Организации, работающие в нескольких штатах, как, например, «Город надежды», сталкиваются с дополнительными сложностями, связанными с меняющейся нормативно-правовой средой. Каждая юрисдикция по-своему относится к регулированию ИИ, и система управления должна учитывать эту разрозненность, сохраняя при этом последовательные клинические стандарты. Он отметил, что большинство этических ошибок происходят из-за непреднамеренного масштаба. Управление ИИ, по его мнению, больше напоминает технику безопасности, чем соблюдение требований.

Технологический лидер как руководитель бизнеса

Каждые месяц или два технический руководитель совершает клинические обходы с врачами, внимательно изучая опыт пациентов и повседневные реалии оказания медицинской помощи. Назарян рассматривает роль технического руководителя как бизнес-роль, требующую глубокого владения операциями, клиническими рабочими процессами и миссией организации. Успешное внедрение искусственного интеллекта требует партнерства всего высшего руководства. Это означает понимание проблем, которые организация пытается решить, измерение воздействия и управление трансформацией, которая сопровождает любую крупную технологическую инициативу. «Если вы знаете проблему, которую пытаетесь решить, вы уже на полпути», — сказал Назарян. «И теперь вы начинаете работать вместе как организация, чтобы решить эту проблему».

Эволюция от автоматизации к прогнозной аналитике и генеративному и агентному искусственному интеллекту представляет собой фундаментальный сдвиг в том, как функционируют технологические организации. Системы искусственного интеллекта, которые обучаются, отмечают проблемы и осуществляют самоконтроль, требуют нового вида ухода и питания. Назарян сравнил расширяющиеся обязанности ИТ-специалистов с функцией управления персоналом. Агентские системы искусственного интеллекта выполняют работу для организации и требуют такого же надзора, подотчетности и управления производительностью, как и любой другой участник. Внедрение технологии — это всего лишь один этап. Более сложная задача — управлять трансформацией с помощью руководящей команды, охватывающей операции, бизнес-стратегию и технологии. В качестве директора по цифровым технологиям Назарян выполняет весь объем своих полномочий: от стратегии и инфраструктуры до цифровых возможностей и полной ответственности за технологии, которые обеспечивают выполнение миссии «Города надежды».

Убери это

• Создавайте или оценивайте платформы искусственного интеллекта на основе их способности интегрироваться в реальные клинические рабочие процессы.
• С самого начала спроектируйте управление в архитектуре искусственного интеллекта; политики, закодированные в системе, превосходят политики, оставленные для интерпретации после развертывания
• Инвестируйте в структурирование неструктурированных данных как необходимое условие успеха ИИ, особенно в организациях с большим количеством обращений и большими объемами входящей документации.
• Рассматривайте дрейф модели как постоянную оперативную проблему, требующую постоянного мониторинга.
• Технологические лидеры должны уделять время непосредственному пониманию клинических операций посредством регулярного округления и погружения в рабочий процесс.
• Закрепление управления ИИ в результатах и принципах обеспечения безопасности; большинство этических ошибок происходят из-за непреднамеренного масштаба, а не из-за плохих намерений.

Роль, по его мнению, сводится к тому, чтобы быть защитником команды, которая играет на позиции, с нужными талантами, соответствующими правильным приоритетам. «Как технологический лидер в организации, вы несете ответственность за создание видения, стратегии, установку ритма и поддержку игроков по мере продвижения вперед, чтобы обеспечить слаженную работу команды».