Здравоохранение должно установить барьеры вокруг ИИ для обеспечения прозрачности и безопасности

По данным исследования, четверо из 10 пациентов чувствуют неявную предвзятость со стороны своих врачей. Исследование MITRE-Harris об опыте пациентов. В дополнение к тому, что пациенты очень чувствительны к предвзятости провайдера, использование инструментов ИИ и моделей машинного обучения, как было показано, также приводит к перекосу в сторону расовой предвзятости.

В соответствующей заметке недавнее исследование показало 60% американцев было бы неудобно, если бы поставщики медицинских услуг полагались на ИИ. Но из-за нехватки поставщиков медицинских услуг, сокращения возмещения расходов и увеличения требований пациентов со временем у поставщиков может не оказаться иного выбора, кроме как обратиться к инструментам ИИ.

Медицинские ИТ-новости встретились с Жан-Клодом Сагбини, экспертом по искусственному интеллекту и главным техническим директором Lumeris, компании, специализирующейся на технологиях и услугах по уходу, чтобы обсудить эти опасения, связанные с ИИ в здравоохранении – и что с ними могут сделать ИТ-руководители и медицинские работники организаций-поставщиков.

В. Как ИТ-директора медицинских организаций и другие ИТ-руководители здравоохранения могут бороться со скрытой предвзятостью в отношении искусственного интеллекта, поскольку популярность систем ИИ стремительно растет?

А. Когда мы говорим об ИИ, мы часто используем такие слова, как «обучение» и «машинное обучение». Это связано с тем, что модели ИИ в основном обучаются на данных, сгенерированных человеком, и поэтому они изучают наши человеческие предубеждения. Эти предубеждения представляют собой серьезную проблему для ИИ, и они особенно важны в сфере здравоохранения, где на карту поставлено здоровье пациента и где их присутствие будет продолжать распространять несправедливость в отношении здравоохранения.

Чтобы бороться с этим, ИТ-руководители здравоохранения должны лучше понимать модели ИИ, которые встроены в решения, которые они внедряют. Возможно, что еще более важно, прежде чем внедрять какие-либо новые технологии ИИ, лидеры должны быть уверены, что поставщики этих решений осознают вред, который может принести предвзятость ИИ, и соответственно разработали свои модели и инструменты, чтобы избежать этого.

Это может варьироваться от обеспечения беспристрастности и разнообразия исходных обучающих данных или применения методов преобразования к выходным данным для компенсации неразрешимых смещений в обучающих данных.

Например, в Lumeris мы используем комплексный подход к борьбе с предвзятостью в ИИ. Во-первых, мы активно изучаем и адаптируемся к различиям в состоянии здоровья, представленным в исходных данных, в рамках нашей приверженности справедливости и равноправию в здравоохранении. Этот подход включает в себя анализ данных медицинского обучения на предмет демографических моделей и корректировку наших моделей, чтобы гарантировать, что они несправедливо не повлияют на какие-либо конкретные группы населения.

Во-вторых, мы обучаем наши модели на более разнообразных наборах данных, чтобы убедиться, что они репрезентативны для групп населения, которые они обслуживают. Это включает в себя использование более полных наборов данных, которые представляют более широкий диапазон демографических данных пациентов, состояния здоровья и условий оказания помощи.

Наконец, мы встраиваем в наши модели нетрадиционные функции здравоохранения, такие как социальные детерминанты данных о здоровье, тем самым гарантируя, что прогностические модели и оценки риска учитывают уникальные социально-экономические условия пациентов. Например, два пациента с очень похожими клиническими проявлениями могут быть направлены на разные вмешательства для получения оптимальных результатов, если мы включим данные SDOH в модели ИИ.

Мы также используем прозрачный подход к разработке и развертыванию наших моделей ИИ, учитываем отзывы пользователей и применяем человеческий контроль, чтобы наши рекомендации по ИИ соответствовали передовым клиническим практикам.

Борьба с неявной предвзятостью в ИИ требует комплексного подхода, который учитывает весь жизненный цикл разработки ИИ и не может быть запоздалым. Это ключ к истинному продвижению справедливости и равноправия в сфере ИИ в здравоохранении.

В. Как системам здравоохранения удается найти баланс между пациентами, не желающими, чтобы их врачи полагались на ИИ, и перегруженными врачами, которые обращаются за помощью к автоматизации?

А. Сначала давайте рассмотрим два факта. Факт № 1 заключается в том, что в промежутке времени между пробуждением утром и встречей друг с другом во время посещения офиса есть вероятность, что и пациент, и врач уже использовали ИИ несколько раз, например, спрашивая Alexa о погоде, полагаясь на устройство Nest для контроля температуры, карты Google для оптимального направления и так далее. ИИ уже вносит свой вклад во многие аспекты нашей жизни и стал неизбежным.

Факт № 2 заключается в том, что мы идем к дефициту 10 миллионов клиницистов по всему миру к 2030 году, по данным Всемирной организации здравоохранения. Использование ИИ для масштабирования возможностей врачей и уменьшения катастрофических последствий этой нехватки больше не является обязательным.

Я прекрасно понимаю, что пациенты обеспокоены, и это правильно. Но я призываю нас рассмотреть возможность использования ИИ в уходе за пациентами, а не пациентов, «лечащихся» с помощью инструментов ИИ, что, как я полагаю, беспокоит большинство людей.

В последнее время этот сценарий сильно раздувался, но дело в том, что механизмы ИИ не заменят врачей в ближайшее время, а с новыми технологиями, такими как генеративный ИИ, у нас есть замечательная возможность обеспечить столь необходимый масштаб для пользу как пациента, так и врача. Человеческие знания и опыт остаются важнейшими компонентами здравоохранения.

Нахождение баланса между пациентами, не желающими лечиться с помощью ИИ, и перегруженными врачами, обращающимися за помощью к системам ИИ, является деликатной проблемой. Пациенты могут быть обеспокоены тем, что их лечение передается машине, в то время как врачи могут чувствовать себя перегруженными объемом данных, которые им необходимо просмотреть для принятия обоснованных решений.

Ключ в образовании. Многие заголовки в новостях и в Интернете создаются для катастрофизации и получения кликов. Избегая этих вводящих в заблуждение статей и сосредотачиваясь на реальном опыте и примерах использования ИИ в здравоохранении, пациенты могут увидеть, как ИИ может дополнить знания врача, ускорить доступ к информации и обнаружить закономерности, скрытые в данных и которые могут быть легко упущены даже лучший из врачей.

Кроме того, сосредоточив внимание на фактах, а не на заголовках, мы также можем объяснить, что этот инструмент, а ИИ — это всего лишь инструмент, при правильной интеграции в рабочие процессы может расширить возможности врача по оказанию оптимальной помощи, сохраняя при этом роль врача. условия взаимодействия и ответственность перед пациентом. ИИ есть и может оставаться ценным инструментом в здравоохранении, предоставляя врачам информацию и рекомендации для улучшения результатов лечения пациентов и снижения затрат.

Лично я считаю, что лучший способ найти баланс между потребностями пациента и врача в области ИИ — это обеспечить использование ИИ в качестве дополнительного инструмента для поддержки принятия клинических решений, а не замены человеческого опыта.

Например, технология Lumeris, основанная на искусственном интеллекте, а также на других технологиях, предназначена для предоставления врачам важной информации и действенных рекомендаций, которые они могут использовать для принятия решений о лечении, а также дать им возможность сделать окончательный выбор.

Кроме того, мы считаем важным вовлекать пациентов в обсуждение разработки и развертывания систем искусственного интеллекта, гарантируя, что их проблемы и предпочтения будут приняты во внимание. Пациенты могут с большей готовностью принять использование ИИ, если они понимают преимущества, которые он может принести в их лечении.

В конечном счете, важно помнить, что ИИ — это не серебряная пуля для здравоохранения, а скорее инструмент, который может помочь врачам принимать более обоснованные решения, а также экспоненциально масштабировать и преобразовывать процессы здравоохранения, особенно с некоторыми из новых базовых моделей, таких как, например, GPT.

Обеспечивая надлежащее и прозрачное использование ИИ и вовлекая пациентов в процесс, организации здравоохранения могут найти баланс между предпочтениями пациентов и потребностями перегруженных врачей.

В. Чего следует опасаться руководителям поставщиков медицинских услуг и врачам по мере распространения все большего числа технологий искусственного интеллекта?

А. По данным последний отчет об индексе ИИ, опубликованный Стэнфордомно у нас как у лидеров здравоохранения есть дилемма.

Восторг от новых возможностей побуждает нас действовать быстро, однако новизна, а иногда и «черный ящик» технологии вызывают тревогу и побуждают нас замедлиться и действовать осторожно. Успех зависит от нашей способности найти баланс между ускорением использования и внедрением новых возможностей на основе ИИ, обеспечивая при этом максимальную безопасность и надежность внедрения.

ИИ опирается на высококачественные данные для предоставления точных сведений и рекомендаций. Организации-поставщики должны гарантировать, что данные, используемые для обучения моделей ИИ, являются полными, точными и репрезентативными для групп пациентов, которых они обслуживают.

Они также должны внимательно следить за постоянным качеством и целостностью своих данных, чтобы ИИ предоставлял наиболее точную и актуальную информацию. Это также относится к использованию предварительно обученных больших языковых моделей, где цель качества и целостности остается, даже если подход к проверке является новым.

Как я уже упоминал, предвзятость в ИИ может иметь серьезные последствия в здравоохранении, включая увековечивание различий в состоянии здоровья и снижение эффективности принятия клинических решений. Организации-поставщики должны с осторожностью относиться к моделям ИИ, которые не компенсируют должным образом систематические ошибки.

Поскольку ИИ становится все более распространенным в здравоохранении, очень важно, чтобы организации-поставщики оставались прозрачными в отношении того, как они используют ИИ. Кроме того, они должны обеспечить надзор и ответственность человека за использование ИИ в уходе за пациентами, чтобы ошибки или ошибки не остались незамеченными.

ИИ поднимает множество этических соображений в здравоохранении, включая вопросы, касающиеся конфиденциальности, владения данными и информированного согласия. Организации-поставщики должны помнить об этих этических соображениях и обеспечивать, чтобы их использование ИИ, как прямо, так и косвенно через поставщиков, соответствовало их этическим принципам и ценностям.

ИИ должен оставаться и развиваться в здравоохранении и за его пределами, особенно благодаря новым и захватывающим достижениям в области генеративного ИИ и больших языковых моделей. Остановить эту эволюцию практически невозможно, и это неразумно, поскольку после нескольких десятилетий быстрого внедрения технологий в здравоохранение нам еще предстоит разработать решения, которые сокращают нагрузку на клиницистов и обеспечивают более качественную помощь.

Наоборот, большинство технологий добавили новые задачи и дополнительную работу для провайдеров. С ИИ, а точнее с появлением генеративного ИИ, мы видим большие возможности, чтобы, наконец, добиться значительных успехов в достижении этой неуловимой цели.

Тем не менее, по причинам, которые я перечислил, мы должны установить барьеры для прозрачности, предвзятости и безопасности. Достаточно интересно, что, если их хорошо продумать, именно эти ограждения обеспечат ускоренный путь к принятию, удерживая нас от неудач, которые могут вызвать контрэволюционную чрезмерную реакцию на внедрение и использование ИИ.

Следите за репортажами Билла о HIT на LinkedIn: Билл Сивики
Напишите ему: [email protected]
Healthcare IT News — это издание HIMSS Media.