ИИ в медицине должен противодействовать предвзятости, а не укреплять ее еще больше: выстрелы

Врачи, специалисты по данным и руководители больниц считают, что искусственный интеллект может помочь решить проблемы, которые до сих пор были неразрешимыми. ИИ уже обещает помочь врачам диагностировать рак молочной железы, читать рентгеновские снимки и прогнозировать, какие пациенты нуждаются в большем уходе. Но по мере роста волнения возникает и риск: эти новые мощные инструменты могут увековечить давнее расовое неравенство в том, как оказывается помощь.

«Если вы все испортите, вы действительно можете навредить людям, укоренив системный расизм в системе здравоохранения», — сказал доктор. Марк Сендакведущий специалист по данным в Институте инноваций в области здравоохранения Дьюка.

Эти новые инструменты здравоохранения часто строятся с использованием машинное обучение, подмножество ИИ, в котором алгоритмы обучаются находить закономерности в больших наборах данных, таких как платежная информация и результаты тестов. Эти закономерности могут предсказывать будущие результаты, например вероятность развития сепсиса у пациента. Эти алгоритмы могут постоянно контролировать каждого пациента в больнице одновременно, предупреждая клиницистов о потенциальных рисках, которые в противном случае переутомленный персонал мог бы не заметить.

Однако данные, на которых построены эти алгоритмы, часто отражают неравенство и предвзятость, которые уже давно преследуют здравоохранение США. Исследования показывают, что клиницисты часто обеспечивают различный уход белым пациентам и цветным пациентам. Эти различия в том, как лечат пациентов, увековечиваются в данных, которые затем используются для обучения алгоритмов. Цветные люди также часто недостаточно представлен в этих обучающих наборах данных.

«Когда вы учитесь на прошлом, вы копируете прошлое. Вы еще больше укрепляете прошлое», — сказал Сендак. «Потому что вы берете существующее неравенство и относитесь к нему как к стремлению к тому, как должно предоставляться медицинское обслуживание».

Знаменательное исследование 2019 года, опубликованное в журнале Science, показало, что алгоритм используется для предсказания потребности в медицинской помощи для более чем 100 миллионов человек были предвзято относится к чернокожим пациентам. Алгоритм основывался на расходах на здравоохранение для прогнозирования будущих потребностей в области здравоохранения. Но при меньшем доступе к медицинской помощи исторически черные пациенты часто тратили меньше. В результате чернокожие пациенты должны были быть намного хуже, чтобы им было рекомендовано дополнительное лечение в соответствии с алгоритмом.

«По сути, вы идете туда, где есть наземные мины», — сказал Сендак о попытках создать клинические инструменты ИИ, используя данные, которые могут содержать предвзятость, «и [if you’re not careful] ваши вещи взорвутся, и это навредит людям».

Проблема искоренения расовой предвзятости

Осенью 2019 года Сендак объединился с врачом педиатрической неотложной помощи доктором С. Эмили Стерретт разработать алгоритм, который поможет предсказать детский сепсис в отделении неотложной помощи Университетской больницы Дьюка.

Сепсис возникает, когда организм слишком остро реагирует на инфекцию и атакует собственные органы. В то время как редко у детей – примерно 75000 ежегодных случаев в США — это предотвратимое состояние приводит к летальному исходу почти для 10% детей. При быстром обнаружении антибиотики эффективно лечат сепсис. Но диагностика затруднена, потому что типичные ранние симптомы — лихорадка, учащенное сердцебиение и высокое количество лейкоцитов — имитируют другие заболевания, включая простуду.

Алгоритм, который мог бы предсказать угрозу сепсиса у детей, изменит правила игры для врачей по всей стране. «Когда на кону стоит жизнь ребенка, очень важно иметь резервную систему, которую ИИ может предложить для поддержки некоторых человеческих ошибок», — сказал Стерретт.

Но новаторское исследование в области науки о предвзятости убедило Сендака и Стерретта в том, что они хотели быть осторожными в своих разработках. Команда потратила месяц на обучение алгоритму выявления сепсиса на основе показателей жизнедеятельности и лабораторных тестов вместо легкодоступных, но часто неполных данных о счетах. Любая корректировка программы в течение первых 18 месяцев разработки запускала тесты контроля качества, чтобы гарантировать, что алгоритм одинаково хорошо обнаруживает сепсис независимо от расы или этнической принадлежности.

Но спустя почти три года их преднамеренных и методичных усилий команда обнаружила, что возможная предвзятость все еще умудрялась проскальзывать. Др. Ганга Муртиглобальный сотрудник программы по инфекционным заболеваниям Герцога, показал исследователям разработчиков, что врачам в Герцоге потребовалось больше времени, чтобы заказать анализы крови для латиноамериканских детей, в конечном итоге диагностированных с сепсисом, чем для белых детей.

«Одна из моих основных гипотез заключалась в том, что врачи относились к заболеваниям белых детей, возможно, более серьезно, чем к заболеваниям латиноамериканских детей», — сказал Мурти. Она также поинтересовалась, не замедляет ли процесс потребность в переводчиках.

«Я был зол на себя. Как мы могли этого не видеть?» — сказал Сендак. «Мы полностью упустили все эти тонкие вещи, которые, если бы хоть одна из них была последовательно верна, могли бы внести предвзятость в алгоритм».

Сендак сказал, что команда упустила из виду эту задержку, потенциально ошибочно обучая свой ИИ тому, что у латиноамериканских детей сепсис развивается медленнее, чем у других детей, а разница во времени может быть фатальной.

Регуляторы обращают внимание

За последние несколько лет больницы и исследователи сформированный национальный коалиции делиться лучшие практики и развивать “игровые книги” для борьбы с предвзятостью. Но есть признаки того, что лишь немногие больницы осознают угрозу справедливости, которую представляет эта новая технология.

Исследователь Пейдж Нонг в прошлом году опросили должностных лиц 13 академических медицинских центров, и только четыре из них заявили, что учитывали расовую предвзятость при разработке или проверке алгоритмов машинного обучения.

«Если бы какой-то руководитель в больнице или системе здравоохранения был лично обеспокоен расовым неравенством, это могло бы повлиять на его отношение к ИИ», — сказал Нонг. «Но не было ничего структурного, на уровне регулирования или политики не было ничего, что требовало бы от них думать или действовать таким образом».

Некоторые эксперты говорят, что из-за отсутствия регулирования этот уголок ИИ немного напоминает «Дикий Запад». Отдельный 2021 расследования обнаружил, что политика Управления по санитарному надзору за качеством пищевых продуктов и медикаментов в отношении расовой предвзятости в ИИ неравномерна, и лишь часть алгоритмов даже включает расовую информацию в общедоступные приложения.

Администрация Байдена за последние 10 месяцев выпустила множество предложений по разработке ограждений для этой новой технологии. FDA говорит, что теперь спрашивает разработчиков описать любые шаги, предпринятые для смягчения предвзятости, и источник данных, лежащих в основе новых алгоритмов.

Офис национального координатора информационных технологий здравоохранения предлагаемые новые правила в апреле это потребует от разработчиков поделиться с клиницистами более полной картиной того, какие данные использовались для построения алгоритмов. Кэтрин Марчесини, директор агентства по вопросам конфиденциальности, описала новые правила как «ярлык питания», который помогает врачам узнать «ингредиенты, используемые для создания алгоритма». Есть надежда, что большая прозрачность поможет поставщикам определить, достаточно ли беспристрастен алгоритм для безопасного использования на пациентах.

Управление по гражданским правам при Министерстве здравоохранения и социальных служб США прошлым летом предложило обновленные правила. которые прямо запрещают клиницистамбольницам и страховщикам от дискриминации «путем использования клинических алгоритмов в [their] принятия решений.” Директор агентства, Мелани Фонтес Райнер, сказала, что, хотя федеральные законы о борьбе с дискриминацией уже запрещают эту деятельность, ее офис хотел «убедиться, что [providers and insurers are] осознавать, что это не просто «Купить продукт с полки, закрыть глаза и использовать его».

Промышленность приветствует — и настороженно относится к новым правилам

Многие эксперты в области искусственного интеллекта и предвзятости приветствуют это новое внимание, но есть и опасения. Несколько ученых и лидеров отрасли заявили, что хотят, чтобы FDA разъясняло в публичных рекомендациях, что именно должны делать разработчики, чтобы доказать, что их инструменты ИИ беспристрастны. Другие хотят, чтобы ONC требовала от разработчиков публиковать «список ингредиентов» своего алгоритма, позволяя независимым исследователям оценивать код на наличие проблем.

Некоторый больницы и ученые опасаюсь, что эти предложения — особенно явный запрет HHS на использование дискриминационного ИИ — могут иметь неприятные последствия. «Чего мы не хотим, так это того, чтобы правило было настолько пугающим, чтобы врачи говорили: «Хорошо, я просто не буду использовать ИИ в своей практике. Я просто не хочу рисковать», — сказал он. Кармель Шахар, исполнительный директор Центра правовой политики в области здравоохранения Петри-Флома при Гарвардской школе права. Шахар и несколько лидеров отрасли заявили, что без четких указаний больницы с меньшими ресурсами могут столкнуться с трудностями, чтобы оставаться на правильной стороне закона.

Марк Сендак из Duke приветствует новые правила, направленные на устранение предвзятости алгоритмов, «но мы не слышим, как говорят регулирующие органы: «Мы понимаем, какие ресурсы требуются для выявления этих вещей, для мониторинга этих вещей. И мы собираемся сделать так, чтобы инвестиции, чтобы решить эту проблему».

Федеральное правительство инвестировало 35 миллиардов долларов чтобы побудить и помочь врачам и больницам перейти на электронные медицинские карты в начале этого века. Ни одно из предложений регулирующих органов, касающихся ИИ и предвзятости, не предусматривает финансовых стимулов или поддержки.

«Нужно смотреться в зеркало»

Из-за отсутствия дополнительного финансирования и четких нормативных указаний разработчикам ИИ пока приходится решать свои собственные проблемы.

В Университете Дьюка команда немедленно начала новый раунд тестов после того, как обнаружила, что их алгоритм, помогающий предсказать детский сепсис, может быть предвзятым в отношении латиноамериканских пациентов. Потребовалось восемь недель, чтобы окончательно определить, что алгоритм предсказывает сепсис с одинаковой скоростью для всех пациентов. Сендак предполагает, что было слишком мало случаев сепсиса, чтобы латиноамериканские дети могли задержаться в алгоритме.

Сендак сказал, что вывод был скорее отрезвляющим, чем облегченным. «Меня не утешает, что в одном конкретном редком случае нам не пришлось вмешиваться, чтобы предотвратить предвзятость», — сказал он. «Каждый раз, когда вы узнаете о потенциальном недостатке, ответственность лежит на [asking]«Где еще это происходит?»

Сендак планирует создать более разнообразную команду, в которой антропологи, социологи, члены сообщества и пациенты будут работать вместе, чтобы искоренить предвзятость в алгоритмах Дьюка. Но для того, чтобы этот новый класс инструментов приносил больше пользы, чем вреда, Сендак считает, что весь сектор здравоохранения должен решить проблему лежащего в основе расового неравенства.

«Вы должны посмотреть в зеркало», — сказал он. «Это требует, чтобы вы задавали сложные вопросы о себе, о людях, с которыми вы работаете, об организациях, частью которых вы являетесь. Потому что, если вы на самом деле ищете предвзятость в алгоритмах, основной причиной многих предубеждений является неравенство. на попечении».

Эта история происходит из подкаст о политике здравоохранения. Дэн Горенштейн — исполнительный редактор Tradeoffs, а Райан Леви — старший продюсер шоу. Освещение диагностического совершенства Tradeoffs частично поддерживается Фондом Гордона и Бетти Мур.