Могут ли правительство и промышленность решить проблему расовой предвзятости в сфере ИИ?

Перспективы искусственного интеллекта в здравоохранении огромны: алгоритмы способны находить ответы на важные вопросы в больших данных, а автоматизация помогает врачам во многих других отношениях.

С другой стороны, по данным Управления по гражданским правам HHS, существуют «примеры за примерами» моделей искусственного интеллекта и машинного обучения, обученных на плохих или предвзятых данных и приводящих к дискриминации, которая может сделать их неэффективными или даже небезопасными для пациентов.

Федеральное правительство и ИТ-индустрия здравоохранения заинтересованы в том, чтобы решить проблему предвзятости ИИ и доказать, что его можно безопасно использовать. Но смогут ли они «сделать все правильно»?

Вот в чем вопрос модератор Дэн Горенштейн, ведущий подкаста Компромиссы– спросили в прошлую пятницу на ежегодном собрании офиса Национального координатора по информационным технологиям здравоохранения. По его словам, ответ на этот вопрос является обязательным.

Хотя искоренение расовой предвзятости в алгоритмах все еще остается неопределенной территорией, правительство предпринимает действия за действиями в отношении ИИ, начиная с Обещания этики в здравоохранении ИИ организован Белым домом в соответствии с рядом нормативных требований, таких как Новые требования ONC к прозрачности алгоритмов искусственного интеллекта.

Федеральные агентства также активно участвуют в отраслевых коалициях и формируют целевые группы для изучения использования аналитики, поддержки принятия клинических решений и машинного обучения в сфере здравоохранения.

FDA устанавливает «правила дорожного движения»

Требуется много времени и денег, чтобы продемонстрировать эффективность в нескольких подгруппах и получить продукт ИИ через Управление по контролю за продуктами и лекарствами, что может расстроить разработчиков.

Но, как и строго контролируемые процессы банковской сертификации, которые должна пройти каждая финансовая компания, сказал Трой Тазбаз, директор по цифровому здравоохранению FDA, правительство вместе с отраслью здравоохранения должно разработать аналогичный подход к искусственному интеллекту.

«Правительство не может регулировать это в одиночку, потому что оно движется такими темпами, которые требуют очень, очень четкого взаимодействия между государственным и частным сектором», – сказал он.

Тазбаз сообщил, что правительство и промышленность работают над согласованием ряда задач, таких как контроль безопасности ИИ и управление жизненным циклом продукта.

Отвечая на вопрос, как FDA может улучшить выпуск продуктов, Сучи Сария, основатель, генеральный директор и главный научный сотрудник Bayesian Health и директор-основатель по исследованиям и технической стратегии в Центре инженерных разработок в здравоохранении Мэлоуна при Университете Джонса Хопкинса, сказала, что ценит строгую проверку. процессы, потому что они делают продукты искусственного интеллекта лучше.

Однако она хочет сократить сроки одобрения FDA до двух-трех месяцев и считает, что это можно сделать без ущерба для качества.

Тазбаз признал, что, хотя есть процедурные улучшения, которые можно было бы внести (одним из возможных соображений являются первоначальные сторонние аудиторы), на самом деле невозможно определить сроки.

«Не существует единого процесса, подходящего для всех», – сказал он.

Тазбаз добавил, что, хотя FDA настроено оптимистично и воодушевлено тем, как ИИ может решить столько проблем в здравоохранении, риски, связанные с интеграцией продуктов ИИ в больницу, слишком велики, чтобы не быть максимально прагматичным.

Алгоритмы подвержены смещению данных, поэтому, когда производственной средой является система здравоохранения, необходимо поддерживать дисциплину.

«Если вы проектируете что-то, основываясь на критичности отрасли, для которой вы разрабатываете, ваши процессы, ваша дисциплина разработки должны соответствовать этой критичности», — сказал он.

Тазбаз заявил, что правительство и отрасль должны быть согласованы, исходя из самых больших потребностей в том, где технологии могут быть использованы для решения проблем и оттуда «стимулировать дисциплину».

«Мы должны быть открытыми и честными в отношении того, с чего мы начинаем», – сказал он.

Когда существует операционная дисциплина, «тогда вы можете расставить приоритеты, где и в каком порядке вы хотите интегрировать эту технологию», — пояснил он.

Сария отметила, что план ИИ За созданием Коалиции по искусственному интеллекту в здравоохранении последовала работа по созданию лабораторий по обеспечению качества для создания и ускорения доставки большего количества продуктов в реальный мир.

Знание «полного контекста»

Рикки Саху, основатель GenHealth.ai и 1up.health, спросил Тазбаза и Сарию, что они думают о том, как действовать предписывающе в отношении того, когда модель ИИ имеет предвзятость и когда она решает проблему, основанную на определенной этнической принадлежности.

«Отделить расовые предубеждения от лежащих в основе демографии и предрасположенностей различных рас и людей на самом деле очень сложно», — сказал он.

Что необходимо сделать, так это «интегрировать множество ноу-хау и контекста, выходящего далеко за рамки данных» – медицинских знаний о популяции пациентов, передовой практики, стандартов медицинской помощи и т. д., – ответила Сария.

«И это еще одна причина, почему, когда мы создаем решения, они должны быть близки к любому мониторингу, любой настройке, любые рассуждения действительно должны быть близки к решению», — сказала она.

«Мы должны знать весь контекст, чтобы иметь возможность рассуждать об этом».

Статистики переводят документы

Имея 31 исходный атрибут, ONC стремится отразить категории искусственного интеллекта в разбивке этикеток продуктов, несмотря на отсутствие консенсуса в отрасли относительно наилучшего способа представления этих категорий.

Функциональность Маркировка пищевой ценности AI «Должно быть так, чтобы клиент, скажем, организация-поставщик, клиент Oracle, мог это заполнить», — объяснил национальный координатор по информационным технологиям в сфере здравоохранения Микки Трипати.

По его словам, ONC не дает рекомендаций относительно того, использует ли организация ИИ или нет.

«Мы говорим: предоставьте эту информацию организации-поставщику, и пусть они принимают решение», — сказал Трипати, отметив, что информация должна быть доступна руководящему совету, но не обязательно, чтобы она была доступна непосредственному пользователю.

«Мы начинаем с функционального подхода к сертификации, а затем, когда отрасль начинает использовать более стандартизированный способ ее проведения, мы превращаем его в конкретный технический стандарт».

Oracle, например, разрабатывает «маркировку питания» ИИ и рассматривает, как продемонстрировать справедливость в рамках разработки сертификации ONC.

Работая в партнерстве с промышленностью, ONC может прийти к консенсусу, который продвинет индустрию искусственного интеллекта вперед.

«Лучшие стандарты — это те, которые исходят снизу вверх», — сказал Трипати.

Горенштейн спросил доктора Джеймса Эллзи, федерального вице-президента, руководителя здравоохранения и лидера рынка Oracle Health, чего врачи хотят от этикетки пищевой ценности.

«Что-то, что я могу переварить за секунды», — сказал он.

Эллзи объяснил, что, поскольку у пациентов так мало времени для обсуждения и медицинского осмотра, «может остаться всего пять минут, чтобы понять, что нам следует делать в дальнейшем».

«У меня нет времени разбираться и читать длинный рассказ об этой популяции. Мне нужно, чтобы вы действительно сказали мне, основываясь на том, что вы видите, какой у меня пациент, и исходя из этого, продуктивность 97% относится к вашему пациенту и вот что вам следует сделать», — сказал он.

Расплата за ИИ в сфере здравоохранения?

Пандемия COVID-19 высветила кризис в стандартах медицинской помощи, сказала Дженни Ма, старший советник Управления по гражданским правам HHS.

«Мы увидели, в частности, невероятный всплеск дискриминации по возрасту и дискриминации по инвалидности, когда очень скудные ресурсы распределялись несправедливо и дискриминационным образом», – сказала она.

«Было очень поразительно увидеть воочию, насколько плохо оснащен не только Дьюк, но и многие системы здравоохранения в стране для обслуживания маргинализованных групп населения с низкими доходами», — добавил доктор Марк Сендак из Института инноваций в здравоохранении Дьюка.

OCR, хотя и является правоохранительным органом, не предпринимал карательных мер во время чрезвычайной ситуации в области общественного здравоохранения, отметил Ма.

«Мы работали со штатами, чтобы выяснить, как разработать справедливую политику, не допускающую дискриминации, а затем выпустили соответствующие рекомендации», – сказала она.

Однако в OCR «мы видим все виды дискриминации, происходящие в сфере ИИ и в других местах», — сказала она.

Что он сказал Раздел 1557 Закона о доступном медицинском обслуживании Закон о недискриминации не предназначен для того, чтобы быть высеченным в камне; предполагается создать дополнительные правила, необходимые для борьбы с дискриминацией.

По ее словам, OCR получило 50 000 комментариев к предлагаемым изменениям раздела 1557, которые все еще находятся на рассмотрении.

Сендак сказал, что обеспечение недискриминации в ИИ является разумным.

«На самом деле я очень рад, что это происходит и что есть такое правоприменение», – сказал он.

В составе Duke's Партнерство в области искусственного интеллекта в сфере здравоохраненияСендак сказал, что он лично провел большую часть из 90 интервью в системе здравоохранения.

«Я спрашивал людей, как вы оцениваете предвзятость или неравенство? И ответы у всех были разные», — сказал он.

Когда в алгоритме обнаруживается предвзятость, это «вынуждает вести очень неудобный внутренний диалог с руководителями системы здравоохранения, чтобы понять, что содержится в данных, и причина, по которой это присутствует в данных, заключается в том, что это произошло на практике», — сказал он.

«Во многих отношениях решение этих вопросов заставляет признать, что, я думаю, последствия выходят за рамки ИИ».

Если FDA смотрит на «ингредиенты» ИИ разработчиков, а ONC «делает этот список ингредиентов доступным для больниц и поставщиков медицинских услуг, то OCR пытается сказать: «Эй, когда вы берете этот продукт с полки и смотрите на него». в этом списке, вы также являетесь активным участником», — сказала Ма.

Сендак сказал, что одной из его самых больших проблем является необходимость в технической помощи, отметив, что нескольким организациям с меньшими ресурсами пришлось выйти из Партнерства по искусственному интеллекту в сфере здравоохранения, потому что они не могли найти время для собеседований или участия в семинарах.

«Нравится вам это или нет, но системы здравоохранения, которым будет труднее всего оценить потенциал предвзятости или дискриминации, имеют самые низкие ресурсы», — сказал он.

«Они, скорее всего, будут зависеть от внешних закупок при внедрении ИИ», — добавил он. «И они, скорее всего, окажутся на мине, о которой даже не подозревают.

«Эти правила должны сопровождаться поддержкой организаций здравоохранения на местах», — сказал Сендак под аплодисменты.

«Есть отдельные поставщики услуг, которые могут использовать эту технологию, не зная, что в нее заложено, и попасться на жалобы своих пациентов», — признал Ма.

«Мы абсолютно готовы работать с этими поставщиками», но OCR будет следить за тем, чтобы поставщики надлежащим образом обучали персонал предвзятости в области ИИ, играли активную роль во внедрении ИИ, а также создавали и поддерживали механизмы аудита.

По словам Ма, партнерство в области искусственного интеллекта может выглядеть иначе в ближайшие год или два.

«Я думаю, что во всей экосистеме существует согласованность, поскольку регулирующие и регулируемые органы продолжают определять, как мы избегаем предвзятости и дискриминации», — сказала она.

Андреа Фокс — старший редактор журнала Healthcare IT News.
Электронная почта: [email protected]
Healthcare IT News — издание HIMSS Media.