Искусственный интеллект принимает важные решения в области здравоохранения. Шериф – МВД.

В отличие от медицинских устройств или лекарств, программное обеспечение ИИ меняется. Вместо того, чтобы выдавать единовременное одобрение, FDA хочет постоянно отслеживать продукты искусственного интеллекта, чего оно никогда не делало активно.

Президент Джо Байден в октябре пообещал скоординированную и быструю реакцию своих ведомств для обеспечения безопасности и эффективности ИИ. Но у регулирующих органов, таких как FDA, нет ресурсов, необходимых для контроля над технологиями, которые по определению постоянно меняются.

«Нам понадобится еще одно удвоение размера, и, насколько мне известно, налогоплательщики не очень заинтересованы в этом», — заявил комиссар FDA Роберт Калифф на конференции в январе, а затем подтвердил эту точку зрения на недавней встрече заинтересованных сторон FDA.

Калифф откровенно рассказал о проблемах FDA. Оценка ИИ, поскольку он постоянно учится и может работать по-разному в зависимости от места проведения, — это монументальная задача, не вписывающаяся в существующую парадигму его агентства. Когда FDA одобряет лекарства и медицинские устройства, ему не нужно следить за тем, как они развиваются.

И проблема FDA выходит за рамки корректировки своего подхода к регулированию или найма большего количества сотрудников. Новый репортаж от
Счетная палата правительстванаблюдательный орган Конгресса, заявил, что агентство хочет больше полномочий — запрашивать данные о производительности ИИ и устанавливать ограничения для алгоритмов более конкретными способами, чем позволяет его традиционная система оценки рисков для лекарств и медицинских устройств, заявили в GAO.

Учитывая, что Конгресс едва приступил к рассмотрению вопроса, а тем более к достижению консенсуса по регулированию ИИ, это может занять некоторое время.

Конгресс традиционно не желает расширять полномочия FDA. И до сих пор FDA не задавало этот вопрос.

Оно предложило производителям медицинского оборудования руководство по безопасному внедрению искусственного интеллекта, что вызвало негативную реакцию со стороны технологических компаний, которые утверждают, что агентство переборщило, хотя с юридической точки зрения это руководство не является обязательным.

В то же время некоторые эксперты в области искусственного интеллекта в академических кругах и промышленности говорят, что FDA недостаточно заботится о тех полномочиях, которые у него уже есть.

Объем полномочий

Достижения в области искусственного интеллекта создали большие пробелы в том, что регулирует FDA. Например, он не занимается анализом таких инструментов, как чат-боты, и не имеет полномочий над системами, которые обобщают записи врачей и выполняют другие важные административные задачи.

FDA регулирует инструменты искусственного интеллекта первого поколения так же, как и медицинские устройства, и 14 месяцев назад Конгресс предоставил агентству полномочия разрешать производителям устройств, некоторые из которых включают в себя ранние версии искусственного интеллекта, внедрять заранее запланированные обновления без необходимости повторно подавать заявку на получение разрешения.

Но объем полномочий FDA в отношении ИИ не определен.

Коалиция фирм подала петицию в FDA, обвинив агентство в превышении своих полномочий, когда оно выпустило руководство на 2022 год, в котором говорится, что производители искусственного интеллекта, предлагающие срочные рекомендации и диагнозы, должны получить разрешение FDA. Несмотря на то, что рекомендации не имеют обязательной юридической силы, компании обычно считают, что они обязаны их соблюдать.

Общество информации и систем управления здравоохранением, торговая группа, представляющая компании, занимающиеся технологиями здравоохранения,
также выразил недоумение относительно объема полномочий FDA и того, как полномочия по регулированию ИИ распределяются между ним и другими агентствами Министерства здравоохранения и социальных служб, такими как Управление национального координатора по информационным технологиям здравоохранения. В декабре этот офис установил правила, требующие большей прозрачности в отношении систем искусственного интеллекта.

«С точки зрения отрасли, без какой-либо ясности со стороны HHS, люди не знают, к кому обратиться», — сказал Колин Ром, бывший старший советник тогдашнего комиссара FDA Стивена Хана, который сейчас возглавляет политику здравоохранения в венчурной фирме Andreessen Horowitz.

Между тем, FDA сообщило GAO, что для активного отслеживания эффективности алгоритмов с течением времени ему необходимы новые полномочия Конгресса для сбора данных о производительности.

Агентство также заявило, что хочет, чтобы новые полномочия создавали конкретные меры защиты для отдельных алгоритмов, а не использовали существующие классификации медицинских устройств для определения средств контроля.

FDA планирует сообщить о своих потребностях Конгрессу.

Надзор передан на аутсорсинг

Но это по-прежнему оставляет его в долгу перед застрявшим в тупике Капитолийским холмом.

В результате Калифф и некоторые представители отрасли предложили другую идею: создание государственно-частных лабораторий, вероятно, в крупных университетах или академических медицинских центрах, которые могли бы проверять и контролировать искусственный интеллект в здравоохранении.

«Нам необходимо создать сообщество организаций, которые будут проводить оценки таким образом, чтобы обеспечить сертификацию алгоритмов, действительно приносящих пользу, а не вред», — заявил Калифф на выставке бытовой электроники в прошлом месяце.

Идея также имеет некоторую поддержку в Конгрессе. Сен. Джон Хикенлупер (Д-Колорадо) призвал квалифицированные третьи стороны провести аудит передового искусственного интеллекта. В частности, он думает о генеративном искусственном интеллекте, таком как ChatGPT, который имитирует человеческий интеллект, хотя это та же система надзора, которую предложил Калифф.

Как отмечают некоторые эксперты по ИИ, у этого подхода могут быть недостатки, поскольку ИИ тестировался в крупном университетском кампусе.
может тоже не сработать в небольшой сельской больнице.

«Как практикующий врач, вы знаете, что разные среды различны», — сказал сенаторам на слушаниях Финансового комитета по искусственному интеллекту в здравоохранении в этом месяце Марк Сендак, руководитель отдела здравоохранения и обработки данных в Институте инноваций в здравоохранении при Университете Дьюка. «Каждая организация здравоохранения должна иметь возможность управлять ИИ на местном уровне».

В январе Микки Трипати, национальный координатор по информационным технологиям здравоохранения, и Трой Тазбаз, директор FDA по цифровому здравоохранению,
написал в Журнал Американской медицинской ассоциации сообщил, что лабораториям по обеспечению качества придется принять эту проблему во внимание.

В статье, соавтором которой выступили исследователи из Стэнфордского медицинского университета, Университета Джонса Хопкинса и клиники Мэйо, содержится призыв к небольшому количеству пилотных лабораторий, которые возглавят разработку систем проверки.

Но тот факт, что сотрудничество между регулирующими органами, крупными университетами и поставщиками медицинских услуг не успокоило мелких игроков, которые беспокоятся о конфликте интересов, если пилотными лабораториями являются организации, которые также создают свои собственные системы искусственного интеллекта или сотрудничают с технологическими фирмами.

Айерс считает, что FDA должно проводить проверку ИИ в своих собственных стенах, и что производители систем ИИ должны как минимум продемонстрировать, что они улучшают результаты лечения пациентов, независимо от того, кто осуществляет надзор.

Он отметил неспособность системы искусственного интеллекта компании Epic, занимающейся электронными медицинскими картами, обнаружить сепсис, иногда фатальную реакцию на инфекцию, о которой ускользнули регулирующие органы. С тех пор компания пересмотрела свой алгоритм, и представитель FDA заявил, что она не раскрывает информацию о связях с конкретными фирмами.

Но этот инцидент заставил многих представителей сферы здравоохранения и технологий почувствовать, что агентство неэффективно использует свои нынешние полномочия.

«Они должны следить за этим», — сказал Айерс.