Лазейка FDA в медицинских устройствах может нанести вред пациентам, предупреждает исследование

Врачи и исследователи из Медицинской школы Университета Мэриленда, Института медицинских вычислений UMD и Системы здравоохранения штата Вирджиния в Мэриленде обеспокоены тем, что большие языковые модели, обобщающие клинические данные, могут соответствовать критериям исключения устройств Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США и могут нанести вред пациентам. .

ПОЧЕМУ ЭТО ВАЖНО

Искусственный интеллект, который суммирует клинические записи, лекарства и другие данные пациентов без надзора FDA, скоро достигнет пациентов, заявили врачи и исследователи в новом докладе. смотровая площадка опубликовано в понедельник в сети JAMA.

Они проанализировали окончательное руководство FDA по программному обеспечению для поддержки принятия клинических решений. По словам авторов, агентство интерпретировало это как принятие «критичных ко времени» решений в качестве регулируемой функции устройства, что может включать в себя составление LLM клинического заключения, говорят авторы.

Опубликованное примерно за два месяца до выпуска ChatGPT, исследователи заявили, что руководство «представляет собой непреднамеренную «дорожную карту» того, как LLM могут избежать регулирования FDA».

Генеративный ИИ изменит повседневные клинические задачи. Он заслужил большое внимание благодаря своему обещанию уменьшить выгорание врачей и медсестер, а также повысить эффективность работы здравоохранения, но LLM, которые суммируют клинические записи, лекарства и другие формы данных о пациентах, «могут оказывать важное и непредсказуемое влияние на решения клиницистов». создания”, – сказали исследователи.

Они провели тесты с использованием ChatGPT и анонимных данных записей пациентов, а также изучили результаты обобщения и пришли к выводу, что результаты вызывают вопросы, выходящие за рамки «точность.”

«В клиническом контексте льстивые резюме могут подчеркнуть или иным образом подчеркнуть факты, которые соответствуют уже существовавшим подозрениям врачей, рискуя получить предвзятость подтверждения, которая может увеличить диагностическую ошибку», – сказали они.

«Например, когда было предложено суммировать предыдущие госпитализации гипотетического пациента, резюме варьировались клинически значимым образом, в зависимости от того, были ли опасения по поводу инфаркта миокарда или пневмонии».

Ведущий автор Кэтрин Гудман, эксперт по правовым вопросам кафедры эпидемиологии и общественного здравоохранения Медицинской школы UMD, изучает клинические алгоритмы, а также законы и правила, чтобы понять неблагоприятные последствия для пациентов.

Она и ее исследовательская группа заявили, что, по их мнению, резюме, созданные LLM, сильно различаются. Хотя они могут быть разработаны, чтобы избежать полноценных галлюцинаций, они могут включать небольшие ошибки, имеющие важное клиническое значение.

В одном из примеров их исследования в отчете о рентгенографии грудной клетки были отмечены «признаки озноба и непродуктивного кашля», но в резюме LLM добавлено «лихорадка».

«Включая «лихорадку», хотя [one-word] Ошибка завершает сценарий болезни, который может привести врача к диагнозу пневмонии и началу назначения антибиотиков, хотя в противном случае он не мог бы прийти к такому выводу», — сказали они.

Однако это антиутопическая опасность, которая обычно возникает, «когда LLM адаптируют реакцию к предполагаемым ожиданиям пользователей» и становятся виртуальными помощниками ИИ для врачей.

«Как поведение энергичного личного помощника».

БОЛЬШОЙ ТРЕНД

Другие говорят, что нормативная база FDA в отношении ИИ как медицинских устройств может сдерживать инновации.

Во время обсуждения практического применения искусственного интеллекта в индустрии медицинского оборудования в Лондоне в декабре Тим Мердок, руководитель отдела развития бизнеса цифровых продуктов в Cambridge Design Partnership, критически высказался о том, что правила FDA исключают инновации в области генного искусственного интеллекта.

«FDA разрешает использование ИИ в качестве медицинского устройства», — сказал он, согласно сообщению история посредством Сеть медицинского оборудования.

«Они все еще сосредоточены на блокировке алгоритма. Это не постоянное обучение».

Год назад, Коалиция CDS попросила FDA отменить руководство по поддержке принятия клинических решений и лучше сбалансировать нормативный надзор с потребностью сектора здравоохранения в инновациях.

Коалиция предположила, что в окончательном руководстве FDA поставило под угрозу свою способность обеспечивать соблюдение закона в ситуации, которая, по ее словам, приведет к нанесению вреда общественному здравоохранению.

ПОД ЗАПИСЬ

«Большие языковые модели, обобщающие клинические данные, обещают мощные возможности для оптимизации сбора информации из ЭМК», — признали исследователи в своем отчете. «Но, занимаясь языком, они также несут уникальные риски, которые четко не покрываются существующими нормативными гарантиями FDA».

«Поскольку инструменты обобщения приближаются к клинической практике, прозрачная разработка стандартов для клинических резюме, создаваемых LLM, в сочетании с прагматичными клиническими исследованиями будет иметь решающее значение для безопасного и разумного внедрения этих технологий».

Андреа Фокс — старший редактор журнала Healthcare IT News.
Электронная почта: [email protected]
Healthcare IT News — издание HIMSS Media.