Исследование JAMA: объяснения модели ИИ не помогают существенно снизить предвзятость

В исследовании, опубликованном в этом месяце в JAMA, ученые-компьютерщики и врачи из Мичиганского университета рассмотрел использование искусственного интеллекта для помощи в диагностике госпитализированных пациентов.

В частности, им было любопытно, как влияет на точность диагностики, когда врачи понимают, как работают модели искусственного интеллекта, которые они используют, и насколько они могут быть предвзятыми или ограниченными.

Использование объяснений модели ИИ на основе изображений может помочь поставщикам выявить алгоритмы, которые могут быть систематически предвзятыми и, следовательно, неточными. Но исследователи обнаружили, что такие пояснительные руководства «не помогают врачам распознавать систематически предвзятые модели ИИ».

В своих попытках оценить, как систематически предвзятый ИИ влияет на точность диагностики – и могут ли объяснения моделей на основе изображений уменьшить ошибки – исследователи разработали рандомизированное клиническое исследование в 13 штатах США с участием врачей-госпиталистов, практикующих медсестер и фельдшеров.

Этим врачам были показаны девять клинических эпизодов пациентов, госпитализированных с острой дыхательной недостаточностью, включая их симптомы, физическое обследование, результаты лабораторных исследований и рентгенограммы грудной клетки».

Затем их попросили «определить вероятность пневмонии, сердечной недостаточности или хронической обструктивной болезни легких как основной причины острой дыхательной недостаточности у каждого пациента», по словам исследователей.

Сначала клиницистам были показаны два примера без ввода модели ИИ. Затем они были рандомизированы для просмотра шести эпизодов с входными данными модели ИИ с пояснениями модели ИИ или без них. Среди этих шести эпизодов три включали прогнозы стандартной модели, а три других включали систематически смещенные прогнозы модели.

Среди результатов исследования: «Точность диагностики значительно увеличилась на 4,4%, когда врачи просматривали клиническую картину пациента со стандартными прогнозами модели ИИ и объяснениями модели по сравнению с базовой точностью».

С другой стороны, однако, точность снизилась более чем на 11%, когда клиницистам показывали систематически предвзятые прогнозы модели ИИ, а объяснения моделей не защищали от негативных последствий таких неточных прогнозов.

Как определили исследователи, хотя стандартные модели ИИ могут повысить точность диагностики, систематическая ошибка снижает ее, «и часто используемые объяснения моделей ИИ на основе изображений не смягчают этот вредный эффект».

Майк Милиард, исполнительный редактор журнала Healthcare IT News
Напишите автору: [email protected]
Healthcare IT News — это издание HIMSS.