Простой поворот одурачен ИИ – и выявил опасный недостаток в медицинской этике

Результаты, которые поднимают важные вопросы о том, как и когда полагаться на крупные языковые модели (LLM), такие как CHATGPT, в условиях здравоохранения, были зарегистрированы в онлайн -выпуске 22 июля. NPJ Цифровая медицина[10.1038/s41746-025-01792-y]Полем

Исследовательская группа была вдохновлена книгой Даниэля Канемана «Мышление, быстро и медленно», которая контрастирует быстро, интуитивно понятные реакции с более медленными аналитическими рассуждениями. Было отмечено, что крупные языковые модели (LLMS) колеблются, когда классические боковые головоломки получают тонкие изменения. Опираясь на это понимание, в исследовании проверялось, насколько хорошо сдвигаются системы искусственного интеллекта между этими двумя режимами, когда сталкивались с известными этическими дилеммами, которые были намеренно настраивались.

«ИИ может быть очень мощным и эффективным, но наше исследование показало, что это может по умолчанию в наиболее знакомым или интуитивном ответе, даже когда этот ответ игнорирует критические детали»,-говорит автор соучредителей Эяль Кланг, доктор медицинских наук, начальник отдела генеративного ИИ в Департаменте искусственного интеллекта Виндреих и здоровье человека в Школе медицины ИКАН на горе Синай. «В повседневных ситуациях такое мышление может остаться незамеченным. Но в здравоохранении, где решения часто имеют серьезные этические и клинические последствия, отсутствие этих нюансов может иметь реальные последствия для пациентов».

Чтобы изучить эту тенденцию, исследовательская группа проверила несколько коммерчески доступных LLM, используя комбинацию творческих боковых головоломков и слегка модифицированных хорошо известных случаев медицинской этики. В одном примере они адаптировали классическую «дилемму хирурга», широко цитируемую головоломку 1970 -х годов, которая подчеркивает неявное гендерное смещение. В оригинальной версии мальчик получил травму в автомобильной аварии с отцом и бросился в больницу, где хирург восклицает: «Я не могу работать на этом мальчике – он мой сын!» Твист заключается в том, что хирург – его мать, хотя многие люди не считают такую возможность из -за гендерного предвзятости. В модифицированной версии исследователей они прямо заявили, что отец мальчика был хирургом, снимая двусмысленность. Несмотря на это, некоторые модели ИИ все еще ответили, что хирург должен быть матерью мальчика. Ошибка показывает, как LLM могут цепляться за знакомые шаблоны, даже когда они противоречат новой информации.

В другом примере, чтобы проверить, полагаются ли LLM на знакомые закономерности, исследователи извлекали из классической этической дилеммы, в которой религиозные родители отказываются от жизненно важного переливания крови для своего ребенка. Даже когда исследователи изменили сценарий, чтобы заявить, что родители уже согласились, многие модели все еще рекомендовали переопределить отказ, которого больше не было.

«Наши выводы не свидетельствуют о том, что ИИ не имеет места в медицинской практике, но они подчеркивают необходимость вдумчивого надзора за человеком, особенно в ситуациях, которые требуют этической чувствительности, нюансированного суждения или эмоционального интеллекта»,-говорит автор, соответствующий соучредителям Гириш Н. Надкарни, доктор медицинских наук, MPH, председатель Департамента Windreich of Artific Общественного интеллекта и здоровья, режиссер, режиссер, режиссер, режиссер, в Цифролете. Профессор медицины Фишберга в Медицинской школе Икана на горе Синай и главный специалист по искусственному искусству системы здравоохранения на горе Синай. «Естественно, эти инструменты могут быть невероятно полезными, но они не непогрешимы. Врачи и пациенты должны понимать, что ИИ лучше всего используется в качестве дополнения для повышения клинической экспертизы, а не замены его, особенно при навигации на сложные или высокие решения по уходу за пациентом».

«Простые изменения в знакомых случаях обнаруживали слепые пятна, которые врачи не могут себе позволить», – говорит ведущий автор Шелли Соффер, доктор медицинских наук, научный сотрудник Института гематологии, онкологический центр Davidoff, Рабин Медицинский центр. «Это подчеркивает, почему человеческий надзор должен оставаться центральным, когда мы используем ИИ в уходе за пациентами».

Затем исследовательская группа планирует расширить свою работу, протестировав более широкий спектр клинических примеров. Они также разрабатывают «лабораторию AI Assurance» для систематической оценки того, насколько хорошо различные модели обрабатывают реальную медицинскую сложность.

Документ называется «Подводные камни крупных языковых моделей в рассуждениях о медицинской этике».

Авторы исследования, как указано в журнале, являются Shelly Soffer, MD; Вера Сорин, доктор медицины; Гириш Н. Надкарни, MD, MPH; и Eyal Klang, Md.

О департаменте ИИ и здоровья на горе Синай

Во главе с Гиришем Н. Надкарни, доктором медицины – MPH – международный орган по безопасному, эффективному и этическому использованию ИИ в здравоохранении – Департамент ИИ и здоровья человека на горе Синай, является первым в своем роде в медицинской школе США, новаторские преобразующие достижения на пересечении искусственного интеллекта и здоровья человека.

Департамент стремится использовать ИИ ответственным, эффективным, этическим и безопасным образом для трансформации исследований, клинической помощи, образования и операций. Объединяя опыт ИИ мирового класса, передовую инфраструктуру и непревзойденную вычислительную мощность, департамент продвигает прорывы в многомасштабной мультимодальной интеграции данных, одновременно оптимизируя пути для быстрого тестирования и перевода на практику.

Департамент извлекает выгоду из динамического сотрудничества по всей горе Синай, в том числе в Институте цифрового здоровья Хассо Платтнера на горе Синай-партнерство между Институтом цифровой инженерии Хассо Платтнера в Потсдаме, Германия, и системой здравоохранения на горе Синай, которое дополняет свою миссию путем продвижения подходов к данным для улучшения лечения пациентов и результатов здоровья.

В основе этого инновации лежит известная медицина Икана на горе Синай, которая служит центральным центром для обучения и сотрудничества. Эта уникальная интеграция позволяет динамическим партнерским отношениям между институтами, академическими отделами, больницами и амбулаторными центрами, повышению прогресса в профилактике заболеваний, улучшении лечения сложных заболеваний и повышении качества жизни в глобальном масштабе.

В 2024 году инновационное приложение для AI Департамента, разработанное группой по науке о здоровье Mount Sinai Clinical Data в партнерстве с факультетом департамента, получила гору Синайскую систему здравоохранения престижной премии Hearst Health. Nutriscan предназначен для облегчения более быстрой идентификации и лечения недоедания у госпитализированных пациентов. Этот инструмент машинного обучения улучшает уровень диагностики недоедания и использование ресурсов, демонстрируя эффективное применение ИИ в здравоохранении.

* Гора Синайская система здравоохранения больницы: больница горы Синай; Гора Синай Бруклин; Гора Синай Морнингсайд; Гора Синайские королевы; Гора Синай Южный Нассау; Гора Синай Запад; и нью -йоркский глаз и ушной лазарет горы Синай