1769229533
2026-01-24 04:00:00
Исследователи все активнее изучают, как сделать искусственный интеллект более интерпретируемым и полезным для реальных медицинских вмешательств. Шовито Баруа Сумма, Асифул Арефин и Стефани М. Карпентер из Университета штата Аризона вместе с Мелани Хингл (Университет Аризоны) и Хасаном Гасемзаде демонстрируют новый подход с использованием больших языковых моделей (LLM) для создания «контрфактических объяснений», по сути, выявления мельчайших изменений, необходимых для достижения результата, отличного от прогнозной модели. Их работа, подробно описанная в новой статье, оценивает эффективность таких моделей, как GPT-4, BioMistral-7B и LLaMA-3.1-8B, как в стандартных, так и в точно настроенных конфигурациях, с использованием набора клинических данных, показывая, что точно настроенные LLM, особенно LLaMA-3.1-8B, могут производить весьма правдоподобные и клинически значимые вмешательства. Примечательно, что эти контрфакты, созданные с помощью LLM, не только предлагают интерпретируемую информацию, но и существенно улучшают производительность модели, когда обучающие данные ограничены, предлагая гибкий и независимый от модели путь к более надежным и эффективным технологиям цифрового здравоохранения.
1-8B, как в стандартной, так и в точно настроенной конфигурациях, с использованием набора клинических данных, демонстрируя, что точно настроенные LLM, особенно LLaMA-3.1-8B, как в предварительно обученных, так и в точно настроенных конфигурациях, оценивают их способность выявлять минимальные, действенные изменения, необходимые для изменения прогноза модели машинного обучения. Точно настроенные LLM, в частности LLaMA-3.1-8B, постоянно создавали CF, демонстрирующие правдоподобие до 99% и достоверность 0,99, наряду с реалистичными и изменяемыми по поведению настройками функций. В этом исследовании представлен новый метод, позволяющий не только обеспечить человекоориентированную интерпретируемость, но и расширить обучающие данные для повышения производительности модели, особенно в сценариях с ограниченным количеством размеченных данных. Этот инновационный метод устраняет ограничения традиционных методов, которым часто не хватает категориальной последовательности и клинически обоснованных модификаций.
В частности, платформа SenseCF настраивает LLM для создания достоверных, репрезентативных контрфактических объяснений и дополнения классов меньшинства в несбалансированных наборах данных, тем самым улучшая обучение модели и повышая производительность прогнозирования. Как показано на прилагаемых рисунках, у классификаторов наблюдается заметное снижение показателя F1 по мере сокращения обучающих данных, что подчеркивает уязвимость стандартных моделей и мотивирует необходимость синтетического дополнения с помощью контрфактов, генерируемых LLM. Это исследование представляет собой значительный шаг на пути к системам искусственного интеллекта, способным предоставлять как точные прогнозы, так и практические идеи в критически важных приложениях здравоохранения. Кроме того, в этом исследовании систематически сравниваются GPT-4 с LLM с открытым исходным кодом, обеспечивая строгое и количественное сравнение в мультимодальных клинических условиях. Устраняя пробелы в современной литературе, в том числе отсутствие комплексной оценки больших наборов клинических данных и стандартизированных показателей оценки, эта работа вносит ценный вклад в область объяснимого ИИ и его применения в цифровом здравоохранении. Результаты показывают, что контрфакты, основанные на LLM, открывают огромные перспективы для создания более прозрачных, надежных и эффективных решений в области здравоохранения.
LLM Counterfactuals for Clinical Data Evaluation предлагает многообещающие
Исследование стало пионером в использовании метода увеличения данных, представив CF, сгенерированные LLM, в качестве синтетических обучающих выборок в условиях контролируемого дефицита меток. В частности, команда сократила данные обучения на 10%, 20%, 30%, 40%, 50%, 60% и 70%, чтобы смоделировать реалистичные клинические сценарии, в которых размеченные данные ограничены. Затем они переобучили классификаторы, используя исходные данные, дополненные CFE, и измерили восстановление показателей F1. Результаты исследования подчеркивают уязвимость стандартных моделей к обозначению дефицита и мотивируют необходимость принципиального синтетического увеличения с помощью контрфактов, созданных LLM.
LLM создают достоверные и правдоподобные клинические контрфакты.
Точно настроенные LLM, особенно LLaMA-3.1-8B, позволили получить CF, демонстрирующие высокую правдоподобность, достигающую 99%, и сильную достоверность, достигающую максимума 0,99, наряду с реалистичными и поведенчески модифицируемыми корректировками функций. В частности, в сценарии A заниженная выборка положительного класса и точная настройка LLaMA* позволили добиться значительного увеличения точности на 21,00%, точности на 20,00%, полноты на 24,56%, оценки F1 на 22,41% и AUC на 25,37% по сравнению с сокращенным набором данных. Эти достижения демонстрируют способность CFE смягчать падение производительности, вызванное несбалансированностью данных. Команда измерила разреженность, используя формулу ∑X∗ T ∈CF ∑di=1 1(x∗i T = xi T) ∥CF∥, обеспечивая лучшее понимание пользователем сгенерированных CF.
Результаты показывают, что точно настроенные BioMistral-7B и LLaMA-3.1-8B значительно улучшили достоверность, разреженность и расстояние по сравнению с их предварительно обученными аналогами, с приростом достоверности на 20, 40% и сокращением расстояния между признаками более чем на 50%. Пример контрфактического вмешательства иллюстрирует, как LLM могут предлагать клинически значимые модификации для пациентов с высоким уровнем стресса, определяя низкий уровень глубокого сна (30,1%), умеренный быстрый сон (15,4%), повышенный уровень глюкозы (210,8 мг/дл) и низкую активность (5,95 шагов) как ключевые факторы, способствующие стрессу. LLM предложил увеличить продолжительность глубокого сна до 35% и быстрого сна до 20%, а также снизить уровень глюкозы в крови до 180 мг/дл, что отражает клинически действенные стратегии. Таблица III показывает, что LLaMA* достиг почти идеальной достоверности с минимальными, клинически реалистичными модификациями, в то время как традиционные методы часто предлагали нереалистичные изменения характеристик. Анализ разнообразия функций, визуализированный с помощью радиолокационных графиков, показал, что точно настроенные LLM сосредоточены на весьма действенных переменных, средних шагах, уровнях глюкозы и частоте гипергликемии, факторах, которые легко изменить с помощью корректировки образа жизни или лечения.
LLM повышают надежность данных за счет контрфактических данных, улучшая обобщение
Это исследование показывает, что контрфакты, созданные с помощью LLM, демонстрируют семантическую согласованность и клиническую правдоподобность, доказывая, что они способны повысить надежность последующих этапов при применении к дополнению данных, восстанавливая в среднем 20% показателя F1 в условиях серьезного дефицита меток. В частности, точно настроенные модели LLaMA и BioMistral позволили создать компактные и действенные CF, которые превзошли своих предварительно обученных аналогов и оказались конкурентоспособными по сравнению с существующими методами оптимизации. Насколько известно авторам, это представляет собой первое систематическое исследование CF на основе LLM, применяемое к данным, получаемым от датчиков, как в условиях нулевого, так и малого количества импульсов, открывающее многообещающий путь для интеграции генеративного ИИ в надежные, ориентированные на вмешательство конвейеры машинного обучения в здравоохранении. Авторы признают ограничения, включая возможность нереалистичных изменений характеристик, предполагая, что будущая работа может включать графики клинических знаний или причинно-следственные структуры в процесс тонкой настройки. Дальнейшие направления исследований включают расширение подхода к мультимодальным данным, таким как необработанные данные датчиков или клинические записи, а также оценку долгосрочного влияния рекомендаций на основе CF на раннее вмешательство и результаты лечения пациентов.
👉 Дополнительная информация
🗞 Контрфактическое моделирование с точно настроенными LLM для разработки медицинских вмешательств и увеличения данных датчиков
🧠 АрXiv:
#Тщательно #настроенные #LLM #достигают #правдоподобных #контрфактических #данных #для #медицинских #вмешательств
Читайте также
