Краткое содержание: Новое исследование выявило ограничения в нынешнем использовании математических моделей для персонализированной медицины, особенно при лечении шизофрении. Хотя эти модели могут предсказать исходы пациентов в конкретных клинических исследованиях, они терпят неудачу при применении к различным исследованиям, что ставит под сомнение надежность алгоритмов, основанных на искусственном интеллекте, в различных условиях.
Это исследование подчеркивает необходимость того, чтобы алгоритмы демонстрировали эффективность в различных контекстах, прежде чем им можно будет по-настоящему доверять. Результаты подчеркивают значительный разрыв между потенциалом персонализированной медицины и ее текущим практическим применением, особенно с учетом различий в клинических испытаниях и реальных медицинских условиях.
Ключевые факты:
Источник: Йельский университет
Поиск персонализированной медицины, медицинского подхода, при котором практикующие врачи используют уникальный генетический профиль пациента для адаптации индивидуального лечения, стал важнейшей целью в секторе здравоохранения. Но новое исследование, проведенное Йельским университетом, показывает, что имеющиеся в настоящее время математические модели для прогнозирования лечения имеют ограниченную эффективность.
Анализируя клинические испытания нескольких методов лечения шизофрении, исследователи обнаружили, что математические алгоритмы способны предсказывать исходы пациентов в рамках конкретных исследований, для которых они были разработаны, но не работают для пациентов, участвующих в различных исследованиях.
Результаты опубликованы 11 января в журнале. Наука.
«Это исследование действительно бросает вызов существующему положению дел в разработке алгоритмов и поднимает планку на будущее», — сказал Адам Чекроуд, адъюнкт-профессор психиатрии Йельской медицинской школы и автор статьи. «Прямо сейчас я бы сказал, что нам нужно увидеть алгоритмы, работающие как минимум в двух разных условиях, прежде чем мы сможем по-настоящему воодушевиться этим».
«Я по-прежнему настроен оптимистично, — добавил он, — но нам, медицинским исследователям, предстоит выяснить некоторые серьезные вещи».
Чекроуд также является президентом и соучредителем Spring Health, частной компании, предоставляющей услуги в области психического здоровья.
По словам исследователей, шизофрения, сложное заболевание головного мозга, от которого страдает около 1% населения США, прекрасно иллюстрирует необходимость более персонализированного лечения. Около 50% пациентов с диагнозом шизофрения не реагируют на первый назначенный антипсихотический препарат, но невозможно предсказать, какие пациенты ответят на терапию, а какие нет.
Исследователи надеются, что новые технологии, использующие машинное обучение и искусственный интеллект, могут создать алгоритмы, которые лучше предсказывают, какие методы лечения будут работать для разных пациентов, а также помогут улучшить результаты и снизить затраты на лечение.
Однако из-за высокой стоимости проведения клинических испытаний большинство алгоритмов разрабатываются и тестируются только с использованием одного клинического испытания. Но исследователи надеялись, что эти алгоритмы будут работать, если их протестировать на пациентах с похожим профилем и получать аналогичное лечение.
Для нового исследования Чекроуд и его коллеги из Йельского университета хотели проверить, действительно ли эта надежда верна. Для этого они собрали данные пяти клинических исследований методов лечения шизофрении, предоставленные в рамках Йельского проекта открытого доступа к данным (YODA), который выступает за и поддерживает ответственный обмен данными клинических исследований.
Они обнаружили, что в большинстве случаев алгоритмы эффективно предсказывали исходы пациентов в ходе клинического исследования, в котором они были разработаны. Однако им не удалось эффективно предсказать результаты лечения пациентов с шизофренией в различных клинических исследованиях.
«Алгоритмы почти всегда срабатывали с первого раза», — сказал Чекроуд. «Но когда мы проверили их на пациентах из других исследований, прогностическая ценность была не выше случайности».
Проблема, по мнению Чекроуда, заключается в том, что большинство математических алгоритмов, используемых исследователями-медиками, были разработаны для использования с гораздо большими наборами данных. Клинические испытания дорогостоящие и требуют много времени, поэтому в исследованиях обычно принимают участие менее 1000 пациентов.
По его словам, применение мощных инструментов искусственного интеллекта для анализа этих небольших наборов данных часто может привести к «чрезмерной подгонке», при которой модель изучает шаблоны ответов, которые являются идиосинкразическими или специфичными только для этих исходных данных испытаний, но исчезают, когда включены дополнительные новые данные.
«Реальность такова, что нам нужно думать о разработке алгоритмов так же, как мы думаем о разработке новых лекарств», — сказал он. «Нам нужно увидеть алгоритмы, работающие в разное время и в разных контекстах, прежде чем мы сможем по-настоящему в них поверить».
Исследователи добавили, что в будущем включение других переменных окружающей среды может улучшить, а может и не улучшить эффективность алгоритмов при анализе данных клинических испытаний. Например, злоупотребляет ли пациент наркотиками или имеет личную поддержку со стороны семьи или друзей? Именно такие факторы могут повлиять на результаты лечения.
В большинстве клинических исследований используются точные критерии для повышения шансов на успех, такие как рекомендации, согласно которым пациенты должны быть включены (или исключены), тщательное измерение результатов и ограничения на количество врачей, проводящих лечение. Между тем, в реальных условиях число пациентов гораздо шире, а качество и последовательность лечения значительно различаются, говорят исследователи.
«Теоретически, клинические испытания должны быть самым простым местом для работы алгоритмов. Но если алгоритмы не смогут обобщать результаты одного клинического исследования на другое, будет еще сложнее использовать их в клинической практике», — сказал соавтор Джон Кристал, профессор трансляционных исследований Роберта Л. МакНила-младшего и профессор. факультет психиатрии, нейробиологии и психологии в Йельской медицинской школе. Кристал также является заведующим кафедрой психиатрии Йельского университета.
Чекроуд предполагает, что активизация усилий по обмену данными между исследователями и хранение дополнительных данных крупными поставщиками медицинских услуг может помочь повысить надежность и точность алгоритмов, основанных на искусственном интеллекте.
«Хотя исследование касалось испытаний шизофрении, оно поднимает сложные вопросы для персонализированной медицины в более широком смысле и ее применения при сердечно-сосудистых заболеваниях и раке», — сказал Филип Корлетт, доцент кафедры психиатрии Йельского университета и соавтор исследования.
Другими авторами исследования в Йельском университете являются Иеронимус Лохо; Ралица Георгиева, старший научный сотрудник Йельской школы общественного здравоохранения; и Харлан М. Крамхольц, профессор медицины (кардиология) Гарольда Х. Хайнса-младшего в Йельском университете.
Об этом: новости исследований в области искусственного интеллекта и персонализированной медицины
Автор: Бесс Коннолли
Источник: Йельский университет
Контакт: Бесс Коннолли – Йельский университет
Изображение: Изображение предоставлено Neuroscience News.
Оригинальное исследование: Закрытый доступ.
«Иллюзорная обобщаемость моделей клинического прогнозирования», Адам Чекроуд и др. Наука
Абстрактный
Иллюзорная обобщаемость моделей клинического прогнозирования
Широкая надежда на то, что статистические модели помогут улучшить процесс принятия решений, связанных с лечением. Из-за стоимости и нехватки данных о медицинских результатах эта надежда обычно основана на исследователях, наблюдающих за успехом модели в одном или двух наборах данных или клинических контекстах.
Мы тщательно изучили этот оптимизм, изучив, насколько хорошо модель машинного обучения показала себя в нескольких независимых клинических исследованиях антипсихотических препаратов при шизофрении.
Модели предсказывали исходы пациентов с высокой точностью в рамках исследования, в котором была разработана модель, но при применении вне выборки работали не лучше, чем случайность. Объединение данных по всем испытаниям для прогнозирования результатов в неучтенных исследованиях не улучшило прогнозы.
Эти результаты позволяют предположить, что модели, прогнозирующие результаты лечения шизофрении, сильно зависят от контекста и могут иметь ограниченную возможность обобщения.
2024-01-20 22:08:57
1705794608
#Переосмысление #персонализированной #медицины #ограничения #ИИ #клинических #исследованиях