Когда искусственный интеллект начнет переписывать реальность – Блог о здравоохранении

БРАЙАН ДЖУНДЕФ

Искусственный интеллект быстро становится основной частью деятельности здравоохранения. Он составляет клинические записи, обобщает посещения пациентов, отмечает лаборатории с отклонениями от нормы, сортирует сообщения, анализирует изображения, помогает с предварительными разрешениями и во все большей степени помогает принимать решения. ИИ больше не является просто побочным экспериментом в медицине; он становится ключевым интерпретатором клинической реальности.

Это поднимает важный вопрос как для врачей, администраторов, так и для политиков: точно ли ИИ отражает реальный мир? Или слегка изменить его форму?

Данные простые. По данным Бюро переписи населения США на июль 2023 г. оценкиОколо 75 процентов американцев идентифицируют себя как белые (включая латиноамериканцев и неиспаноязычных), около 14 процентов — как чернокожие или афроамериканцы, примерно 6 процентов — как азиаты и меньший процент — как коренные американцы, жители островов Тихого океана или представители разных рас. Латиноамериканцы или латиноамериканцы, принадлежащие к любой расе, составляют примерно 19 процентов населения.

Короче говоря, данные измеримы, проверяемы и доступны общественности.

Недавно я провел простой эксперимент, имеющий более широкие последствия, выходящие за рамки создания изображений. Я попросил две ведущие платформы для создания изображений с помощью искусственного интеллекта создать групповую фотографию, отражающую расовый состав населения США на основе официальных данных переписи населения.

Первой системой, которую я протестировал, была Grok 3. Когда меня попросили создать демографически точное изображение на основе данных переписи населения, результат показал только чернокожих людей — полное отклонение от реальности.

После дополнительных подсказок более поздние изображения показали большее разнообразие, но белые люди по-прежнему были недостаточно представлены по сравнению с их долей в населении.

Отвечая на вопрос, система признала, что модели создания изображений могут отдавать приоритет разнообразию или стремиться решить историческую недопредставленность в своих результатах.

Другими словами, модель не отражала данные строго. Это было изменение представления.

Для сравнения я запустил ту же командную строку через ChatGPT 5.0. Результаты более точно соответствовали пропорциям переписи, но все же нуждались в корректировках, окончательное изображение представлено ниже. Когда его спросили, система объяснила, что модели изображений могут отдавать приоритет визуальному разнообразию, если им не будут даны очень конкретные демографические инструкции.

Этот небольшой эксперимент выдвигает на первый план гораздо более серьезную проблему. Когда системе искусственного интеллекта явно приказано отражать официальные демографические данные, но в конечном итоге она создает адаптированную версию общества, это не просто технический сбой. Он показывает выбор дизайна — решения о том, как модели сочетают цель представления с необходимостью статистической точности.

Это напряжение особенно важно в медицине.

В настоящее время в сфере здравоохранения ведутся активные дебаты о роли расы в клинические алгоритмы. В последние годы профессиональные общества и академические центры пересмотрели расовую поправку. расчеты рСКФэталонные значения тестов функции легких и инструменты оценки акушерского риска. Критики утверждают, что использование расы в качестве биологического показателя может усилить неравенство. Другие предупреждают, что удаление переменных без учета лежащей в их основе эпидемиологии может поставить под угрозу точность прогнозов.

Эти дебаты сложны и полны нюансов, но их объединяет основной принцип: клинические инструменты должны быть прозрачными в отношении того, какие переменные включены, почему они выбраны и как они влияют на результаты.

ИИ добавляет новый уровень непрозрачности.

Прогнозные модели теперь поддерживают больницы реадмиссия программы, оповещения о сепсисерасстановка приоритетов визуализации и работа по охране здоровья населения. Большие языковые модели включаются в электронные медицинские записи для обобщения записей и рекомендаций планов лечения. Системы машинного обучения обучаются на огромных наборах данных, которые неизбежно отражают закономерности исторической практики, демографические распределения и встроенные предубеждения.

Проблема не в том, что ИИ будет намеренно преследовать идеологические цели. Системам искусственного интеллекта не хватает сознания. По крайней мере, сейчас. Однако они обучаются на наборах данных, созданных людьми, фильтрованных с помощью алгоритмов, разработанных людьми, и руководствуются ограничениями, установленными людьми. Эти первоначальные варианты дизайна влияют на результаты, которые появятся позже. Мусор на входе, мусор на выходе.

Если инструменты создания изображений «перебалансируют» демографические данные для содействия разнообразию, разумно задаться вопросом, могут ли клинические инструменты искусственного интеллекта также корректировать результаты для достижения других целей, таких как показатели справедливости, институциональные ориентиры, нормативные стимулы или финансовые ограничения, даже если это непреднамеренно.

Рассмотрите возможность прогнозного моделирования рисков. Если алгоритм систематически корректирует выходные пороги, чтобы избежать разрозненной статистики воздействия, вместо того, чтобы точно отражать наблюдаемый риск, врачи могут получить вводящие в заблуждение сигналы. Если модель сортировки оптимизирована для балансировки показателей распределения ресурсов без надлежащей клинической проверки, пациенты могут столкнуться с непреднамеренным вредом.

Точность в медицине не косметическая. Это имеет последствия.

Распространенность заболевания варьируется среди групп населения из-за генетических, экологических, поведенческих и социально-экономических факторов. Например, ставки гипертония, диабет, глаукома, серповидно-клеточная анемияи определенные рак существенно различаются в разных демографических группах. Эти различия являются эпидемиологическими фактами, а не оценочными суждениями. Игнорирование или сглаживание их ради репрезентативной симметрии может ослабить клиническую точность.

Ничто из этого не противоречит решению проблемы неравенства в сфере здравоохранения. Напротив, выявление различий требует точных и тщательных данных. Если инструменты ИИ стирают различия во имя справедливости без прозрачности, они могут парадоксальным образом затруднить выявление и устранение различий.

Решение состоит не в том, чтобы противодействовать интеграции ИИ в медицину. Его преимущества значительны. В офтальмологии анализ изображений сетчатки с помощью искусственного интеллекта показал высокую чувствительность и специфичность. обнаружение диабетическая ретинопатия.

В радиологияИнструменты машинного обучения могут выявить тонкие результаты, которые в противном случае могли бы остаться незамеченными. Поддержка клинической документации может помочь уменьшить выгорание за счет снижения канцелярской рабочей нагрузки.

Обещание реально. Но также и ответственность.

Системы здравоохранения, внедряющие инструменты ИИ, должны требовать прозрачности в отношении разработки моделей, важности переменных и политики корректировки результатов. Разработчики должны указать, интегрированы ли демографические балансировки или репрезентативные изменения в процессы обучения или вывода.

Регулирующим органам следует сосредоточиться на стандартах объяснимости, которые позволят врачам понять не только то, что рекомендует алгоритм, но и то, как он пришел к таким выводам.

Прозрачность не является обязательной в здравоохранении; это важно для клинической точности и укрепления доверия.

Пациенты считают, что рекомендации основаны на фактических данных и клинических суждениях. Если ИИ действует как посредник между врачом и пациентом, обобщая записи, предлагая диагнозы и стратифицируя риски, то его результаты должны быть максимально верны эмпирической реальности. В противном случае медицина рискует отойти от доказательной практики к аналитике, основанной на повествовании.

Искусственный интеллект обладает замечательным потенциалом для улучшения оказания медицинской помощи, расширения доступа и повышения точности диагностики. Однако ее достоверность зависит от соответствия проверяемым фактам. Когда алгоритмы начинают представлять мир не только таким, каким его видят, но и таким, каким, по мнению создателей, его следует показывать, доверие падает.

Медицина не может позволить себе такую эрозию.

Забота, основанная на данных, зависит от точности данных. Если реальность становится изменчивой, то же самое происходит и с доверием. А в здравоохранении доверие – это не роскошь. Это фундамент, от которого зависит все остальное.

Брайан К. Джундеф, доктор медицинских наук, офтальмолог и специалист по сетчатке из Колорадо. Он часто пишет об искусственном интеллекте, медицинской этике и будущем врачебной практики. Подстек доктора Брайана.