Ограждения и управление данными — ключ к надежным результатам генеративного ИИ

Среди некоторых лидеров медицинских технологий растет беспокойство по поводу того, что им, возможно, следует сделать шаг назад, чтобы гарантировать, что использование искусственного интеллекта – особенно генеративного ИИ – является безопасным, уместным, надежным и морально обоснованным.

Его потенциальные преимущества огромны при использовании в сочетании с руководством человека, что приводит к ранней диагностике, улучшению профилактики заболеваний и общему здоровью с помощью правильно «настроенных» алгоритмов прогнозирования. Но некоторые забили тревогу по поводу того, что использование ИИ уже приводит к еще большему цифровому разрыву, создавая дальнейшую предвзятость и усиливая неравенство.

Гариб Гариби, имеющий докторскую степень в области компьютерных наук, является директором по прикладным исследованиям и главой отдела искусственного интеллекта и конфиденциальности в TripleBlind, компании, занимающейся технологиями конфиденциальности в области искусственного интеллекта. У него твердое мнение, основанное на его собственных исследованиях и опыте обучения. большие языковые модели – что ИИ следует рассматривать как расширенный интеллект, успешный только при взаимодействии и поддержке человека. Новости ИТ в сфере здравоохранения поговорил с ним, чтобы узнать его точку зрения на эту и другие темы.

Вопрос. Вы говорите, что сегодня растет цифровой разрыв и предубеждения, возникающие из-за неправильного использования генеративного ИИ в здравоохранении. Пожалуйста, объясни.

А. Генеративный ИИ и алгоритмы ИИ в целом — это программы, которые обобщают данные; и если используемые данные уже являются предвзятыми, алгоритм ИИ тоже будет предвзятым.

Например, если генеративная модель обучена на медицинских изображениях, собранных из одного источника, расположенного в географической области с преобладающим этническим населением, обученный алгоритм, скорее всего, не сможет точно работать для других этнических групп (при условии, что этническая принадлежность пациента является хорошим прогностическим фактором). переменная).

Генеративный ИИ, в частности, способен создавать синтетические данные о пациентах, моделировать прогресс заболевания и даже генерировать реалистичные медицинские изображения для обучения других систем ИИ. Таким образом, использование предвзятых данных из одного источника для обучения таких систем может ввести в заблуждение научные исследования, неправильно диагностировать заболевания и создать неэффективные планы лечения.

Однако, хотя диверсификация источников данных, как для обучения, так и для проверки, может помочь минимизировать предвзятость и создать более точные модели, мы должны уделять пристальное внимание конфиденциальности пациентов. Обмен медицинскими данными может вызвать серьезные проблемы с конфиденциальностью, и существует неотложная и значительная необходимость найти правильный баланс между облегчением обмена данными и защитой конфиденциальности пациентов.

Наконец, продолжаются дебаты о регулировании ИИ в здравоохранении, чтобы уменьшить преднамеренное и непреднамеренное неправильное использование этой технологии. Некоторое регулирование необходимо для защиты безопасности и конфиденциальности пациентов, но мы также должны быть осторожны с этим, потому что слишком сильное регулирование будет препятствовать инновациям и замедлять создание и внедрение более доступных и спасающих жизни технологий на основе искусственного интеллекта.

Вопрос. Расскажите, пожалуйста, о своих исследованиях и опыте обучения больших языковых моделей, а также о своем мнении о том, что ИИ следует рассматривать как расширенный интеллект, успешный только при взаимодействии и поддержке человека.

А. Мой опыт и исследовательские интересы лежат на стыке искусственного интеллекта, систем и конфиденциальности. Я увлечен созданием систем искусственного интеллекта, которые могут облегчить жизнь людей и точно и эффективно дополнить наши задачи, одновременно защищая некоторые из наших фундаментальных прав — безопасность и конфиденциальность.

Сегодня сами модели ИИ предназначены для работы в тандеме с пользователями-людьми. Хотя системы искусственного интеллекта, такие как ChatGPT, могут генерировать ответы на широкий спектр подсказок, они по-прежнему полагаются на то, что эти подсказки будут предоставляться людьми. У него до сих пор нет собственных целей и «желаний».

Его главная цель сегодня — помочь пользователям в достижении их целей. Это особенно актуально в сфере здравоохранения, где способность быстро, конфиденциально и точно обрабатывать конфиденциальные данные может улучшить диагностику и лечение.

Однако, несмотря на мощные возможности генеративных моделей ИИ, они по-прежнему генерируют неточные, неуместные и предвзятые ответы. Это может даже привести к утечке важной информации о данных обучения, нарушив конфиденциальность; или вас легко обмануть состязательными примерами входных данных и получить неправильные результаты. Поэтому участие человека и надзор по-прежнему имеют решающее значение.

Заглядывая в будущее, мы станем свидетелями появления полностью автоматизированных систем искусственного интеллекта, способных решать обширные и сложные задачи без необходимости вмешательства человека. Этим сложным генеративным моделям искусственного интеллекта можно будет поручить сложные задачи, такие как прогнозирование всех потенциальных индивидуальных планов лечения и результатов для онкологического больного.

Тогда он сможет генерировать комплексные решения, которые в противном случае было бы невозможно достичь для людей-экспертов.

В этом контексте решающее значение имеют огромные возможности обработки данных систем искусственного интеллекта, значительно превосходящие когнитивные возможности человека. Такие задачи также требуют вычислений, на выполнение которых уйдет человеческая жизнь или даже больше, что делает их непрактичными для экспертов-людей.

Наконец, эти системы ИИ не подвержены усталости и не заболевают (хотя и сталкиваются с другими типами проблем, такими как дрейф концепций, предвзятость, конфиденциальность и т. д.), и они могут работать круглосуточно, обеспечивая стабильные результаты. Один только этот аспект может произвести революцию в отраслях, где постоянный анализ и исследования имеют решающее значение, например в здравоохранении.

Вопрос. Какие меры, по вашему мнению, следует установить в отношении генеративного искусственного интеллекта в здравоохранении?

А. По мере того, как мы движемся к будущему, в котором генеративный искусственный интеллект станет более интегрированным в здравоохранение, крайне важно иметь надежные меры, обеспечивающие ответственное и этичное использование этих технологий. Вот несколько ключевых областей, в которых следует учитывать меры безопасности:

1. Конфиденциальность и безопасность данных. ИИ в здравоохранении часто использует конфиденциальные данные пациентов, поэтому надежные меры конфиденциальности и безопасности данных имеют решающее значение. Это включает в себя использование и совершенствование существующих методов и инструментов повышения конфиденциальности, таких как слепое обучение, безопасные многосторонние вычисления (SMPC), федеративное обучение и другие.

2. Прозрачность. Медицинским работникам и пациентам важно понимать, как модели искусственного интеллекта делают прогнозы. Это может включать в себя предоставление четких объяснений того, как работает ИИ, его ограничения и данные, на которых он обучался.

3. Смягчение предвзятости. Должны быть приняты меры для предотвращения и исправления предвзятостей в сфере ИИ. Это включает в себя сбор разнообразных и репрезентативных данных, методы обнаружения и устранения систематических ошибок во время обучения модели, а также постоянный мониторинг систематических ошибок в прогнозах ИИ.

5. Регулирование и подотчетность. Должны быть четкие правила, регулирующие использование ИИ в здравоохранении, а также четкая ответственность за случаи, когда системы ИИ допускают ошибки или причиняют вред. Это может включать обновление существующих медицинских правил с учетом ИИ, а также создание новых стандартов и сертификатов для систем ИИ в здравоохранении.

6. Равный доступ. Поскольку ИИ становится все более важным инструментом в здравоохранении, крайне важно обеспечить, чтобы доступ к медицинской помощи, улучшенной с помощью ИИ, был справедливым и не усугублял существующие различия в состоянии здоровья. Это может включать в себя политику поддержки использования ИИ в недостаточно обслуживаемых регионах или среди недостаточно обслуживаемых групп населения.

Установление этих барьеров потребует сотрудничества между учеными в области искусственного интеллекта, поставщиками медицинских услуг, регулирующими органами, специалистами по этике и пациентами. Это сложная задача, но необходимая для обеспечения безопасного и полезного использования генеративного ИИ в здравоохранении.

Вопрос. Какие методы управления данными, по вашему мнению, помогут поставщикам услуг избежать искажения результатов?

А. Уменьшение предвзятости в сохраняющих конфиденциальность и объяснимых системах ИИ требует тщательного и эффективного управления данными, проектирования и оценки всего конвейера системы ИИ. В дополнение к тому, что я уже упомянул, вот несколько методов, которые могут помочь медицинским работникам избежать предвзятых результатов:

1. Разнообразный сбор данных. Первым шагом во избежание предвзятости является обеспечение того, чтобы собранные данные были репрезентативными для различных групп населения, которым будет служить ИИ. Сюда входят данные от людей разного возраста, расы, пола, социально-экономического статуса и состояния здоровья.

2. Предварительная обработка и очистка данных. Перед обучением модели ИИ данные следует предварительно обработать и очистить, чтобы выявить и исправить любые потенциальные источники систематической ошибки. Например, если определенные группы недостаточно представлены в данных, такие методы, как избыточная выборка из этих групп или недостаточная выборка из перепредставленных групп, могут помочь сбалансировать данные.

3. Предвзятый аудит. Регулярные аудиты могут помочь выявить и исправить предвзятость как в данных, так и в моделях ИИ. Это включает в себя анализ процесса сбора данных, проверку данных на наличие потенциальных ошибок и тестирование результатов модели ИИ на предмет справедливости в различных демографических группах.

4. Выбор функции. ВтПри обучении модели ИИ важно учитывать, какие функции или переменные модель использует для прогнозирования. Если модель в значительной степени полагается на функцию, которая является предвзятой или нерелевантной, возможно, ее придется скорректировать или удалить.

5. Прозрачный и объяснимый ИИ. Использование моделей ИИ, которые дают четкие объяснения своих прогнозов, может помочь определить, когда модель полагается на предвзятую информацию. Если модель может объяснить, почему она сделала определенный прогноз, ее легче обнаружить, когда она основывает свои решения на предвзятых или нерелевантных факторах.

В конечном счете, управление предвзятостью в сфере ИИ требует сочетания технических решений и человеческого суждения. Это непрерывный процесс, требующий постоянного мониторинга и корректировки. И это задача, которая стоит затраченных усилий, поскольку уменьшение предвзятости имеет важное значение для создания справедливых, надежных и выгодных для всех систем ИИ.

Следите за репортажами Билла о HIT на LinkedIn: Билл Сивики
Напишите ему: [email protected]
Healthcare IT News — издание HIMSS Media.