Несколько недель назад ChatGPT сдал медицинский лицензионный экзамен в США (USMLE), который требуется от всех врачей, практикующих в Соединенных Штатах. Чат-бот с честью прошел викторину по микробиологии, разработанную микробиологом Алексом Березовым. По словам Березова, 10 вопросов подходят для выпускного экзамена на уровне колледжа. В Стэнфордском университете значительная часть студентов использовала ChatGPT для своих выпускных экзаменов.
«Результаты в конечном итоге показывают, что большие лингвистические модели, на которых обучался ChatGPT, могут помочь в медицинском обучении и даже в принятии клинических решений», — утверждает Тиффани Х. Кунг, доктор медицинских наук, местный преподаватель Гарвардской школы медицины. Бостон, штат Массачусетс, и ее коллеги, которые в своем исследовании исследовали производительность ChatGPT в USMLE.
С тех пор как в ноябре 2022 года американский стартап OpenAI сделал свой прототип чат-бота ChatGPT общедоступным, потенциальные приложения текстовой диалоговой системы вызвали настоящий ажиотаж. Они включают генерацию текста, перевод и автоматизированную работу с документами. По оценкам, с момента запуска в феврале OpenAI уже зарегистрировала более 100 миллионов пользователей.
Поскольку ChatGPT постоянно меняет многие отрасли и сферы жизни, он вызывает надежды и страхи во всем мире. Существует много неопределенности. Школьный округ Нью-Йорка запретил ChatGPT. Это правильное решение? Ученые из Мюнхенского технического университета (TUM) и Мюнхенского университета Людвига-Максимилиана утверждают, что запрет является «неправильным и слишком удобным решением». В своем документе с изложением позиции они продемонстрировали, что лингвистические модели, такие как ChatGPT, могут привести к большему равенству в сфере образования.
Энкелейда Каснечи, доктор философии, заслуженный профессор педагогических наук Лизель Бекманн в ТУМ и координатор документа с изложением позиции, назвала разработку лингвистических моделей, таких как ChatGPT, технологической вехой. «Нет пути назад. В мире есть инструменты, они будут улучшаться, и мы должны научиться использовать их конструктивно».
Шаблоны уже доступны
Многое происходит в разработке современных лингвистических моделей, подтвердил Йенс Клесик, доктор медицинских наук, врач и ученый-компьютерщик из Института искусственного интеллекта в медицине университетской больницы Эссена в Германии, на мероприятии ChatGPT в здравоохранении. «Все это происходит одним махом», — сказал Клисек. Помимо OpenAI, Google анонсировала своего чат-бота Bard, который является прямым ответом на ChatGPT.
Стоит создать учетную запись OpenAI и проверить на себе, насколько чат-бот теперь может помочь в написании медицинских отчетов, создании форм информированного согласия и ответах на запросы пациентов. При этом важно по возможности использовать точно сформулированные подсказки (вводы), а также проверять и корректировать последующие ответы.
На Promptbase можно найти инструкции и приобрести готовые подсказки. ChatGPT уже предоставляет ряд удивительно полезных шаблонов.
Например, один из вопросов микробиологической викторины Березова звучал так: «Больной поступает в отделение неотложной помощи с сильной головной болью и ригидностью затылочных мышц. Врач назначает люмбальную пункцию для сбора спинномозговой жидкости. Окраска спинномозговой жидкости по Граму показывает наличие грамотрицательных диплококков. Какой диагноз?”
ChatGPT ответил правильно: «На основании предоставленной вами информации окраска по Граму спинномозговой жидкости показывает наличие грамотрицательных диплококков, представляющих собой бактерии, которые обычно имеют овальную форму и встречаются парами. Диагноз менингит».
Ограничения остаются
Подобные ответы заставляют быстро забыть, что современный искусственный интеллект (ИИ) — это не интеллект в обычном смысле этого слова. Скорее, это распознавание образов. Он составляет предложения на основе вычислений вероятности. В результате у ChatGPT есть ограничения.
Сам OpenAI указывает, что ChatGPT может генерировать ответы, которые звучат правдоподобно, но являются ложными или бессмысленными. Модель также чутко реагирует на изменения во входных данных или на многократные попытки с одним и тем же входным запросом.
Кроме того, ChatGPT часто отвечает обходным путем, слишком часто использует определенные формулировки и любит использовать клише. «Это все то, чего мы не хотим в медицине», — сказал Клисек.
Неизвестные источники
Одним из существенных ограничений является то, что в настоящее время невозможно узнать, из каких источников ИИ черпает информацию при формулировании своего конкретного ответа, сказала доктор философии Уте Шмид на мероприятии ChatGPT и другие лингвистические модели: между шумихой и полемикой. Шмид возглавляет рабочую группу по когнитивным системам на факультете компьютерных наук Бамбергского университета, Германия.
По мнению Клисека, на примере медицинского заключения из-за его ограничений лингвистическая модель ставит следующие проблемы:
-
Факты должны быть представлены достоверно и лаконично.
-
Для безопасности пациента рекомендуемое лекарство и дозировка должны быть правильными.
-
Использование ChatGPT должно экономить время в композиции и должно быть хорошо интегрировано в рабочий процесс.
-
Вопросы об ответственности, защите данных и авторских правах должны быть решены.
В комментарии в ПриродаКлауди Л. Боктинг, доктор философии, профессор клинической психологии Амстердамского университета, и ее коллеги перечисляют следующие пять аспектов, которые следует учитывать при дальнейшей разработке и исследованиях ChatGPT:
-
Предусмотрение аудита ответов людей
-
Разработка регламента ответственности
-
Инвестиции в по-настоящему открытые лингвистические модели (в зависимости от того, как модели обучаются, они содержат определенную предвзятость со стороны производителя; потенциальная мишень для формирования мнений)
-
Использование преимуществ ИИ
-
Расширение дискуссии и критическое отношение к технологии
Клисек видит много потенциальных применений в медицине для ChatGPT и подобных инструментов, таких как следующие:
-
Структурирование данных (ретроспективно/во время ввода)
-
Фильтрация данных
-
Обобщение истории болезни (требование достоверности)
-
Сбор истории болезни (интерактивно с пациентом)
-
Информационное посредничество на индивидуальном языке
-
«Перевод» находок
-
Литературные исследования
-
Замена некоторых разговоров с медперсоналом
-
Медицинское письмо
-
Связывание с генеративными моделями изображений
Клисек описывает комбинацию ChatGPT с другими алгоритмами искусственного интеллекта как «очень захватывающую» для медицины. В исследовании, недавно опубликованном в Радиология, исследователи изучили, в какой степени ChatGPT может улучшить интерпретируемость компьютерной диагностики (CAD) в маммографии. Интегрируя ChatGPT в систему CAD, можно запрашивать определенных пациентов или изображения. Обучение ИИ также можно использовать для получения информации о существующих рекомендациях на основе данных и для обнаружения потенциально новых биомаркеров на основе изображений.
«При использовании технологий на основе ИИ, таких как ChatGPT, важно действовать осторожно», — пишут авторы исследования. Несмотря на проблемы, они видят «большой потенциал» технологии для поддержки клинических решений и даже для повышения целесообразности процедур визуализации.
Приложения, находящиеся на рассмотрении
Kleesiek представил два исследования лингвистической модели преобразователя из той же категории, которая использовалась в Generative Pre-trained Transformer 3 (GPT-3) OpenAI. В первом исследовании лингвистическая модель использовалась для быстрого поиска в текстах конкретной информации о находках. Примером подсказки может быть: «Есть ли у пациента инфекция?»
«Мы видим, что модель реагирует не свободно, а понятно. Затем мы выделяем эту информацию в тексте, чтобы добиться надлежащей прослеживаемости и определенной надежности», — пояснил Клесек. Таким образом, можно понять, что ничего не было выдумано или сфабриковано и что ответы основаны на фактах.
Исследование «Извлечение информации из слабоструктурированных радиологических отчетов с помощью запросов на естественном языке» в настоящее время находится на рассмотрении.
В уже опубликованном исследовании оценивали терапевтический ответ на рентгенологические данные. Идея состоит в том, что чат-боты или лингвистические модели можно использовать для обобщения сложной истории болезни.
«Это должно было выяснить, в случае опухолевого заболевания, было ли ухудшение, улучшение или частичный терапевтический ответ. Исходя из этого, мы обнаружили, что при наличии однозначных результатов аппарат работает так же хорошо, как рентгенологи, — сказал Клисек.
«Но что делать в случае неубедительных результатов? Неубедительными будут, например, если у пациента было поражение в легком и одно в печени, одно становится больше, а другое меньше». Это было сложнее, чем однозначные выводы, и для рентгенологов. «Но мы видели, что эффективность оценки машины падает значительно больше, чем у рентгенологов, в случае неубедительных результатов. К этому следует относиться критически», — сказал Клисек.
Клиническая практика
Теперь Шмид хочет проверить, можно ли использовать ChatGPT для распознавания именованных объектов в медицинских отчетах. Распознавание именованных объектов является аспектом компьютерной лингвистики. Его цель состоит в том, чтобы именованные сущности автоматически распознавались и относились к предопределенным категориям.
Информация в медицинских отчетах не так легкодоступна, потому что она не структурирована в цифровом виде. «Это может показаться нам несложной проблемой. Из медицинского заключения мы можем установить диагноз, принадлежность пациента к мужчине или женщине, какие ранее существовавшие заболевания присутствуют, участвует ли в лечении специалист и многое другое. ” По словам Шмида, принципиальное различие заключается в том, что люди обрабатывают семантически, тогда как ChatGPT и подобные модели основаны на распознавании и обработке образов.
Kleesiek гарантирует, что «многое еще впереди» в развитии ChatGPT и других лингвистических моделей. Он отметил, что ChatGPT в том виде, в каком он сейчас функционирует, еще не готов к использованию в клинической практике.
Шмид считает важной социотехническую интеграцию. «Я считаю, что ChatGPT представляет собой поле возможностей для медицины». Тем не менее, этот инструмент не следует рассматривать как нечто, предлагающее советы влюбленным подросткам. “Если [someone] должны были ввести: «Я чувствую себя так ужасно, я хочу покончить с собой», а затем GPT-3 говорит: «Мне жаль это слышать. Я могу помочь вам с этим», — предупредил Шмид.
Распознавание образов, на котором основаны ChatGPT и другие лингвистические модели, ответственно за катастрофическое предложение «Я могу помочь вам с этим», данное в ответ на выражение суицидальных мыслей. Чат-боты в основном используются в Интернете для запросов в службу поддержки клиентов. За фразой «Я хочу» чаще всего следует «Я могу помочь», поэтому следующим логическим ответом будет «Я могу помочь вам (с этим)».
Эта статья была переведена с немецкого издания Medscape.
