Поскольку число потребителей, обращающихся к инструменту ChatGPT за советом по здоровью, увеличивается, исследователи стремятся проверить, является ли информация, предоставляемая чат-ботом AI, надежной и точной. Исследование, проведенное исследователями Медицинской школы Университета Мэриленда (США), показывает, что сгенерированные ответы в подавляющем большинстве случаев дают правильную информацию; но иногда, однако, информация является неточной или даже фиктивной. Результаты опубликованы в журнале «Радиология».
В феврале 2023 года исследователи разработали 25 вопросов, связанных с рекомендациями по обследованию на рак молочной железы. Они отправляли каждый вопрос ЧатGPT три раза, чтобы увидеть, какие ответы были сгенерированы. (Было известно, что чат-бот меняет свой ответ каждый раз, когда задается вопрос.)
Три рентгенолога, специализирующихся на маммографии, оценили ответы и обнаружили, что они подходят для 22 из 25 вопросов.
Однако чат-бот дал ответ, основанный на устаревшей информации. У двух других были непоследовательные ответы, которые значительно менялись каждый раз, когда задавался один и тот же вопрос.
«Мы обнаружили, что ChatGPT правильно отвечал на вопросы в 88% случаев, что довольно удивительно», — говорит автор исследования Пол Йи. «У этого также есть дополнительное преимущество, заключающееся в обобщении информации в легко усваиваемой форме, чтобы ее было легко понять потребителям».
ChatGPT правильно ответил на вопросы о симптомах рака молочной железы, о том, кто находится в группе риска, а также на вопросы о стоимости, возрасте и рекомендациях по частоте маммографии.
Недостатком является то, что он не такой исчерпывающий в своих ответах, как то, что человек обычно находит в поиске Google. «ChatGPT предлагает только набор рекомендаций по скринингу рака молочной железы, выпущенных Американским онкологическим обществом, но не упоминает различные рекомендации, выпущенные другими национальными и международными организациями», — говорит ведущий автор исследования доктор Хана. Хейвер из Мэрилендского университета.
Мы обнаружили, что ChatGPT правильно отвечал на вопросы в 88% случаев, что довольно удивительно.
Хана Хейвер
Университет Мэриленда
«По нашему опыту, ChatGPT иногда фабрикует поддельные статьи из журналов или медицинских консорциумов, чтобы поддержать свои заявления», — говорит Йи. «Пользователи должны знать, что это новые и недоказанные технологии, и должны продолжать доверять своему врачу, а не ChatGPT, за советом.».
Йи и его коллеги сейчас анализируют результаты ChatGPT для рекомендаций по скринингу рака легких и определяют способы улучшения рекомендаций ChatGPT, чтобы сделать их более точными и полными, а также понятными для тех, кто не имеет высшего образования. .
«С быстрым развитием ChatGPT и других основных языковых моделей мы, как медицинское сообщество, обязаны оценивать эти технологии и защищать наших пациентов от потенциального вреда, который может быть вызван неверными рекомендациями по скринингу или устаревшими профилактическими стратегиями здоровья», — утверждает Марк. Т. Гладвин.
