Med-Gemini от Google превосходит OpenAI GPT-4 в диагностике, но можем ли мы ему доверять?

По данным Google, их передовой медицинский ИИ Med-Gemini превосходит GPT-4 OpenAI по фактической точности, надежности и способности справляться с тонкостями клинических рассуждений.

В сотрудничестве с Google DeepMind компания Google Research представила новую статью (опубликованную на Arxiv), в которой подробно описывается Med-Gemini, их будущий инструмент искусственного интеллекта, разработанный для сферы здравоохранения. По мнению исследователей Google, хотя в настоящее время компания Med-Gemini проводит исследования, она использует передовые технологии, превосходящие даже установленные отраслевые стандарты.

Med-Gemini может похвастаться большими мультимодальными моделями (LMM), предназначенными для различных целей и применений. Модели Gemini от Google по умолчанию были хорошо оснащены передовыми технологиями. Они могли обрабатывать информацию из текста, изображений, видео и аудио. Med-Gemini гораздо более эффективен, поскольку в нем реализованы все эти особенности.

Med-Gemini включает в себя большие мультимодальные модели (LMM), каждая из которых адаптирована для конкретных задач и приложений в сфере здравоохранения. Основываясь на мощных моделях Google Gemini (ранее Bard), которые по своей сути обрабатывают текстовые, графические, видео- и аудиоданные, Med-Gemini использует эту основу для дальнейшей тонкой настройки для специализированных медицинских областей. Некоторые из них включают в себя:

Способность доступа, обработки информации и возможности самообучения: Med-Gemini использует возможности веб-поиска, чтобы расширить свои передовые возможности клинического рассуждения. Демонстрируя свое мастерство, Med-Gemini достигла самых современных показателей (SOTA) по 10 из 14 протестированных медицинских тестов, превзойдя семейство моделей GPT по всем сопоставимым показателям.

По данным New Atlas, производительность Med-Gemini по тесту MedQA (USMLE) выделяется, достигнув впечатляющей точности 91,1 процента. Этот успех объясняется ее инновационной стратегией поиска, основанной на неопределенности, которая превосходит медицинскую LLM Google, Med-PaLM 2, со значительным отрывом в 4,5 процента.

Оптимизация анализа обширных электронных медицинских записей: Длинный характер электронных медицинских карт (ЭМК), часто содержащих повторяющийся текст, может препятствовать эффективному поиску информации. Исследователи разработали задачу «иголку в стоге сена», чтобы продемонстрировать мастерство Med-Gemini в решении этой проблемы.

Исследователи использовали огромную общедоступную базу данных MIMIC-III (киоск медицинской информации для интенсивной терапии). Эта база данных содержит обезличенные данные о состоянии здоровья пациентов, поступивших в отделения интенсивной терапии (ОИТ). Задача, разработанная для проверки возможностей Med-Gemini, имитировала реальную задачу: выявление редкого или малозаметного медицинского состояния, симптома или процедуры, скрытых в обширной коллекции данных электронных медицинских карт пациентов.

Med-Gemini хорошо показал себя в тесте, продемонстрировав свою способность извлекать все упоминания о целевой медицинской проблеме из историй болезни пациентов. Более того, он вышел за рамки простого поиска, оценивая релевантность каждого упоминания, классифицируя их и, в конечном итоге, определяя историю болезни пациента с этим заболеванием. Этот процесс также выявил способности Мед-Близнецов к рассуждению.

«Возможно, наиболее примечательным аспектом Med-Gemini являются возможности обработки длинного контекста, поскольку они открывают новые границы производительности и новые, ранее невозможные возможности применения для медицинских систем искусственного интеллекта», — говорят исследователи.

Чего еще ожидать?

Хотя возможности Med-Gemini, несомненно, впечатляют, исследователи признают, что есть возможности для улучшения. Тем не менее, его производительность означает многообещающее будущее для медицинских приложений на базе искусственного интеллекта.

Кроме того, поисковый гигант заявил, что будет уделять внимание справедливости и конфиденциальности во время разработки. «Соображения конфиденциальности, в частности, должны быть укоренены в существующей политике и правилах здравоохранения, регулирующих и защищающих информацию пациентов», — говорят исследователи.

Исследователи признают риск того, что системы здравоохранения с использованием искусственного интеллекта непреднамеренно увековечивают исторические предубеждения и неравенство, признавая важность справедливости. Это не просто теоретическая проблема; недавние примеры, такие как инструмент искусственного интеллекта Microsoft Copilot, который подвергся критике за создание антисемитских стереотипов, подчеркивают потенциальный вред.

Если оставить эти предубеждения без внимания, они могут привести к неравной эффективности моделей и потенциально вредным последствиям для маргинализированных групп пациентов в здравоохранении.