«Шаг в правильном направлении»: как быстрое проектирование может улучшить генИИ

Ни один здравомыслящий врач никогда не позволит большой языковой модели заменить их у постели больного, но те, кто хочет использовать эти цифровые инструменты для дополнения процесса принятия решений, могут извлечь выгоду из быстрого проектирования.

Поскольку так много крупных разработчиков технологий создают большие языковые модели (LLM), врачи и руководители здравоохранения часто изо всех сил пытаются найти наиболее эффективный способ их использования в административных и клинических целях. Например, любой, кто использовал ChatGPT, знает, что он может давать совершенно противоположные результаты, некоторые из которых являются точными, а другие — полной выдумкой. Один из способов улучшить результаты подсказок — использовать разработку подсказок.

ChatGPT согласен. Когда его попросили объяснить оперативную разработку простыми словами, чат-бот ответил: «Быстрая разработка — это процесс тщательной разработки вопросов или инструкций, которые вы даете языковой модели, чтобы получить лучшие и наиболее релевантные ответы. Это включает в себя настройку и уточнение подсказок для достижения желаемого результата». Далее он отметил, что этот процесс лучше всего достигается с помощью экспериментов и усовершенствований.

«Непродуманная подсказка»

В прошлом году мы спросил ChatGPT для диагностики у пациента боли в груди и ряда других признаков и симптомов. Мы могли бы применить более детальный подход и использовать быструю разработку, чтобы улучшить запрос и, возможно, получить более точный ответ. Первоначальный ответ на нашу «неинженерную» подсказку оказался не совсем верным. Это предполагало, что у пациента был инфаркт миокарда, хотя на самом деле по крайней мере один из его симптомов предполагал совершенно другой диагноз (расслоение аорты).

В последующий блогмы обсудили более сложные подходы к установлению возможного диагноза. Например, одна исследовательская группа попросила ChatGPT сгенерировать основные дифференциальные диагнозы для созданного ими сценария. Используя историю болезни пациентов и осмотры врачей, врачи «правильно поставил диагноз в основных дифференциальных диагнозах в 83 процентах случаев» по ​​сравнению с 87 процентами для ChatGPT-4.

Оперативное проектирование также может использовать некоторые другие тактики. Можно экспериментировать с разные стили подсказок, например; вместо того, чтобы задавать прямой вопрос, вы можете попросить чат-бота объяснить пошаговый процесс диагностики пациента с определенным набором признаков, симптомов и результатов лабораторных исследований. Берталан Меско, доктор медицинских наук из Медицинского института футуристов в Будапеште, Венгрия, также предложил ролевую игру в качестве еще одной тактики. Вы можете сформулировать подсказку следующим образом: «Предположим, вы кардиолог, пытающийся объяснить пациенту, что могут означать его признаки и симптомы».

Повторяйте и совершенствуйте

Другая тактика — повторять и уточнять после того, как чат-бот сгенерирует ответ на ваш первый запрос. Одна из исключительных особенностей LLM на основе чата, таких как ChatGPT и Bard, в отличие от Alexa или Siri, заключается в том, что они запоминают ваш первоначальный запрос и позволяют вам вести очень длинный разговор по одному и тому же вопросу. Это позволяет вам изменять вывод на основе обратной связи, добавляя второй и последующие запросы. Эта уникальная возможность является функцией механизма внимания LLM и архитектуры преобразователя. В сценарии использования, который мы изначально предоставили о пациенте с болью в груди и болью в левой ноге, мы могли бы оспорить предположение бота об ИМ, задав дополнительный вопрос: «Боль в ноге пациента не соответствует ИМ. Пожалуйста, объясните, что может означать эта боль».

Варианты использования, демонстрирующие ценность оперативного проектирования, включают: анализ Сонгая и др., который представил «настройку подсказок инструкций, эффективный по параметрам подход для согласования LLM с новыми доменами с использованием нескольких образцов. Полученная в результате модель Med-PaLM работает обнадеживающе, но по-прежнему уступает клиницистам. Мы показываем, что понимание, запоминание знаний и рассуждение улучшаются с увеличением масштаба модели и быстрой настройкой инструкций, что указывает на потенциальную полезность программ LLM в медицине». Кроме того, существует несколько учебных пособий, которые помогут пользователям применить последние достижения в области оперативное проектирование в целом и в учреждение здравоохранения.

Хотя оперативное проектирование завоевало популярность среди многих заинтересованных сторон в области ИИ, некоторые критики задаются вопросом, является ли быстрое проектирование лучшим способом улучшить результаты, полученные с помощью LLM. В качестве альтернативы они указывают на формулирование проблемы как на достойную стратегию. Огуз Акар объясняет процесс в недавняя статья в Harvard Business Review: «Быстрое проектирование направлено на создание оптимального текстового ввода путем выбора подходящих слов, фраз, структур предложений и знаков препинания. Напротив, формулировка проблемы подчеркивает ее определение путем определения ее фокуса, масштаба и границ. Быстрое проектирование требует четкого понимания конкретного инструмента искусственного интеллекта и лингвистических знаний, в то время как формулирование проблем требует всестороннего понимания проблемной области и способности выделять реальные проблемы. Дело в том, что без хорошо сформулированной задачи даже самые сложные подсказки не принесут результата. Однако, как только проблема четко определена, лингвистические нюансы подсказки становятся несущественными для решения».

Оперативное проектирование, возможно, не является панацеей, которая волшебным образом генерирует идеально точные результаты и исключает фальсификации. Тем не менее, это шаг в правильном направлении.

Этот кусок была написана Джоном Халамкой, доктором медицинских наук, президентом, и Полом Серрато, старшим аналитиком-исследователем и специалистом по коммуникациям Mayo Clinic Platform. Чтобы просмотреть их блог, кликните сюда.