Новый метод обучения помогает моделям ИИ обрабатывать беспорядочные и разнообразные данные медицинских изображений

Больницы не всегда имеют возможность собирать данные аккуратными и однородными пакетами. Клиника может иметь несколько тщательно маркированных изображений, полученных от одного сканера, и при этом хранить тысячи немаркированных сканов из других центров, каждое из которых имеет разные настройки, состав пациентов и артефакты изображений. Эта путаница еще больше усложняет сложную задачу — сегментацию медицинских изображений. Модели, обученные с использованием четких предположений, могут споткнуться при использовании в другом месте, особенно на небольших, тусклых или малоконтрастных целях.

Доцент Чжао На из SUTD и его коллеги решили принять этот беспорядок, а не игнорировать его. Вместо обычной схемы, в которой предполагается, что размеченные и неразмеченные данные извлекаются из одинаковых распределений, они работают в более реалистичном сценарии, называемом междоменной полуконтролируемой генерализацией доменов (CD-SSDG).

В этом сценарии несколько помеченных изображений происходят из одного домена, в то время как обильный пул немаркированных изображений охватывает несколько разных доменов, и это именно та ситуация, с которой сталкиваются многие больницы.

Выводы команды подробно описаны в документе “Асимметричное совместное обучение с двойным контролем для обобщения медицинской области под полуконтролем», опубликованный в Транзакции IEEE в мультимедиа.

В настоящее время полуконтролируемые методы обычно опираются на псевдометки. Модель, обученная на меньшем размеченном наборе, угадывает ярлыки для неразмеченных изображений, а затем учится на этих предположениях. Когда немаркированные изображения сильно отличаются от маркированных, эти предположения оказываются ошибочными, и ошибки усугубляются.

Ответ исследователей — это асимметричная система совместного обучения с двойным контролем или DAC, в которой две подмодели обучаются бок о бок. Они по-прежнему обмениваются псевдометками, но с важным дополнением: контролем на уровне функций.

Вместо того, чтобы доверять только догадкам по пикселям, каждая модель также подталкивает другую к выравниванию в более богатом пространстве функций, поощряя согласие по базовой структуре, даже если стиль и контраст различаются. Подмоделям также даются различные вспомогательные задачи для самостоятельного контроля: человек учится локализовать смешанный патч в изображении CutMix; другой учится распознавать вращение патча.

Эта асимметрия сохраняет разнообразие их внутренних представлений, снижая риск краха обеих моделей из-за одних и тех же ошибок и обостряя их способность отделять передний план от фона.

«Как врачи и инженеры, нам редко удается выбирать аккуратные наборы данных», — сказал доцент Чжао. «DAC — это наш способ добавить систему безопасности. Когда псевдометки хрупкие, руководство на уровне функций по-прежнему привязывает модель к стабильным, инвариантным к предметной области сигналам. Затем асимметричные задачи подталкивают двух учащихся видеть данные под разными углами».

Протестировано на трех контрольных параметрах сегментации — глазном дне сетчатки (диске зрительного нерва и чашечке), изображениях колоректальных полипов и МРТ серого вещества спинного мозга — DAC неизменно лучше обобщал невидимые области, чем сильные базовые линии, включая методы, специально созданные для генерализации областей.

Результаты были наиболее впечатляющими на небольших или малоконтрастных структурах, таких как глазной бокал, где команда наблюдала двузначные улучшения в баллах Дайса по сравнению с современными подходами при низких меченых соотношениях. Важно отметить, что вспомогательные задачи и контроль функций используются только во время обучения, поэтому стоимость вывода DAC соответствует стоимости традиционных моделей.

«Что нас удивило, так это стабильность», — добавил доцент Чжао. «Даже несмотря на то, что мы сократили маркированную долю до десятой доли в некоторых условиях, кривая не рухнула. Это вселяет уверенность в больницы, которые могут маркировать только небольшую подгруппу каждый год, но все же хотят модели, которые хорошо путешествуют».

Подход команды также прагматичен. Контроль на уровне объектов действует как мягкое ограничение, которое не зависит от точных попиксельных меток, которые, как известно, сильно зашумлены при сдвиге домена. Асимметричные задачи, локализация смешанного патча и прогнозирование случайного вращения патча, просты в реализации (каждая по одной линейной головке) и легки в вычислительном отношении, но при этом они достаточно диверсифицируют двух обучающихся, чтобы со временем улучшить качество псевдометок.

Команда также наметила, в каком направлении можно развивать DAC. К случаям неудачи относятся изображения глазного дна, где множественные кровеносные сосуды пересекают диск и сцены, где цель почти сливается с фоном.

Будущая работа включает в себя расширение изображений глазного дна с учетом сосудов и адаптивные многопроекционные представления, которые сочетают в себе многомасштабные и частотные сигналы для повышения четкости границ в условиях низкой контрастности.

«Эти ингредиенты не ограничиваются тремя наборами данных, которые мы протестировали», — отметил доцент Чжао. «Визуализация опухолей сталкивается с одинаковыми двойными трудностями — дорогими аннотациями и вариациями от центра к центру. DAC здесь немедленно применим, особенно там, где точные границы клинически важны».

Хотя DAC — это рецепт обучения, а не совершенно новая сеть, его влияние носит практический характер: лучше используйте немаркированные межцентровые данные, не предполагая, что мир независим и одинаково распределен. Этот метод также хорошо работает с существующими магистралями (ResNet-DeepLabv3+ в текущем исследовании) и стандартными оптимизаторами, сокращая путь к внедрению.

Исследователи сообщают о стабильных улучшениях в тестах Fundus, Polyp и самоконтролируемом сопоставлении контрастных графов (SCGM), более быстром обучении, чем ведущий базовый вариант совместного обучения, и отсутствии дополнительных затрат при развертывании.

«Прежде всего, главное — обобщение», — сказал доцент Чжао. «Больницам нужны модели, которые ведут себя, когда сканер другой, пациент другой, освещение другое. Контролируя не только метки, которые мы видим, но и функции, которые сохраняются в разных областях, мы приближаемся на один шаг к этой цели».