Как X/Twitter обучил патологоанатомов инструменту искусственного интеллекта

Самые впечатляющие способы применения искусственного интеллекта основаны на качественных данных — и в большом количестве. Чат-боты, например, учатся общаться на миллионах веб-страниц, полных текста. Автономные транспортные средства учатся управлять автомобилем на основе данных датчиков, записанных во время миллионов поездок.

Для высокотехнологичных задач, таких как понимание медицинские изображенияоднако хорошие наборы данных найти труднее. В новом исследовании исследователи из Стэнфордского медицинского университета обучили алгоритм на основе искусственного интеллекта на сокровищнице высококачественных аннотированных медицинских изображений из удивительного источника — Twitter, теперь известного как X.

новый алгоритмкоторый обработал более 200 000 изображений патологии, обычно изображения клеток или тканей, окрашенных красителем, в высоком разрешении, а также обсуждения от X, способен считывать изображения для широкого спектра состояний, таких как меланома, рак молочной железы или паразитарная инфекция. Затем он может извлекать похожие изображения на основе изображения или текстового поиска. Алгоритм не предназначен для постановки диагноза сам по себе, а служит мощным справочным инструментом для врачей и студентов.

«Основное применение — помочь патологоанатомам искать похожие случаи», — сказал Джеймс Зоу, доктор философии, доцент кафедры биомедицинских данных и старший автор исследования, опубликованного 17 августа в журнале. Природная медицина.

Не обычный твит

«Некоторых людей может удивить тот факт, что в Твиттере на самом деле публикуется много высококачественных медицинских знаний», — сказал Цзоу. Фактически, платформа социальных сетей стала популярным форумом для патологоанатомов, где они могут делиться интересными изображениями — настолько, что сообщество широко приняло набор из 32 хэштегов для определения узких специальностей.

«Это очень активное сообщество, поэтому мы смогли курировать сотни тысяч высококачественных дискуссий о патологиях в Твиттере», — сказал он.

Типичный твит, связанный с патологией, может включать изображение неопознанного пациента, краткое описание и соответствующие хэштеги.

Для исследователей эти пары изображения и естественный язык (в данном случае письменные комментарии врачей) предоставляют ценную возможность научить алгоритм распознавать и связывать оба типа данных. «Цель здесь — обучить модель, которая сможет понимать как визуальный образ и текстовое описание», — сказал Цзоу. Это, в некотором смысле, придало бы смысл изображению патологии.

Во-первых, исследователям пришлось собрать большой набор обучающих данных. Чтобы отделить зерна от плевел, команда использовала 32 хэштега для поиска соответствующих твитов на английском языке с 2006 по 2022 год. Они удалили ретвиты, деликатные твиты и изображения, не являющиеся патологиями. Они включили ответы с наибольшим количеством лайков, что указывает на качество, и исключили ответы со знаками вопроса, которые подразумевают сомнение.

После этого процесса фильтрации и добавления еще 32 000 аннотированных изображений из общедоступных наборов данных, полученных из Интернета, у исследователей осталось чуть более 200 000 пар изображение-текст. Они назвали эту коллекцию OpenPath — один из крупнейших общедоступных наборов данных изображений патологий, аннотированных человеком.

Затем исследователи обучили модель ИИ на наборе данных OpenPath. В модели используется метод, известный как контрастное обучение языку и изображению, который определяет особенности изображений и текста, а затем сопоставляет их друг с другом. Этими характеристиками могут быть, например, размер клеточных ядер или определенные фразы, но они не указываются исследователями в явном виде.

«Сила такой модели в том, что мы не говорим ей конкретно, какие функции искать. Она сама изучает соответствующие функции», — сказал Цзоу.

Обученная модель искусственного интеллекта, которую исследователи назвали PLIP, что означает «Предварительное обучение языку-изображению патологии», позволит клиницисту вводить новое изображение или текстовое описание для поиска похожих аннотированных изображений в базе данных — своего рода настроенный поиск изображений Google. для патологоанатомов, сказал Цзоу.

PLIP также может сопоставить новое изображение с выбранным описанием заболевания, например, распознавая, показывает ли изображение нормальную ткань или злокачественную опухоль.

Интеллектуальная ссылка

Когда PLIP был протестирован на новых наборах данных, он легко превзошел существующие модели. По показателю точности, известному как показатель F1, с самой низкой производительностью в 0 и самой высокой в ​​1, новая модель получила оценки от 0,6 до 0,8 по сравнению с предыдущей моделью от 0,3 до 0,6. Цзоу подчеркнул, что PLIP призван не конкурировать с патологами-людьми, а поддерживать их.

«Возможно, патологоанатом смотрит на что-то немного необычное или двусмысленное», — сказал он. «Они могли бы использовать PLIP для получения похожих изображений, а затем ссылаться на эти случаи, чтобы помочь им поставить диагноз».

Центральное нововведение нового исследования — использование высококачественных медицинских знаний из социальных сетей — может быть распространено на другие специальности, такие как радиология и дерматология, которые также полагаются на визуальный осмотр, предположил Цзоу.

Что касается PLIP, исследователи постоянно собирают новые данные о патологии из X и других источников. «Чем больше у вас данных, тем лучше они будут», — сказал Цзоу.