Научный «спам-фильтр» отмечает более 250 000 потенциально фальшивых исследований рака

Новый инструмент машинного обучения выявил более 250 000 работ по исследованию рака, которые могли быть созданы так называемыми «бумажными фабриками». Исследование, разработанное исследователем QUT профессором Адрианом Барнеттом из Школы общественного здравоохранения и социальной работы и Австралийского центра медицинских услуг и инноваций (AusHSI), а также международной командой сотрудников, исследование, опубликовано в БМЖпроанализировали 2,6 миллиона исследований рака с 1999 по 2024 год.

В исследовании «Проверка потенциальных публикаций бумажной фабрики по исследованию рака на основе машинного обучения: методологическое и перекрестное исследование» было обнаружено более 250 000 статей с образцами написания, похожими на статьи, которые уже были отозваны из-за подозрений в фальсификации.

«Бумажные фабрики — это компании, которые продают фальшивые или некачественные научные исследования. Они проводят «исследования» в промышленных масштабах, и наши результаты показывают, что проблема в исследованиях рака гораздо серьезнее, чем думает большинство людей», — сказал профессор Барнетт.

Продавая авторские права и готовые исследовательские работы, бумажные фабрики часто используют переработанный текст, неуклюжие формулировки или сфабрикованные данные и изображения.

«Скорее всего, они полагаются на шаблонные шаблоны, которые могут быть обнаружены большими языковыми моделями, анализирующими шаблоны в текстах», — сказал профессор Барнетт.

Он и его команда обучили языковую модель под названием BERT распознавать тонкие текстовые «отпечатки пальцев», которые неоднократно появляются на известных продуктах бумажной фабрики.

При тестировании на проверенных примерах модель правильно идентифицировала подозрительные бумаги в 91% случаев.

«По сути, мы создали научный спам-фильтр», — сказал профессор Барнетт.

«Подобно тому, как ваша система электронной почты может обнаруживать нежелательные сообщения, наш инструмент помечает документы, которые соответствуют стилю и структуре письма, которые мы видим в отозванных мошеннических работах».

Ключевые выводы крупномасштабного анализа включают в себя:

• Количество помеченных статей резко возросло за два десятилетия, увеличившись примерно с 1% в начале 2000-х годов и достигнув пика более 16% в 2022 году.
• Эта проблема затрагивает тысячи журналов крупных издательств, включая влиятельные издания.
• Проблема наиболее сконцентрирована в таких областях, как молекулярная биология рака и лабораторные исследования на ранних стадиях.
• Некоторые виды рака, в том числе рак желудка, печени, костей и легких, демонстрируют особенно высокий уровень подозрительных документов.

Три научных журнала уже тестируют этот инструмент в рамках редакционной проверки. Это позволит редакторам выявлять потенциально сфабрикованные рукописи, прежде чем они будут отправлены на рецензирование.

Команда планирует распространить этот инструмент на другие области исследований и улучшить модель по мере появления новых подтвержденных случаев деятельности бумажных фабрик. Они подчеркивают, что полученные результаты не являются подтвержденными случаями мошенничества в исследованиях и должны быть проверены специалистами-людьми.

«Исследования рака влияют на клинические испытания, разработку лекарств и уход за пациентами», — сказал профессор Барнетт.

“Если сфабрикованные исследования проникнув в доказательную базу, они могут ввести в заблуждение настоящих ученых и в конечном итоге замедлить прогресс пациентов. Вот почему крайне важно, чтобы мы опередили эту проблему».