Влияние программ магистратуры на науку: бум публикаций, стагнация качества

Этот эффект, вероятно, был наиболее выражен у людей, для которых английский язык не был родным. Если исследователи ограничили анализ людьми с азиатскими именами, работающими в учреждениях в Азии, количество их заявок в bioRxiv и SSRN почти удвоилось после того, как они начали использовать ИИ, а в arXiv выросло более чем на 40 процентов. Это говорит о том, что люди, которые, возможно, не обладают хорошими навыками английского языка, используют LLM, чтобы преодолеть основное препятствие: создание убедительного текста.

Количество против качества

Не следует недооценивать ценность создания убедительного текста. «Статьи с ясным, но сложным языком воспринимаются как более убедительные и цитируются чаще», — отмечают исследователи, предполагая, что мы можем использовать качество написания как показатель качества исследования, которое в них описывается. И они нашли некоторые признаки этого здесь, поскольку статьи, не использующие LLM, с большей вероятностью будут опубликованы в рецензируемой литературе, если в них используется сложный язык (тезисы оценивались по языковой сложности с использованием пары стандартных показателей).

Но для статей, выпущенных LLM, динамика была совершенно иной. Сложность языка в статьях, написанных с помощью LLM, обычно выше, чем в статьях, использующих естественный язык. Но они были менее вероятно чтобы в конечном итоге быть опубликованным. «Для рукописей, созданных с помощью LLM, — пишут исследователи, — положительная корреляция между лингвистической сложностью и научными достоинствами не только исчезает, но и инвертируется».

Но не все различия были мрачными. Когда исследователи проверили ссылки, используемые в статьях с использованием ИИ, они обнаружили, что студенты LLM не просто цитируют те же статьи, что и все остальные. Вместо этого они цитировали более широкий круг источников и чаще цитировали книги и недавние статьи. Таким образом, есть шанс, что использование ИИ может в конечном итоге разнообразить опубликованные исследования, которые рассматривают другие исследователи (при условии, что они проверяют свои собственные ссылки, которые они явно должны).

О чем это нам говорит?

Есть несколько предостережений относительно интерпретации этих результатов. Один из них, признанный исследователями, заключается в том, что люди могут использовать ИИ для создания исходного текста, который затем сильно редактируется, и здесь он может быть ошибочно помечен как текст, созданный человеком. Таким образом, общая распространенность использования ИИ, вероятно, будет выше. Во-вторых, публикация некоторых рукописей может занять некоторое время, поэтому использование ими этого стандарта в качестве стандарта научного качества может наказать более поздние черновики, которые с большей вероятностью будут связаны с использованием ИИ. В конечном итоге это может исказить некоторые результаты, но наблюдаемые авторами эффекты были настолько велики, что вряд ли исчезнут полностью.