Против извращения системы оценки науки | Наука

Хорошо известно, что научные исследования являются основным двигателем экономического и социального прогресса; но должен работать корректно так что это позволяет нам по-настоящему улучшить нашу жизнь. К сожалению, есть явные доказательства которые указывают на необходимость исправления некоторых существенных его аспектов, таких как отсутствие надлежащего финансирования, малое значение, придаваемое в нашей стране междисциплинарным исследованиям, необходимость государственного пакта в области исследований, оценка исследователей, а также привлечение и удержание талантов. . В этой статье мы сосредоточимся на последних двух аспектах: оценке и таланте.

В Испании исследования исследователей, профессоров университетов и тех, кто стремится ими стать, оцениваются почти исключительно на основе библиометрических критериев. То есть с учетом объем публикаций, цитирования и другие меры числового характера. Но, за некоторыми исключениями, коллегиальная оценка исключена. То есть эксперты по данному вопросу выносят аргументированные суждения о наиболее значимом вкладе исследователей в развитие знаний.

Сторонники использования библиометрических критериев оценки утверждают, что они более «объективны» и менее затратны, чем коллегиальная оценка. Ключевой мерой здесь является так называемый импакт-фактор журналов, в которых исследователи публикуют наши результаты. Этот коэффициент рассчитывается для каждого журнала следующим образом: каждый год импакт-фактор журнала является результатом деления общего количества цитирований, полученных статьями этого журнала за два предыдущих года, на количество статей. опубликовано в указанном журнале в течение этих двух лет.

Реальность такова, что эти косвенные меры они не подходят оценить научный вклад исследователей. Исследование Филипа Кэмпбелла, тогдашнего редактора журнала Природа (версия «Бегство от импакт-фактора», Природа Том. 8, 2008 г.) выявило, что три четверти статей, опубликованных в этом престижном журнале, не участвуют в расчете импакт-фактора журнала. Фактически, 80% статей, опубликованных в Природа в каждом конкретном году они получают менее 20 назначений в течение следующих двух лет.

С другой стороны, известно, что есть редакторы журналов, которые в процессе рецензирования просят авторов статьи цитировать другие статьи недавно опубликовано в том же журнале. Таким образом им удается искусственно увеличить влияние журнала.

Короче говоря, можно констатировать, что сам факт публикации статьи в авторитетном журнале совсем не значит указанная статья представляет собой высококачественный научный вклад. Необходимо было бы подробно проанализировать релевантность цитирований, полученных рассматриваемой статьей, и причину этих цитирований, поскольку статья может получить много цитирований из-за того, что содержит ошибочные результаты. Самым известным примером является статья, которая, очевидно, продемонстрировала, что ядерный синтез возможен при комнатной температуре.

Малая практика

Измерьте академическую продуктивность по весу привез с собой большое количество трюки характеристики плутовства, столь распространенного в нашей стране. Некоторые примеры злоупотреблений могут быть следующими.

Исследователь может увеличить свою цифры делая соглашение о публикации с другими, которые будут выступать в качестве соавторов своих статей в обмен на выступление в качестве соавторов статей других. Это соглашение распространяется и на взаимные свидания.

Известный кликбейт, то есть статьи с заголовками, способными привлечь внимание других исследователей, поскольку они посвящены модная тема, хотя эти статьи представляют собой беспроцентный вклад. Другая стратегия заключается в написании статей, в которых обобщается состояние дел в данной области (статьи из опрос), поскольку они с большей вероятностью получат больше цитирований, чем статьи, содержащие оригинальные статьи.

В других случаях принято решение разделить научный результат на части, не превышающие минимальная публикуемая единица. Этот трюк также известен как публикация салями. Это искусственно увеличивает количество цитирований и публикаций.

В «Эль-ПАИС», как и в других СМИ, В последнее время были опубликованы различные новости. что объясняет некоторые из этих плохие привычки которые извращают систему оценки и доходят до крайних случаев, таких как публикации статей объемом в одну или две страницы, не имеющих научной значимости, содержащих сотни самоцитаций, не связанных с содержанием указанных статей. Наш коллега Хосе Луис Вердеге Он также недавно опубликовал отличную статью по этому аспекту («Производительность и научное качество: две стороны одной медали?» Университет 04.02.2024)

То, что должно быть сделано?

Разумная идея подойти к более точному измерению качества научной продукции — использовать критерии, которые работают на международном уровне в наиболее передовых в научном отношении странах. Например, Декларация об оценке исследований (ДОРА, Сан-Франциско, 2013 г.), Совместное заявление об оценке исследований в области информатики (Информатика Европы, 2020) о ла Малага Декларация Научного компьютерного общества Испании (SCIE, 2020). Во всех этих случаях утверждается, что оценка должна включать в себя экспертную оценку научного вклада с подробным анализом вклада, выходящего за рамки так называемого «современного уровня техники». То есть, помимо текущих знаний об исследуемом предмете, а также возможностей того, что такой вклад будет полезен другим исследователям для получения большего и лучшего результата, в соответствии со знаменитой фразой Исаака Ньютона: «Если бы мне удалось увидеть» Чем дальше, потому что я стоял на плечах гигантов».

Но, прежде всего, эти методы оценки необходимо дополнить чем-то, что кажется очевидным: ответственностью человека, использующего оценку, за принятие решений.

Последствия такого способа оценки

Мы хотим подчеркнуть негативные последствия нынешней системы, чтобы поставить цель, которую исследователи должны стремиться для продвижения в своей профессиональной карьере. Мы стремимся дать повод что-то изменить.

В слишком многих случаях усилия сосредоточены на выпуске статей с целью накапливать встречи; не обязательно, что они важны в каком-либо смысле. Мы убедились, что эта чушь – реальность. В результате постановки этой цели многие молодые люди, начинающие свою научную карьеру, испытывают искушение присоединиться к эта игра свиданий. К сожалению, в большинстве случаев их не приглашают участвовать в интересных исследованиях, которые представляют собой интеллектуальную задачу, позволяющую им расти как исследователям. В результате самые талантливые молодые обещания фуган в другие места, далекие от испанской академической исследовательской системы. Это особенно серьезно и распространено в нашей области искусственного интеллекта, поскольку есть много претензий со стороны других стран или частных компаний, предлагающих лучшие ресурсы и условия заработной платы.

Бегство талантов мешает нашим возможностям роста. В определенном смысле разрушается иллюзия, которую мы создали в будущем, в котором должны появиться новые поколения. Нашим выпускникам нужны перспективы карьерного роста, которые мотивируют их желание стать важной частью нашей системы исследований, разработок и инноваций. Крайне важно предлагать стабильные контракты и достойные условия труда, включая конкурентоспособную заработную плату, которая признает ценность вашей работы. Простая публикация потенциально цитируемых материалов не должна быть элементом, который следует принимать во внимание при привлечении талантов. Короче говоря, привлечение и удержание исследовательских талантов в Испании требует смены парадигмы в управлении создаваемыми знаниями.

Мы не хотим заканчивать эти строки, не указав на какое-то решение по привлечению и удержанию талантов. Возможно, неоригинально. Мы предлагаем взглянуть на системы, которым следуют страны вокруг нас и которые оказались успешными. Например, британская модель. Там финансирование исследовательских центров и кафедр университетов зависит от внешних экспертных оценок, а результаты оценок влияют на зарплаты исследователей, в том числе молодых докторантов. Таким образом, ответственность менеджеров за рост институтов включает в себя меры не только по удержанию талантов, но и по их привлечению. Помимо условий заработной платы, ключевым моментом является также способность заинтересовать молодых людей качеством преподавания и исследовательских проектов.

Мы оставили без ответа многие важные вопросы. Например, желательно ли, чтобы были университеты, в которых исследования не являются приоритетной задачей? Должны ли исследования в крупных компаниях частного сектора финансироваться за счет государственных средств? Эти и другие аспекты должны стать предметом обсуждения, если мы хотим, чтобы система НИОКР была сопоставима по качеству с системами наиболее развитых в научном отношении стран.

Вы можете следить МАТЕРИЯ в Фейсбук, Икс е Инстаграмнажмите здесь, чтобы получить наш еженедельный информационный бюллетень.