В британском отчете говорится о растущем использовании ИИ для оценки качества университетских исследований

Новый национальный отчет впервые показал, как генеративный искусственный интеллект (GenAI) уже используется некоторыми университетами для оценки качества своих исследований, и его можно масштабировать, чтобы помочь всем высшим учебным заведениям (ВУЗам) сэкономить огромное количество времени и денег.

Но отчет, подготовленный Бристольским университетом, также раскрывает широко распространенный скептицизм среди ученых и специалистов, работающих в этом секторе, по поводу его использования для этой цели, и подчеркивает необходимость национального надзора и управления.

Британская система оценки качества исследований в высших учебных заведениях (ВУЗах) известна как Research Excellence Framework (REF). Его результаты влияют на то, как около 2 миллиардов фунтов стерлингов ежегодно выделяется на исследования университетов.

Ведущий автор Ричард Уотермейер, профессор высшего образования в Бристольском университете, сказал: «GenAI может изменить правила игры в оценке исследований на национальном уровне, помогая создать более эффективное и справедливое игровое поле. Несмотря на то, что существует много голосов против включения его в REF, наш отчет показывает, что инструменты GenAI, тем не менее, широко используются, хотя в настоящее время и незаметно, и что ожидания их использования членами экспертной группы REF высоки».

Последний REF состоялся в 2021 году, и после проверки в рекомендации по следующему были внесены изменения:REF2029— как ожидается, будет объявлено в этом месяце. Общие затраты REF2021 оцениваются примерно в 471 миллион фунтов стерлингов, в среднем по 3 миллиона фунтов стерлингов на каждый участвующий вуз, а финансы REF2029, как ожидается, будут намного выше.

Профессор Уотермейер сказал: «Отчет является своевременным, учитывая огромное финансовое давление, с которым сталкивается сектор. Широко признано, что нормативное бремя REF велико и, по всей вероятности, будет только увеличиваться. Наш отчет показывает, что GenAI имеет потенциал для облегчения некоторых из этих проблем, но не предлагает полного решения. Он также может создать новые собственные бюрократические проблемы, включая установление новых требований и протоколов для его надлежащего использования».

Ключевые выводы

В отчете исследовалось использование GenAI в 16 вузах, включая университеты Russell Group и недавно созданные университеты по всей Великобритании. Результаты свидетельствуют о том, что GenAI в той или иной степени широко используется для подготовки заявок REF. Но масштабы и способы его использования сильно различались.

Например, некоторые университеты использовали эти инструменты для сбора доказательств влияния своих исследований на мир в целом и для создания связанных историй. В других были свидетельства того, что разрабатываются собственные инструменты для оптимизации процессов REF или используется GenAI для обзора, оценки и оценки их исследований.

Профессор Уотермейер добавил: «Фактически существует явная разница в том, как вузы могут и могли бы использовать эти инструменты для получения конкурентных преимуществ в REF. Степень, в которой учреждения могут получить прибыль от этих инструментов, как и следовало ожидать, связана с их уровнем ресурсов и местным опытом».

Исследование также включало опрос почти 400 ученых и сотрудников профессиональных служб, в ходе которых их спрашивали, что они думают об инструментах GenAI, используемых для различных аспектов REF2029.

Во всех отношениях было показано, что большинство ученых и сотрудников профессиональных служб категорически не согласны, при этом уровень решительного противодействия варьируется от 54% до 75% респондентов по различным частям процесса REF. Почти четверть (23%) респондентов поддержали развертывание инструментов GenAI для поддержки университетов в разработке тематических исследований.

Что сказали участники

Исследование также включало интервью с 16 проректорами университетов. Некоторые были очень позитивны и считали его использование неизбежным: «Это будущее… Нам нужно идти в него… Мы должны понять это и немного поэкспериментировать» и «Я действительно думаю, что просто прятать голову в песок и говорить, что этого не произойдет или не произойдет на наших глазах, я думаю, это очень ограничивает то, как может выглядеть будущее… Я думаю, что существует много моральной паники, и я думаю, что мы не собираемся остановить это».

В других отзывах высказывались сомнения, недоверие и отмечались возможные ограничения ИИ: «Мне просто интересно, находимся ли мы сейчас в каком-то пузыре ИИ, где мы думаем, что всем будет управлять ИИ, и внезапно, в течение следующих шести-семи лет, мы на самом деле получим гораздо большую ясность в отношении ограничений ИИ».

Другой респондент прокомментировал: «Мы не доверяем им настолько, чтобы действительно начать отказываться от традиционных инструментов и дополнять их инструментами ИИ… все еще очень большое количество администраторов и исследователей еще не имели реального опыта работы с ИИ».

Профессор Уотермейер сказал: «Наши результаты показывают, что сопротивление инструментам сконцентрировано среди определенных академических дисциплин, в основном в области искусства, гуманитарных и социальных наук, а также среди тех, кто не пользуется ими. Сотрудники профессиональных услуг, как правило, с гораздо большим энтузиазмом относятся к потенциалу GenAI для REF, как и сотрудники учреждений, созданных после 92 года, которые имеют значительно меньше ресурсов, которые можно выделить на процессы REF».

Несколько ведущих респондентов HEI REF были восприимчивы или, по крайней мере, смирились с его использованием. Комментарии включали: «Я думаю, что ИИ никуда не денется, и поэтому нам нужно решить, как его внедрить так, чтобы нам было удобно» и «Я думаю, конечно, с точки зрения профессиональных услуг, что лучший способ сохранить свою работу и не быть замененным ИИ — это быть человеком, который может управлять ИИ».

Соавтор профессор Лори Фиппс, старший научный сотрудник Jisc, сказал: «Результаты фокус-группы подчеркивают острую необходимость в сильном управлении и общих стандартах. Очевидно, что без институциональной политики и национального руководства университеты рискуют фрагментированными подходами, неравномерным потенциалом и растущим неравенством между теми, кто способен разрабатывать индивидуальные системы, и теми, кто полагается на государственные инструменты.

«Участники последовательно призывали к созданию прозрачных руководящих принципов REF, чтобы определить, что представляет собой ответственное использование ИИ и как такое использование должно быть раскрыто. Точно так же существует консенсус в отношении того, что человеческий надзор должен оставаться центральным элементом всех оценочных процессов».

Следующие шаги и заключительные замечания

В отчете содержится множество рекомендаций, в том числе о том, что все университеты должны разработать и опубликовать политику использования GenAI в исследовательских целях, включая REF; соответствующий персонал должен пройти полное обучение ответственному и эффективному использованию инструментов ИИ; и должны быть реализованы соответствующие меры безопасности и управления рисками.

Это также требует жесткого национального надзора, включающего общеотраслевое руководство по использованию REF29 и комплексную систему управления REF AI. Чтобы обеспечить равноправный доступ к технологиям среди всех вузов, рекомендуется разработать общую высококачественную платформу искусственного интеллекта для REF и сделать ее доступной для всех вузов.

Соавтор Том Крик, профессор цифровых технологий в Университете Суонси, сказал: «Текущее разрозненное использование этих инструментов требует более четкой координации в стандартизированную структуру, с помощью которой сектор может принять и развивать открытую, прозрачную и ответственную практику. Это будет иметь решающее значение для смягчения несправедливой практики со стороны вузов и между дисциплинами и даже, возможно, для выравнивания правил игры для этого и будущих мероприятий по оценке национальных исследований».

С глобальной точки зрения, другие сопоставимые модели финансирования исследований, основанных на результатах, недавно были прекращены, а именно Excellence Research Australia и Фонд исследований, основанных на результатах, в Новой Зеландии.

Профессор Уотермейер сказал: «Мы видим, что методы национальной оценки исследований больше не соответствуют поставленной цели и не отвечают потребностям эпохи, основанной на данных. ГенИИ, возможно, не является решением, но его также нельзя сбрасывать со счетов из необходимой реформы, которую Великобритания находится в наилучшем положении, чтобы возглавить ее».

Доктор Стивен Хилл, директор по исследованиям Research England, сказал: «Эти результаты одновременно предостерегают и призывают к действию. Они предостерегают как от спешки, так и от самоуспокоенности, одновременно предлагая сектору руководить принципами, сотрудничеством и хорошо информированной критикой. При правильных гарантиях интеграция GenAI может помочь нам поддерживать качество, справедливость и доверие при оценке исследований в Великобритании».

Профессор Гай Поппи, проректор по исследованиям и инновациям Бристольского университета, сказал: «Очень важно, чтобы качество исследований в Великобритании можно было четко определить и измерить, что и является основной целью REF. Это ключевой отчет, который проливает важный новый свет на то, как инструменты ИИ в настоящее время используются в этом процессе, а также на более широкий потенциал для его будущего применения.

«Как мировые лидеры в области исследований и знаний в области искусственного интеллекта, Бристоль играет ключевую роль в повышении возможностей и проблем, связанных с этой быстро развивающейся технологией, на общеотраслевом уровне. Эта работа, несомненно, будет способствовать сбалансированным, основанным на фактических данных дискуссиям, касающимся REF, и информировать о тщательно продуманных решениях о том, как оцениваются и оцениваются исследования британских университетов, чтобы процессы оставались строгими, ответственными и прозрачными».