«Это все, о чем мы говорили с ноября», — говорит Патрик Франзен, директор издательства SPIE, международного общества оптики и фотоники. Он имеет в виду ChatGPT, чат-бот на базе искусственного интеллекта (ИИ), представленный в этом месяце. В ответ на подсказку ChatGPT может создавать беглые и, казалось бы, хорошо информированные отчеты, эссе и научные рукописи. Обеспокоенные этичностью и точностью такого содержания, Франзен и менеджеры других журналов изо всех сил стараются защитить научную литературу от потенциального потока рукописей, полностью или частично написанных с помощью компьютерных программ.
Некоторые издатели еще не сформулировали правила. Большинство из них избегают прямого запрета на текст, сгенерированный ИИ, но просят авторов раскрывать информацию об использовании автоматизированных инструментов, как это, вероятно, сделает SPIE. На данный момент у редакторов и рецензентов мало альтернатив, так как им не хватает инструментов правоприменения. Пока никакое программное обеспечение не может постоянно обнаруживать синтетический текст в большинстве случаев.
Когда онлайн-инструмент ChatGPT стал доступен для бесплатного публичного использования, ученые были среди тех, кто стекался, чтобы попробовать его. (Создатель ChatGPT, американская компания OpenAI, с тех пор ограничил доступ к подписчикам.) Многие сообщали о его беспрецедентной и сверхъестественной способности создавать правдоподобно звучащий текст, насыщенный, казалось бы, фактическими деталями. ChatGPT и его собратья, в том числе Bard от Google, представленный ранее в этом месяце для избранных пользователей, и Galactica от Meta, которая была ненадолго доступна для публичного использования в ноябре 2022 года, — это алгоритмы ИИ, называемые большими языковыми моделями, обученные на огромном количестве текстовых образцов, извлеченных из Интернет. Программное обеспечение выявляет закономерности и отношения между словами, что позволяет моделям генерировать соответствующие ответы на вопросы и подсказки.
В некоторых случаях полученный текст неотличим от того, что написали бы люди. Например, согласно препринту от декабря 2022 года, исследователи, которые читали рефераты медицинских журналов, созданные ChatGPT, не смогли определить, что треть из них написана машиной. Ожидается, что разработчики ИИ создадут еще более мощные версии, в том числе предназначенные специально для научной литературы — перспектива, которая вызвала шок в индустрии научных публикаций.
До сих пор ученые сообщали, что экспериментировали с ChatGPT, чтобы изучить его возможности, и некоторые из них указали ChatGPT в качестве соавтора рукописей. Эксперты-издатели опасаются, что такое ограниченное использование может превратиться в всплеск рукописей, содержащих значительные фрагменты текста, написанного искусственным интеллектом.
Одной из забот руководителей журналов является точность. Ученые-компьютерщики обнаружили, что если программное обеспечение не было подвергнуто достаточному количеству обучающих данных для получения правильного ответа, оно часто будет фабриковать ответ. В ноябре Meta удалила общедоступный интерфейс для Galactica, своей большой языковой модели, ориентированной на ученых, всего через несколько дней после ее обнародования — пользователи обнаружили множество фактических ошибок в сгенерированном тексте. А предварительное исследование 2022 года Sparrow, чат-бота для поиска информации, разработанного дочерней компанией Google, показало, что до 20% его ответов содержали ошибки. Текст ИИ также может быть смещен в сторону устоявшихся научных идей и гипотез, содержащихся в содержании, на котором обучались алгоритмы. Редакторы журналов также беспокоятся об этике, предполагая, что авторы, использующие текстовые генераторы, иногда представляют результаты так, как если бы они их написали — нарушение, которое другие называют «агитаризмом».
Новые политики многих журналов требуют, чтобы авторы раскрывали информацию об использовании инструментов для генерации текста и запрещали указывать в качестве соавтора большую языковую модель, такую как ChatGPT, чтобы подчеркнуть ответственность автора-человека за обеспечение точности текста. Это тот случай, когда Природа и все журналы Springer Nature, сеть JAMA и группы, которые консультируют по передовым методам публикации, такие как Комитет по этике публикаций и Всемирная ассоциация медицинских редакторов. Но по крайней мере одно издательство заняло более жесткую позицию: Наука семейство журналов объявило о полном запрете генерируемого текста в прошлом месяце. По словам главного редактора Холдена Торпа, журналы могут ослабить политику в будущем в зависимости от того, что научное сообщество сочтет приемлемым использованием текстовых генераторов. «Гораздо проще ослабить наши критерии, чем ужесточить их».
Некоторые должностные лица издательства все еще прорабатывают детали, например, когда они могут попросить сотрудников журнала, редакторов или рецензентов изучить или проверить сгенерированный текст, раскрытый авторами, — задачи, которые добавят к тому, что часто уже является тяжелой работой волонтеров. Редакторы издательской группы Taylor & Francis, чье предстоящее правило, вероятно, потребует раскрытия такого текста, могут иногда просить авторов указать, какие части их рукописи были написаны с помощью компьютера, говорит Сабина Алам, директор по издательской этике и честности. Поиск статей для включения в систематический обзор может быть законным использованием, если исследователь следует надлежащим методам при принятии решения, какие статьи включить, например, говорит она, в то время как вырезать и вставлять их в обзорную или авторскую статью «недопустимо, потому что это не твоя точка зрения». По ее словам, эта политика, скорее всего, будет меняться по мере того, как издательская индустрия будет приобретать больше опыта работы с такими рукописями. «Мы рассматриваем это как поэтапный подход. Это действительно ранние дни».
Руководители журналов также говорят, что они надеются контролировать новую технологию, используя дополнительные технологии: автоматические детекторы, которые могут помечать синтетический текст. Но это непросто, говорит Доменик Розати, старший научный сотрудник scite.ai, компании, разрабатывающей программное обеспечение для научных издателей. «Мы давно прошли то время, в частности в науке, когда можно было сказать, что это очевидно. [certain text came from] машина из-за ее беглости или отсутствия правдивости».
Текущие детекторы оставляют желать лучшего. В прошлом месяце OpenAI представила свой «классификатор», который классифицирует представленный текст по шкале от «вероятно», что он был написан компьютером, до «очень маловероятно». Классификатор обучался с использованием парных образцов человеческого письма и сгенерированного компьютером текста из 34 алгоритмов пяти разных компаний, включая саму OpenAI. Но OpenAI допускает несколько ограничений. Инструмент, который все еще находится в стадии разработки, правильно применяет ярлык «вероятно» только в 26% случаев. Люди могут обмануть его, редактируя сгенерированный компьютером текст. И он может не всегда идентифицировать синтетический текст по темам, которые не были включены в обучающие данные. Ученые-компьютерщики говорят, что эти ограничения обычно применимы и к другим детекторам.
На горизонте могут появиться лучшие решения. В декабре 2022 года OpenAI заявила, что работает над способами нанесения «водяных знаков» на сгенерированный текст. Он запрограммирует свои модели на вставку слов, орфографии и пунктуации в контрольном порядке, чтобы создать секретный код, обнаруживаемый поисковыми системами. А в прошлом месяце команда Стэнфордского университета опубликовала препринт с описанием DetectGPT, который, в отличие от других детекторов, не требует обучения. Этот алгоритм проверяет текст, создавая несколько случайных вариантов и запрашивая у генератора текста ранжирование предпочитаемых версий. Степень, в которой генератор, разработанный OpenAI и похожий на ChatGPT, предпочитает исходный текст измененным версиям, постоянно различается для текста, написанного человеком, и текста, сгенерированного ИИ, что позволяет DetectGPT предсказывать вероятность того, что образец был получен из конкретная машина. Но DetectGPT нуждается в дальнейшем развитии, прежде чем редакторы журналов смогут полагаться исключительно на его результаты при принятии решений по рукописям, например, говорит Эрик Митчелл, докторант, возглавлявший команду Стэнфорда. Компания TurnItIn, которая продает широко используемый детектор плагиата, заявила на прошлой неделе, что планирует выпустить синтетический детектор текста уже в апреле. TurnItIn говорит, что инструмент, обученный академическому письму, может идентифицировать 97% текста, сгенерированного ChatGPT, с частотой ложных срабатываний 1 из 100.
По словам Розати, еще одной вычислительной задачей является оценка фактической точности сгенерированного роботом текста и качества его резюме. Его фирма работает над автоматизированной проверочной программой, которая просматривает существующую научную литературу, чтобы определить, действительно ли конкретная цитата в рукописи представляет то, что, например, утверждает рукопись. По словам Розати, этот инструмент может выявлять ссылки, сфабрикованные машиной, а также нерелевантные или неверные данные, предоставленные людьми.
Некоторые редакторы видят в появлении ChatGPT и его родственников как многообещающие, так и опасные возможности. Программисты разрабатывают и совершенствуют программное обеспечение, которое создает гипотезы, пишет компьютерный код и анализирует данные, например, чтобы сделать работу исследователей более эффективной и продуктивной. «Я вижу сценарии, в которых будут причины для беспокойства, но также я вижу огромное количество возможностей с этими типами инструментов», — говорит Магдалена Скиппер, главный редактор Природа. «Как и в случае с любым инструментом, мы должны понимать ограничения. … Это требует, чтобы мы уделяли пристальное внимание тому, как эти инструменты разрабатываются, как они используются и в каком контексте».
Исправление, 22 февраля, 14:25: В более ранней версии этой истории имя Эрика Митчелла указано неверно.
