После 17 лет работы издателем коротких научно-фантастических и фэнтезийных рассказов в Clarkesworld, печатном онлайн-журнале, который он основал в 2006 году, Нил Кларк научился выявлять случайные случаи плагиата из сотен материалов, которые он получает каждый месяц.
Проблема обострилась во время фазы изоляции от пандемии, когда работники, находящиеся дома, искали способы повысить доход. Но он взорвался в декабре, после того как компания OpenAI из Сан-Франциско публично выпустила свою программу ChatGPT, особенно сложный машинный генератор прозы.
Кларк считает, что из 1200 заявок, которые он получил в этом месяце, 500 были написаны машинным способом. Он закрыл прием заявок по крайней мере до конца месяца, но он уверен, что если бы он этого не сделал, искусственная стопка достигла бы паритета с законными заявками к тому времени — «и, скорее всего, пройдет», — говорит он. .
Это сумасшествие охватило весь мир, и все в безумии.
— Х. Холден Торп, главный редактор журнала Science.
«Мы не видели оснований полагать, что он замедляется», — говорит 56-летний Кларк. Как и в случае с плагиаторами, он отклонил созданный машиной контент и навсегда заблокировал отправителей.
Ветеран индустрии программного обеспечения, Кларк разработал эмпирические правила, которые позволяют ему идентифицировать текст, написанный машиной; он не делится ими, опасаясь, что простые настройки позволят пользователям обойти его стандарты. «Они по-прежнему были бы плохими историями, и их все равно отвергали бы, но для нас это было бы в 10 раз сложнее».
Регуляторные системы едва ли начали задумываться о юридических последствиях программ, которые могут рыскать в Интернете в поисках исходного материала, включая перспективу повсеместного нарушения авторских прав и подделок в прозе и искусстве.
Внешний вид подлинности «сделает генеративный ИИ привлекательным для злонамеренного использования там, где правда менее важна, чем сообщение, которое он продвигает, например, в кампаниях по дезинформации и онлайн-преследованиях», — пишет Алекс Энглер из Института Брукингса.
Натиск машинописных материалов стал темой А в периодической индустрии, потому что ChatGPT и подобные программы, известные как чат-боты, продемонстрировали способность создавать прозу, которая в удивительной степени имитирует человеческое письмо.
«Все говорят об этом, и многие люди сосредоточены на том, что это будет означать для научных публикаций», — говорит Х. Холден Торп, главный редактор семейства журналов Science. «Все это безумие охватило мир, и все в безумии».
Наука ввела самую строгую политику в отношении контента, созданного инструментами искусственного интеллекта, такими как чат-боты, среди технических издателей: это запрещено, и точка.
Запрет на публикации включает «текст, сгенерированный с помощью ИИ, машинного обучения или аналогичных алгоритмических инструментов», а также «сопровождающие рисунки, изображения или графику». Программы ИИ не могут быть указаны как авторы. Наука предупреждает, что будет рассматривать нарушение этой политики как «научный проступок».
Далее Торп объяснил в редакционной статье, что использование таких программ, как ChatGPT, нарушит фундаментальный принцип Science, согласно которому его авторы должны подтвердить, что представленная ими работа является «оригинальной». Этого «достаточно, чтобы сигнализировать о том, что текст, написанный ChatGPT, неприемлем», — написал он: «В конце концов, это плагиат ChatGPT».
Это выходит за рамки правил, установленных природой, которая находится на вершине престижных научных журналов наряду с наукой. Журналы Nature уточняют, что программы, генерирующие языки, не могут быть указаны как авторы исследовательской статьи, как это делалось с некоторыми опубликованными статьями: «Любое указание авторства влечет за собой ответственность за работу, — объясняет Nature, — и Инструменты ИИ не могут взять на себя такую ответственность».
Но Nature позволяет исследователям использовать такие инструменты при подготовке своих статей, если они «документируют это использование в разделах методов или благодарностей» или где-либо еще в тексте.
Торп сказал мне, что Science решила занять более жесткую позицию, чтобы избежать повторения трудностей, возникших с появлением Photoshop, позволяющего манипулировать изображениями, в 1990-х годах.
Материалы научной фантастики и фэнтези с плагиатом или сгенерированные чат-ботами, полученные журналом Clarkesworld Нила Кларка, по месяцам. Огромный скачок в последние месяцы — это в основном заявки, написанные чат-ботами, на которые приходится почти 40% от общего количества заявок в феврале.
(Нил Кларк)
«Вначале люди делали в Photoshop много вещей, которые сейчас мы считаем неприемлемыми», — говорит он. «Когда это только появилось, у нас не было особых правил на этот счет, но теперь людям нравится возвращаться к старым документам и говорить: «Посмотрите, что они сделали с Photoshop». Мы не хотим повторять это. ”
Научные журналы подождут, пока научное сообщество не объединится вокруг стандартов приемлемого использования программ ИИ, прежде чем пересматривать свои правила, говорит Торп: «Мы начинаем с довольно строгого набора правил. Гораздо проще ослабить свои правила позже, чем ужесточить их».
Однако в основе беспокойства по поводу ChatGPT и его кузенов ИИ лежат, возможно, преувеличенные впечатления о том, насколько хорошо они действительно умеют воспроизводить человеческую мысль.
Что постоянно упускалось из виду, отчасти из-за силы шумихи, так это то, насколько плохо они справляются с интеллектуальными процессами, которые люди выполняют естественно и, как правило, почти безупречно.
Легковерные рассказы СМИ о «гениальности» ChatGPT фокусируются на этих успехах «без серьезного анализа масштабов ошибок», отмечают ученые-компьютерщики Гэри Маркус и Эрнест Дэвис.
К счастью, они собрали базу данных из сотен иногда смешных провалов ChatGPT, Microsoft Bing и других программ, генерирующих язык: например, их неспособность выполнять простые арифметические действия, считать до пяти, понимать порядок событий в повествовании. или понять, что у человека может быть два родителя, не говоря уже об их склонности заполнять пробелы в своих знаниях выдумками.
Провозвестники ИИ утверждают, что эти недостатки в конечном итоге будут устранены, но неизвестно, когда и даже произойдет ли это, учитывая, что сами процессы человеческого мышления недостаточно хорошо изучены.
Прославление предполагаемых навыков ChatGPT упускает из виду тот факт, что программа и другие чат-боты, по сути, очищают Интернет в поисках существующего контента — блогов, социальных сетей, оцифрованных старых книг, личных обличений невежд и ученых рассуждений мудрецов — и используют алгоритмы для объединения того, что они находят в Интернете. способ, который имитирует разум, но не является им.
Контент, созданный людьми, является их сырьем, дизайнеры-люди «обучают» их, где найти контент для ответа на запрос, написанные человеком алгоритмы — это их набор инструкций.
Результат напоминает фокус фокусника. Чат-боты кажутся людьми, потому что каждая строка вывода является отражением человеческого ввода.
Удивление, которое испытывают люди по поводу очевидной разумности чат-ботов, — явление не новое. Это напоминает то, что Джозеф Вейценбаум, изобретатель Элизы, программы естественного языка 1960-х годов, которая могла воспроизводить ответы психотерапевта на жалобы «пациента», заметил в эмоциональных реакциях пользователей, взаимодействующих с программой.
«Чего я не осознавал, — писал он позже, — так это того, что очень короткие воздействия относительно простой компьютерной программы могут вызвать сильное бредовое мышление у вполне нормальных людей».
Это правда, что ChatGPT достаточно хорош в мимикрии, чтобы с первого взгляда обмануть даже образованных профессионалов. По данным группы исследователей из Чикагского и Северо-Западного университетов, четыре профессиональных медицинских обозревателя смогли правильно выбрать 68% рефератов опубликованных научных статей, сгенерированных ChatGPT, из кучи 25 подлинных рефератов и рефератов, созданных в чате. (Они также ошибочно идентифицировали 14% подлинных рефератов как машинописные.)
Nature сообщает, что «ChatGPT может писать презентабельные студенческие эссе, обобщать исследовательские работы, достаточно хорошо отвечать на вопросы, чтобы сдать медицинские экзамены, и генерировать полезный компьютерный код».
Но все это довольно общие категории письма, обычно пронизанные механическим языком. «ИИ не креативен, а итеративен», — говорит Джон Скальци, автор десятков научно-фантастических книг и рассказов, который возражал против использования его издателем, Tor Books, машинного искусства для обложки последней книги своего коллеги. роман.
(Тор сказал в опубликованное заявление что он не знал, что обложка «могла быть создана ИИ», но сказал, что из-за производственных графиков у него не было другого выбора, кроме как продолжить работу над обложкой, как только он узнал об источнике. Издательство заявило, что оно «поддержало авторов в SFF. [that is, science fiction and fantasy] сообщества с момента нашего основания и будет продолжать это делать».)
О перспективах того, что машинно-генерируемый контент будет продолжать улучшаться, «я думаю, неизбежно, что он достигнет уровня «достаточно хорошего», — говорит Скальци. «Я не думаю, что ИИ создаст прочное произведение искусства, подобное «Кровавому меридиану» или «Как Стелла вернула себе ритм», — сказал он, имея в виду романы Кормака Маккарти и Терри Макмиллана соответственно.
На данный момент нераскрытое или плохо раскрытое использование чат-ботов рассматривается как профессиональное правонарушение, почти сравнимое с плагиатом. Два декана Колледжа образования и человеческого развития Пибоди при Университете Вандербильта были отстранены от работы после того, как школа отправила электронное письмо в ответ на стрельбу 13 февраля в Мичиганском государственном университете с призывом к сообществу Вандербильта «объединиться» для «создания безопасной и инклюзивной среды». окружающая среда» на территории кампуса.
В электронном письме мелким шрифтом было указано, что это «парафраз» ChatGPT. Стрелок из Мичигана убил трех студентов и ранил пятерых.
Справедливости ради следует отметить, что электронное письмо Вандербильта в ChatGPT не так уж сильно отличалось от того, что люди из штата университета могли написать сами, — пример «мыслей и молитв» соболезнований после общественной трагедии, которые кажутся пустыми и роботизированными, даже когда они создаются существами из плоть и кровь.
Продукты чат-ботов еще не проникли в элитные эшелоны творческого письма или искусства. Кларк говорит, что отправкой машинописных историй в его журнал движет не стремление к творческим достижениям, а погоня за быстрой наживой.
«Многое приходит с веб-сайтов «подработки» в Интернете», — говорит он. «Их вводят в заблуждение люди, распространяющие эти схемы зарабатывания денег».
Другие опасаются, что простота создания кажущихся аутентичными, но сгенерированных компьютером текстов и изображений сделает эту технологию инструментом для совершения правонарушений, так же как криптовалюты нашли свои наиболее надежные варианты использования в мошенничестве и атаках программ-вымогателей.
Это потому, что эти программы не являются моральными сущностями, а являются инструментами, реагирующими на импульсы своих пользователей и зависящими от исходного материала, на который они направлены. Например, Microsoft пришлось настроить свою новую поисковую систему Bing на базе ChatGPT, когда она странно, нервно и даже оскорбительно реагировала на запросы некоторых пользователей.
Вывод ChatGPT теоретически ограничен этическими «ограждениями», придуманными его разработчиками, но их легко обойти — «не более чем помада на аморальной свинье», — заметил Маркус.
«Теперь у нас есть самый используемый в мире чат-бот,… прославленный средствами массовой информации, и все же с этическими ограничениями, которые лишь отчасти работают», — добавляет он. «Правительственное регулирование практически отсутствует, если оно вообще существует. Возможности для пропаганды, ферм троллей и колец поддельных веб-сайтов, которые подрывают доверие в Интернете, теперь безграничны. Назревает катастрофа».
