Уточнить – Джон Х. Кокрейн

Я недавно попробовал усовершенствоватьинструмент искусственного интеллекта для уточнения научных статей, разработанный Ян Кальво Лопес и Бен Голуб. Я отправил ему текущий черновик моего буклет об инфляциичтобы посмотреть, что он может предложить. Я использовал его только один раз, в бесплатном пробном режиме. Я навсегда останусь постоянным пользователем.

Результаты ошеломляющие. Комментарии, которые он предлагал, были на одном уровне с лучшими комментариями, которые я получал к статье за всю свою академическую карьеру. И более лаконично и организованно, чем лучшие. Они не идеальны, но тот вид анализа, который может выполнять программа, выходит за рамки того, что технология выглядит как волшебство. Я не знаю, как вы пришли сюда от «предсказать следующее слово».

Вот его основные комментарии:

Использование нарратива «фискальных новостей»

Основное утверждение эпизода в гл. 2.3 заключается в том, что инфляция «началась», когда в начале 2021 года агенты узнали, что существенная часть дефицита не будет погашена, и «закончилась» в середине 2022 года, когда изменились ожидания относительно будущих нефинансируемых программ. В нынешнем виде доказательная поддержка рискует зациклиться: текст опирается на возникновение инфляции, чтобы сделать вывод о том, что долг воспринимался как «необеспеченный», при этом предлагая в основном качественные повествовательные сигналы.

Чтобы нести бремя идентификации, этот нарратив требует операционализации. Ч. 4 прямо утверждает, что недавняя история предлагает необычайно чистые «эксперименты». Чтобы обосновать это, тексту нужен более узкий набор устаревших, видимых извне наблюдаемых факторов — конкретных законодательных препятствий, риторики «долг не имеет значения» или вероятностей выборов — привязанных к подписанию и срокам прогнозов инфляционных ожиданий и цен на длинные облигации. Без привязки «новостей» к конкретным датам, отличным от самой серии инфляционных событий, этот эпизод воспринимается как апостериорное наложение, а не как избирательное применение механизма FTPL.

Программа нашла основной эпизод и обобщила основные аргументы 80-страничной статьи. Я написал заявление об отказе от ответственности, что найти отдельные меры текущей стоимости излишков невозможно и что моей целью было установить правдоподобие, а не доказательство. Но мне было лень, и программа предлагает очевидный способ, которым мне следует подтянуть презентацию, в пределах возможного. Вернемся к работе.

Разъяснение различия налогово-бюджетного режима в заявлении о «полноте»

Рукопись неоднократно утверждает полноту, отмечая в гл. 3 («Теперь остановитесь и полюбуйтесь тем, что мы сделали. У нас есть полная, законченная… теория…») и гл. 4 («единственная известная, полная, экономическая теория… соответствующая нынешним институтам»). Однако Ч. В 4.5 также правильно отмечается, что «все уравнения… фактически одинаковы» между моделями FTPL и некейнсианской (НК).

Для академической аудитории утверждение о том, что стандартная модель Нагорного Карабаха «не работает» (гл. 6.1) или является неполной, сразу же вызывает разногласия, если только различие в отношении закрытия режима не будет явным на раннем этапе. Существенное разногласие заключается не в наличии или отсутствии уравнения оценки, а в фискальном режиме: определяет ли уравнение цены (FTPL) или же оно определяет будущие профициты посредством «пассивного» бюджетного предположения (NK)? Переформулирование критики укрепило бы аргумент. Вместо того, чтобы констатировать, что модель НК не соответствует внутренней логике, в тексте следует утверждать, что она требует эмпирически несостоятельного предположения о пассивном фискальном поведении в период 2020–2022 годов.

Это справедливо и является хорошим примером того, как программа улучшает качество письма. Существует противоречие между теоремой об эквивалентности наблюдений и моим утверждением, что недавние эксперименты подсказывают нам, какая модель правильная. Ответ содержится в статье: эквивалентность наблюдений касается только наблюдаемых временных рядов, и мы можем использовать то, что мы знаем о поведении центральных банков из других источников, чтобы подумать о том, какой режим является правдоподобным. Центральные банки не угрожают взрывным поведением, чтобы выбрать равновесие. Но это разбросано по газете. Я не особо подчеркивал причинно-следственную интерпретацию проблемы уравнения оценки: выражает ли уравнение оценки, как инфляция вызывает профицит или как профицит вызывает инфляцию? (Как и 50-летняя дискуссия о том, выражает ли MV=PY, как денежная масса вызывает инфляцию, или инфляция вызывает спрос на деньги, удовлетворяемый предложением.) Модель усвоила это сама по себе, вероятно, обучаясь на предыдущих противоречиях FTPL. Вернуться к работе

Разрешение неоднозначности в механизме передачи

Существует противоречие в том, как в тексте описывается передача повышения процентных ставок. Дюйм. 3.1 и рис. 3.2, аргумент заключается в том, что повышение ставок может привести к краткосрочной дезинфляции за счет снижения номинальной рыночной стоимости находящихся в обращении облигаций (числитель в уравнении оценки). Однако Ч. 2.2 и гл. 4.5 подчеркивают, что ставки дисконтирования и процентные расходы играют центральную роль в приведенной стоимости излишков (знаменатель).

Повышение реальных ставок, которое сжимает цены на облигации, также в целом снижает текущую стоимость профицита за счет дисконтирования или повышает процентные расходы. Это может подтолкнуть уровень цен вверх, создавая эффект «наступления на грабли», когда центральный банк перемещает инфляцию во времени. Выводы политики («следует немедленно поднять ставки», гл. 3.1–3.2) необходимо согласовать с этим механизмом. В тексте следует четко разграничить то, чего центральный банк может достичь в одиночку (посредством эффекта оценки на числитель), от того, что требует бюджетной корректировки, а также разъяснить, когда дезинфляционный канал является общим, а когда обусловлен продолжительностью действия.

И здесь модель уловила мою привычку вводить идею, а затем дорабатывать ее. Механизм долгосрочного долга – это способ, с помощью которого более высокие будущие процентные ставки могут привести к снижению инфляции сегодня. А типичный стойкий шок связывает более высокие текущие и будущие процентные ставки. Но жесткие цены работают против этого механизма. При жестких ценах более высокие номинальные ставки означают более высокие реальные ставки, что означает более высокие процентные расходы по долгу, что повышает инфляцию. Я как бы пролил это в нескольких местах. Это может быть, а может и не быть хорошей идеей. Я не люблю сразу перегружать читателей. Но программа заставляет меня задуматься об этом выборе.

И еще кое-что, чем я вас не утомлю.

Он также обнаружил алгебраические ошибки, такие как промах отрицательного знака при решении дифференциального уравнения.

И это бесплатный режим! Я вернусь в платном режиме (гораздо более обширном) после того, как закончу включение этих комментариев.

****

Я впервые вижу работу ИИ в чем-то, что делаю ежедневно, и это действительно революционно.

Рецензирование и оценка работ — одна из самых неприятных и трудоемких задач в нашей профессии. За 40 лет работы экономистом я прочитал много рецензийных отчетов, и это наверняка 5% лучших. В большинстве рецензийных отчетов не указывается основная мысль статьи и не оценивается, подтверждает ли статья эту точку зрения. Они не замечают вопиющих пробелов в логике, нарушения основных теорем, игнорирования советов по эконометрике 101. Редакторам повезет, если один из трех отчетов окажется хоть в какой-то мере полезным. Очевидно, что на эту задачу радикально повлияет ИИ. Если бы я был редактором, я бы сдавал каждую статью на доработку по получении. Или я бы потребовал от автора потратить 50 долларов и прислать последний уточненный отчет! Я обязательно узнаю мнение рафината, прежде чем напишу какой-либо рефери в будущем.

Все ли судьи останутся без работы? Нет! Вам еще предстоит прочитать и оценить, что предлагает уточнение. Но скорость, точность и качество отчетов подскочат. А экономисты сэкономят много времени.

Прежде чем кто-нибудь попросит меня прокомментировать статью, я собираюсь спросить: «Вы отправили ее на доработку?» Это тоже сэкономит много времени.

И он должен выпускать гораздо более качественные письменные работы, что также сэкономит много времени.

Действительно странно писать защитную прозу для программы искусственного интеллекта, как я это делаю для вдумчивых людей, которые предлагают мне комментарии. Последний комментарий об этом говорит

Усиление дискриминации монетаристской альтернативы

Ч. Основное дискриминационное утверждение 4.2 заключается в том, что монетаризм предсказывает, что QE должно быть в инфляционном отношении эквивалентно трансфертам на вертолете, и что наблюдаемый контраст фальсифицирует монетаризм. Однако в рукописи подчеркивается институциональная реальность процентов по резервам (IOR) и «достаточных резервов». Сложный «денежный взгляд» мог бы ссылаться именно на эти факты, чтобы доказать, что резервы и казначейские векселя являются почти идеальными заменителями в рамках IOR, что делает QE нейтральным, а трансферты – нет.

Если монетаристский критерий, на который здесь ссылаются, чтобы его опровергнуть, не является самой сильной версией, совместимой с институциональным реализмом, который защищает книга, то решение в гл. 4 теряет доверие. Чтобы убедить читателей, которые, скорее всего, внимательно изучат этот раздел, в тексте следует объяснить, почему объяснение FTPL доминирует даже в сложной монетаристской точке зрения, объясняющей IOR, а не только в примитивной версии, которая его игнорирует.

Да, я не учел ликвидную стоимость казначейского долга. Но существует ли действительно серьезная школа мысли, которая считает, что казначейский долг является идеальной заменой денег, и что мы должны рассматривать весь объем казначейского долга как денежную базу? Это означало бы, что операции на открытом рынке совершенно неактуальны, что разрушает большую часть стандартного монетаризма. А знаменитая «стабильность» коэффициента номинального ВВП М2 полностью отсутствует для общего долга, который колебался от 25% ВВП в 1970-х годах до 100% сейчас. Скоростные шоки? Возможно, платная версия пришлет мне несколько цитат, чтобы я знал, действительно ли мне придется с этим иметь дело.

Но так или иначе удивительно, что компьютерная программа допустила эту логическую возможность, которая, по крайней мере, является достойным комментарием семинара «Что насчет» из глубины комнаты.

Тем временем я также попробовал Клода обновить некоторые графики. Моей подсказкой было просто «написать программу Matlab, которая извлекает ряды данных xyz от Фреда с помощью API, и построить график, который…» с довольно подробным описанием графика. Он работал прямо из коробки и даже неплохо справлялся с «размещением текстовых меток на графике таким образом, чтобы это не противоречило построенному временному ряду». Клод не смог как следует определить, какой ряд данных Фреда будет работать, но это была небольшая задача. И он создал код, используя множество команд, которые я не узнаю. Убедиться, что программы делают то, что вы думаете, станет новой задачей. Он продолжал работать и делал то, о чем я не просил, например, предлагал сводную статистику! Все-таки часовая работа заняла 5 минут.

Для большинства моих коллег это уже старые новости, которые с огромной скоростью интегрируют ИИ в рабочие процессы. Но если вы не используете эти инструменты, самое время начать прямо сейчас.

(Для написания этого подстека я не использовал ИИ и не делал этого раньше. Я сообщу, когда это сделаю. Поскольку я включил уточнение в благодарственный буклет по инфляции.)

Обновлять

Поразмыслив, я снова начал волноваться. Через 10–20 лет никто уже ничего читать не будет, будут читать только дайджесты LLM. Итак, самая важная задача писателя, начинающего прямо сейчас, — это направить свои усилия на программы LLM. Ничто из того, что вы пишете, не будет иметь значения, если оно не будет быстро адаптировано к набору обучающих данных. Поскольку искусство продвижения ваших результатов на вершину поиска Google было игрой 1990-х годов, внедрение ваших идей в LLM – это сегодняшняя задача. Уточнение ничем не отличается. Это так хорошо, что все будут этим пользоваться. Таким образом, от того, будут ли Refin и его родственники придерживаться FTPL или нового кейнсианского взгляда при оценке статей, теперь зависит то, куда пойдет консенсус в профессии.

Общаясь с редактором журнала, я вижу полезность версии, адаптированной для оценки статей. Например, «включил ли автор комментарии рецензента и ответил на них?» «Имеют ли комментарии рефери какой-либо смысл?» «какие из комментариев рецензента касаются правильности или важности статьи, а какие являются просто предложениями по дальнейшей работе?» и так далее. Тем не менее, захват LLM по-прежнему кажется мне потенциальной проблемой, либо со стороны — экономисты любят не что иное, как методологическую борьбу, «в этой статье используется устаревшая методология структурной/приведенной формы», «эта статья игнорирует важный анализ поведения/общего равновесия» и т. д. — или со стороны «устоявшейся науки» — представьте себе реакцию LLM в последние годы на статьи о климате, гендере, общественном здравоохранении, неравенстве и т. д., если обучаться на «консенсусе». Я должен проверить уточнение по некоторым спорным темам. А также, как это происходит на бредовый тестдействительно важная проблема в экономической академии. Нам нужна чушь количественная оценка — bs, завернутая в причудливые уравнения.

Делиться