Байесовское передергивание | Статистическое моделирование, причинный вывод и социальные науки

Я использовал это выражение на днях на семинаре Лорен, и она сказала мне, что никогда раньше не слышала его, что меня удивило, потому что у меня такое чувство, будто я говорю это уже какое-то время, поэтому я погуглил *статмоделирование байесовской передергивания*, но ничего не появилось. ! Так что, думаю, мне стоит это написать.

В конце концов все проходит путь от разговора до блога и публикации. Например, самое раннее появление «уголка Кантора», которое я смог найти, — это здесьно до этого я использовал эту фразу некоторое время, и в конечном итоге она появилась в печати (с использованием оригинального рисунка Ascii!) в Эта статья в физическом журнале.

Так . . . Байесовское передергивание – это отношение многих байесовских статистиков, включая меня, когда мы стесняемся использовать предварительную информацию. Мы делаем все возможное, чтобы убедить людей, что мы оцениваем все наши гиперпараметры только на основе данных, мы говорим, что байесовская статистика — это количественная оценка неопределенности, и мы вообще мало говорим об априорных значениях, кроме как о математической конструкции. Используемые нами априоры обычно являются структурными — не в смысле «моделей структурных уравнений», а в том смысле, что априоры кодируют структуру модели, а не конкретные числовые значения. Примером может служить модель 8 школ (фактически все, что описано в главе 5 BDA), где мы используем неправильные априорные значения для гиперпараметров и никогда не присваиваем никакой числовой или существенной априорной информации.

Байесовское недовольство возникает из-за позиции, что небайесовские методы используются по умолчанию и что мы должны использовать байесовские подходы только тогда, когда у нас есть очень веские причины – и даже это иногда не принимается во внимание, как обсуждалось в разделе 3 книги. Эта статья. Это побудило нас подчеркнуть безобидные аспекты байесовского вывода. Не поймите меня неправильно, я думаю, что у априорно-плоского байесовского вывода тоже есть свои достоинства. Не всегда — иногда оценка максимального правдоподобия оказывается лучше, как в некоторых многомерных задачах, где плоский априор на самом деле очень силен (см. раздел 3 книги). Эта статья) или просто потому, что было бы ошибкой слишком серьезно относиться к апостериорному распределению, если оно исходит из нереалистичного априорного распределения (см. раздел 3). здесь) — но по причинам, изложенным в BDA, я обычно считаю, что Байес с плоским априором — это шаг вперед.

Но я продолжаю сталкиваться с проблемами, в которых действительно помогает небольшая предварительная информация — см., например, раздел 5.9. здесь, это один из моих любимых примеров — и я все больше и больше думаю, что имеет смысл начать с сильного априора. Вместо того, чтобы начинать с плоского или сверхслабого априора по умолчанию, начните с сильного априора (как здесь), а затем отступите, если у вас есть предварительная информация о том, что эта априорная информация слишком сильна, что эффекты действительно могут быть огромными или что-то в этом роде.

С годами мне все больше и больше симпатизировало отношение Деннис Линдли. Будучи студентом, я читал его статьи в дискуссиях в статистических журналах и все такое: боже, какой экстремист, он просто повторяет одно и то же, черт возьми, снова и снова. Но теперь я такой: да, информативные приоры, хватит всякой ерунды, поехали, детка. Как и я написал Подозреваю, что в 2009 году я согласился бы с Линдли практически по любому вопросу статистической теории и практики. Я читал некоторые старые статьи Линдли и его вклад в дискуссии, и, даже когда в то время он казался чем-то вроде экстремиста, ретроспективно он всегда кажется правым.

Один из способов отойти от байесовского подхода — это использовать терминологию регуляризации. Помните, как я говорил, что лассо (а в последнее время и глубокие сети) сделали мир безопасным для регуляризации? И как я сказал что байесовский вывод не радикален, а консервативен (извини, Линдли)? Когда мы говорим о регуляризации, мы говорим, что такой вид частичного объединения в сторону предшествующего уровня желателен сам по себе. Вместо того, чтобы быть прискорбной уступкой предвзятости, которую мы принимаем, чтобы контролировать нашу среднеквадратическую ошибку, мы утверждаем, что стабильность является целью сама по себе. (Консерватор, понимаете?)

Мы еще не полностью отошли от байесовской передергивания — посмотрите на любую регрессию, опубликованную в политологическом журнале, и в эконометрике все еще есть некоторые приверженцы старой закалки антибайесовский типа, но я думаю, что мы постепенно движемся к общей идее, что лучше всего использовать всю доступную информацию, а информативные априорные данные являются одним из способов обеспечить стабильность и, таким образом, позволяют нам соответствовать более сложным, реалистичным и лучше прогнозирующим моделям.