Как ChatGPT конкурировал в секретной игре-прогнозировании экономиста

Способность предсказывать будущее — ценный признак интеллекта и хорошая проверка Возможности ИИ. Насколько хорошо ChatGPT в прогнозе?

Ответ на этот увлекательный вопрос появился недавно, когда экономист Дэвид Сейф завершил ежегодный конкурс прогнозов, который он проводит для секретной группы экономистов, инвесторов хедж-фондов и руководителей технологических компаний.

В седьмой раз конкурс требует от участников предсказать около 30 событий. Игра 2025 года стартовала в конце 2024 года, когда Сейф разослал список событий для прогнозирования в таких областях, как политика, бизнес, наука, экономика, поп-культура и спорт.

В одном вопросе участникам предлагалось спрогнозировать, будет ли Тейлор Свифт и Трэвис Келси объявят о своем помолвке к 1 апреля. Другой: примет ли Болгария евро в качестве официальной валюты 1 июля или раньше?

Сэм Леффелл, директор хедж-фонда, в декабре рассчитывал свои вероятности и у него возникла идея.

«Когда я отвечал на вопросы, у меня был включен экран ChatGPT. Мне было интересно, что он скажет на эти вопросы?» – напомнил он в недавнем интервью.

ChatGPT пришлось выучить сложные правила

Леффелл связался с Сейфом, чтобы спросить, может ли ChatGPT принять участие, и Сейф ответил: дерзайте. Итак, Леффелл начал с того, что вставил правила игры. в чатGPT.

Это сложные правила, охватывающие несколько страниц. Участники должны назначить процент в зависимости от вероятности наступления каждого события. Поскольку результаты поступают в течение года, эти прогнозы оцениваются примерно так же, как в гольфе. Побеждает самый низкий балл.

«Вы получаете очки, равные квадрату разницы между тем, что вы поставили, и результатом», — сказал Сейф.

Например, если вы назначаете вероятность того, что что-то произойдет, 90% и делаете это правильно, вы получаете 10 баллов. Это число возводится в квадрат, в результате чего в общей сложности получается 100 очков. Отличная работа.

Обратное более болезненно. Если событие с вероятностью 90% не произойдет, вы застрянете с разницей между 90 и нулем. Затем эти 90 очков возводятся в квадрат, что дает в общей сложности 8100 очков. Ой.

И это только система начисления очков. По другим аспектам игры есть целые страницы правил. Леффелл вставил все это в ChatGPT.

Через несколько секунд чат-бот с искусственным интеллектом ответил: «Спасибо за предоставление подробных правил конкурса прогнозов. Пожалуйста, поделитесь чистым списком запросов, для которых вам нужна оценка вероятности, и я предоставлю одно число для каждого в соответствии с правилами конкурса».

Леффелл вставил все 30 вопросов одновременно, и ChatGPT быстро ответил, указав процентные вероятности для каждого события. Леффелл отправил их Сейфу, который ввел ответы от имени ChatGPT.

Уже во время постановки эксперимента по машинному прогнозированию Леффелл заметил кое-что интригующее.

«На один вопрос, связанный с результатом подстановочного знака НФЛ, был дан статистически правильный математический ответ», – сказал он. «Он занимался математикой, а не качественными вещами. Это было примечательно, потому что в то время ChatGPT не предполагалось хорош в математике.”

ChatGPT делает прогнозы

В начале 2025 года 160 участников представили свои прогнозы и начали ждать, когда же развернется будущее.

Тогда я впервые услышал об игре от друзей, которые участвовали в ней. Один из них — управляющий хедж-фондом. Двое других — директор по маркетингу и юрист.

Они стали невыносимы на вечеринках, обсуждая различные прогнозы, тонкости системы подсчета очков и другие правила.

Это тот тип разговора, который утомляет меня до смерти. Однако, когда один друг упомянул об этом ChatGPT принимал участие впервые меня зацепило.

Может ли машина превзойти 160 человек в предсказании всех этих событий? Модели искусственного интеллекта хороши, когда есть существующие данные. Когда речь идет о будущем, информации, на которую можно опереться, гораздо меньше.

Я недавно тестировал Возможность прогнозирования фондового рынка ChatGPT. Сможет ли он преуспеть в этой более сложной задаче, или люди обладают уникальными способностями предвидеть будущее посредством опыта, экстраполяции и интуиции?

В течение года некоторые события происходили, а другие – нет. Некоторые произошли слишком поздно, а другие развивались странным и неожиданным образом. Как жизнь.

Каждый раз, когда вопрос решался, Сейф обновлял центральную таблицу и отправлял рейтинг всем участникам.

Мои друзья ловили каждое обновление. Кто побеждал? Кто отставал? И самое главное: какое место занял ChatGPT?

Странная симметрия

Игра завершилась 13 ноября.

«Впервые за семь лет, когда мы проводим конкурс, я сам одержал победу», — написал Сейф в своем последнем электронном письме о конкурсе 2025 года.

ChatGPT занял 80-е место, написал он, «а у нас было 160 игроков».

Странная симметрия. Я тут же написал друзьям: Значит, ChatGPT не лучше обычного человека! Не очень впечатляет.

Один из моих приятелей, директор по маркетингу, ответил: «Нет, это означает, что ChatGPT ничем не уступает среднестатистическому человеку». Невероятный!

ChatGPT не достиг контрольного показателя

Я спросил об этом Сейфа, и он нашел другой способ измерения предсказательной силы ChatGPT или ее отсутствия.

Если бы вы поставили вероятность 50% для каждого события, вы бы получили 75 000 очков. Это критерий Сейфа для определения того, добавили ли участники свою ценность или нет.

ChatGPT получил 82 925. Таким образом, по словам Зейфа, компания не достигла этого показателя, что, по сути, привело к отрицательной стоимости.

По его словам, когда существовало много данных, которые могли помочь в прогнозировании и расчете вероятностей, ChatGPT действовал лучше.

Например, чат-бот хорошо проанализировал это событие и дал ему вероятность 70%: Команда-победитель турнира Клубный чемпионат мира по футболу из Европейского Союза.

ChatGPT работал хуже, когда не хватало данных или пропускалась новая информация, которая изменяла вероятность возникновения события.

Например, чат-бот назначил вероятность этого события 95%: Астронавты Суни Уильямс и Бутч Уилмор благополучно вернуться на Землю к 1 марта.

По словам Сейфа, к концу 2024 года в новостях стало ясно, что эта спасательная операция вряд ли состоится к 1 марта 2025 года.

«ChatGPT просто не был в курсе новостей по этому поводу», — добавил он.

Может быть, ChatGPT победил?

Леффелл, управляющий хедж-фондом, включивший в игру ChatGPT, пришел к другим выводам и поделился некоторыми важными предостережениями.

Он попросил ChatGPT сделать эти прогнозы в декабре 2024 года. «IAI» Опона с тех пор улучшилась, поэтому ее способность прогнозировать сейчас может быть лучше. Улучшение подсказок, возможно, также помогло ChatGPT работать лучше.

Леффелл также рассказал, что ChatGPT потребовалось всего несколько минут, чтобы понять сложные правила игры и сделать 30 прогнозов — намного быстрее, чем у большинства участников-людей.

Сам Леффелл потратил много часов, в течение нескольких дней, чтобы понять вопросы и изучить события, придумывая свои собственные вероятности.

«Он справился лучше, чем половина людей, и потратил на решение задачи гораздо меньше времени, чем все остальные», — сказал он мне. «Если посмотреть на результаты по минутам работы, может быть, победил ChatGPT?»

Как инвестор, он занимается оценкой как можно большего числа вероятностей, поэтому ChatGPT и подобные инструменты искусственного интеллекта стали незаменимы, сказал он.

«Что, если вам нужно не быстро предсказывать 30 событий, а 30 000 событий? Что, если он достаточно хорош для быстрого предсказания всех этих событий?» — сказал Леффелл.

«Оно стало повсеместным во всем, что я делаю, в личной жизни и на работе», — добавил он. «Мы часто его используем. ChatGPT на данный момент является ставкой за столом».

Подпишитесь на информационный бюллетень Tech Memo от BI здесь. Свяжитесь со мной по электронной почте по адресу [email protected].