Где лопата? Почему претензии по кодированию ИИ не складываются

Я в ярости. Я действительно зол. Я злюсь на сбивание песочных заседаний, ударил Даниэля Ларуссо по лицу и говорю о нем, когда -то вроде его девушки.

Я вообще не сердитый человек, но я терпеть не могу, что происходит с моей отраслью.

Я знаю разработку программного обеспечения. Я занимаюсь этим 25 лет, может быть, даже 28 лет Если вы считаете таблицу исследования рынка на экранах янтарных монохромных экранов. Да, я стар. Я ботаник программирования среднего возраста. Вся моя жизнь и личная идентичность завернуты в эту программу для лучшего или худшего. Я процветаю с дофаминовых ударов от доставки крутых вещей.

Я был ранним последователем кодирования ИИ и поклонника до двух месяцев назад, когда я прочитал METR изучение И вдруг появился серьезные сомнения. В этом исследовании авторы обнаружили, что разработчики были ненадежными рассказчиками своей собственной производительности. Они думали, что ИИ делает их на 20% быстрее, но на самом деле это делало их на 19% медленнее. Это шокировало меня, потому что я только что рассказал кому -то за неделю до того, как я думал, что ИИ делает меня только на 25% быстрее, и я был расстроен, что это не было более высоким числом. Я был только на 5% от собственных неправильных оценок разработчика.

Это было тревожно. Было невозможно не задаться вопросом, был ли я тоже ненадежным рассказчиком моего собственного опыта. Был ли я снят с толку экранами кода, летящим мимо, и не имел количественной оценки того, на самом деле потребовалось ли все это чтение и рецензирование кода в первую очередь, чем просто делать это самому?

Итак, я начал тестировать свою собственную производительность, используя модифицированную методологию из этого исследования. Я бы взял на себя задачу, и я бы оценил, сколько времени потребуется для кода, если бы я делал это вручную, а затем я бы перевернул монету, головы, которые бы я использовал ИИ и хвосты, я бы просто сделал это сам. Затем я записываю, когда начал, и когда я закончил. Это дало бы мне дельту, и я мог бы использовать дельту для построения графиков ИИ против ИИ, и я увидел некоторые тенденции. Я запустил это в течение шести недель, записывая все эти данные, и знаете ли вы, что я обнаружил?

Я обнаружил, что данные не являются статистически значимыми на любом значимом уровне. Что мне нужно будет записать новые данные DataPoints еще на четыре месяца, чтобы доказать, что AI ускорит меня или вообще замедляет меня. Это слишком шея в нем.

Это отсутствие дифференциации между группами действительно интересно. Да, это ограниченный образец, который может быть шанс, но и пока ИИ, по -видимому, замедляет меня на 21%, точно в соответствии с исследованием METR. Я могу окончательно сказать, что не вижу массового увеличения скорости (то есть 2x), используя инструменты кодирования ИИ. Если бы я был, результаты были бы статистически значимыми, и исследование было бы закончено.

Это действительно разочаровывает.

Я бы хотел, чтобы мечта кодирования ИИ была правдой. Хотел бы я сделать каждую глупую идею кодирования, у меня когда -либо была реальность. Хотелось бы, чтобы в понедельник я хотел бы сделать приложение для обучения грифам, корейский тренер в среду и видеоигра в субботу. Я бы выпустил их все. Я бы утонул мир в потопе лопатовой посуды, как мир никогда не видел. Ну, я бы – если бы это сработало.

Оказывается, и я собрал много данных по этому поводу, это не просто не работает для меня, это никому не работаети я собираюсь это доказать.

Но сначала давайте рассмотрим, насколько экстремальными и широко распространенными этими требованиями производительности. Слоган курсора «построен, чтобы сделать вас чрезвычайно продуктивным». Claude Code «быстрее создавать лучшее программное обеспечение». Github Copilot’s – «делегат как босс». Google говорит, что их LLM делают своих разработчиков на 25% быстрее. OpenAI делает свои напыщенные заявления о своей эффективности кодирования и исследованияхПолем И мои коллеги -разработчики не лучше, и 14% утверждают, что они видят увеличение продукции в 10 раз из -за искусственного интеллекта.

Эти претензии не будут иметь значения, если тема не была такой смертельной серьезной. Технологические лидеры повсюду покупают в FOMO, убеждая, что их конкуренты получают огромные успехи, которые они упускают. Это побуждает их ребрендинг в качестве компаний-ай-ай-актеровоправдать увольнения с новыми повествованиями о производительности, и зарплаты разработчиков низкогобола в предположении, что ИИ принципиально изменил уравнение стоимости.

И все же, несмотря на самое распространенное усыновление, которое можно себе представитьВ Эти инструменты не работаютПолем

Мой аргумент: если так много разработчиков так чрезвычайно продуктивны, используя эти инструменты, где находится наводнение лопат? Мы должны видеть приложения всех форм и размеров, видеоигр, новых веб-сайтов, мобильных приложений, приложений программного обеспечения как услуги-мы должны тонуть в выборе. Мы должны быть в середине инди -программной революции. Мы должны увидеть 10 000 клонов тетриса в пар.

Рассмотрим это: Со всем, что вы знаете о кодировании A-Actisted и его широком внедрении, если бы я показал вам диаграммы и графики новых выпусков программного обеспечения по всему миру, какая форма этого графика вы бы ожидали? Конечно, вы увидите экспоненциальный рост в правом направлении, поскольку усыновление завладела, и люди начали производить больше?

Теперь я потратил много денег и недель, собирая данные для этой статьи вместе, обрабатывая десятки терабайт данных в некоторых случаях. Поэтому я надеюсь, что вы цените, насколько совершенно скучные и плоские эти диаграммы находятся во всех основных секторах разработки программного обеспечения.

Самое интересное в этих графиках – это то, что они не показывают. Они не показывают внезапную линию роста всплеска или хоккея. Они в лучшем случае плоские. Там нет всплеска лопата. Там нет внезапного инди-бума, возникающего после 2022/2023 года. Вы не могли бы сказать, глядя на эти диаграммы, когда кодирование A-A-Assisted стало широко принято. Основная предпосылка ошибочна. Никто не отправляет больше, чем раньше.

Влияние на человеческую жизнь невероятно. Людей уволены, потому что они недостаточно быстро применяют эти инструментыПолем Люди сидят на работе, которые им не нравятся, потому что они боятся, если они пойдут куда -нибудь еще, это будет хуже. Люди тратят все это время, пытаясь получить хорошее представление и плохо, потому что они терпят неудачу.

Все это чушь.

Поэтому, если вы разработчик, испытывающий давление, чтобы принять эти инструменты – вашим менеджером, вашими сверстниками или общей отраслевой истерией – доверяйте своей кишке. Если эти инструменты кажутся неуклюжими, если они замедляют вас, если вы запутались, как другие люди могут быть такими продуктивными, вы не сломаны. Данные подтверждают то, что вы испытываете. Вы не отстаете, придерживаясь того, что, как вы знаете, работает. Если вы чувствуете себя смелым, покажите своему менеджеру эти графики и спросите их, что они думают об этом.

Если вы отнимаете что -нибудь из этого, то это должно быть, что (а) разработчики не отправляют что -то большее, чем они были раньше (это единственная метрика, которая имеет значение), и (б), если кто -то – будь то ваш генеральный директор, ваш технологический лидер или какая -то притяжение Reddit – утверждает, что теперь это 10 -й из -за AI, это почти наверняка, не заслуживает внимания, требуют, чтобы они демонстрировали поступления или закрывают.

Теперь я знаю Интернет. Я знаю, что многие из вас скажут, прежде чем вы даже скажете это, так что давайте просто введите это:

1. «Ну, если бы вы только что научились правильно запрашивать, то вы будете инженером 10 -кратного инженера, как я».
   Посмотрите на данные. Там нет новых 10xers. Если бы было-если бы 14% самопровозглашенных AI 10XERS на самом деле составляли 10-й раз-это более чем вдвое превышало бы мировую производительность нового программного обеспечения. Этого не произошло. А что касается вас, лично покажите мне 30 приложений, которые вы создали в этом году. Я не развлекаю это без квитанций.

2. «Ну, это новая технология, и так много инвестирует, и это требует времени…»
   Да, в эти инструменты были вложены миллиарды долларов. Миллиарды долларов будут по -прежнему инвестировать в эти инструменты. Проблема в том, что их продают, и принимаются решения о них – которые влияют на жизнь реальных людей – как будто они работают сегодня. Не пугайте эту глупость для меня, что это работа в процессе. Это сентябрь 2025 года, и у нас были эти инструменты уже много лет, и они все еще отстой. Когда -нибудь, может быть, они не будут отстой, но нам лучше увидеть объективное доказательство того, что они оказывают влияние на фактическую доставку вещей в больших.

3. «Ну, может быть, сейчас это отстой, но если вы не примете его рано, вас останется позади».
   Нет никаких показателей, что подсказка трудно выучить. GitHub Shopilot сами говорит, что Первоначально пользователи принимают только 29% предложенных предложений по кодированию (Что само по себе является диким утверждением о неэффективности, зачем вам это публиковать?), но с шестью месяцами опыта пользователи, естественно, становятся лучше при подсказке, и это увеличивает колоссальный уровень принятия на 34%. По -видимому, 6 месяцев опыта делает вас только на 5% лучше в подсказке.

4. «Ну, может быть, качество растет, и вещи не обязательно поставляются быстрее…»
   Это не имеет никакого смысла. Мы все знаем, что отрасль сделала шаг назад с точки зрения качества кода, по крайней мере, на десятилетие. Вряд ли кто -то больше проверяет. В последний раз, когда я слышал фразу «непрерывное улучшение» или «разработка, управляемое тестированием», была перед Covid. Вы знаете так же хорошо, как я это делаю, если есть инструмент, который может сделать людей 10x кодеров, мы бы тонули в лопатовой посуде.

5. «Ну, это все, основанные на веб-сайте, и люди не заботятся о доменных именах в наши дни; это все субдомены на таких сайтах, как Vercel».
   Замолчи. Люди любят свои области эго.

6. «Ну, имена доменных доменов в этом году выросли на 47%…»
   Да, это приводит к тому, что все стартапы превратились в ИИ. Это единственный способ получить деньги от инвестора Фомо. Однако общее количество доменных имен выросло беспрецедентной скоростью? Нет, это не так. Посмотрите на новую диаграмму доменов.

7. «Ну, если бы вы были настоящим инженером, вы бы знали, что большая часть разработки программного обеспечения не является написанием кода».
   Это верно только тогда, когда вы находитесь в крупной корпорации. Когда вы одиноки, когда вы заинтересованная сторона, а также разработчик, вы не на встречах. Вы говорите мне, что люди больше ничего не отправляют соло? Что люди не отправляют новые проекты GitHub, которые царапают личный зуд? Как создание программного обеспечения не включает код?