LLM и уроки, которые мы до сих пор не усвоили

Несмотря на то, что влияние программ LLM никогда раньше не наблюдалось, они кажутся знакомыми с более ранними предположениями.

Для контекста: я не был «доктором наук», работающим над моделями. Я был тем парнем, который работал над созданием кода для проверки концепции и превращением его во что-то, что люди могли бы действительно использовать. Я работал в различных отраслях, от автоматического тестирования программного и аппаратного обеспечения в Моторола небольшим стартапам, занимающимся вопросами доступности и образования.

Итак, вот что я узнал:

Этот цикл ажиотажа вокруг искусственного интеллекта не достигает цели из-за создания ботов, подобных ChatGPT, и кнопок «✨», которые выполняют отдельные вызовы API OpenAI.

Например, Notion, Slack и Airtable теперь лидируют с «ИИ» в заголовках страниц вместо основной ценности, которую они предоставляют. Slack называет себя «Инструментами искусственного интеллекта для управления работой и повышения производительности», но выбрал ли кто-нибудь Slack из-за его функций искусственного интеллекта?

Большинство этих компаний, похоже, не понимают, как внедрять ИИ. Простой векторный семантический поиск в Slack превзошел бы то, что они до сих пор предлагали как «ИИ».

Люди не используют эти продукты из-за этих «✨» решений искусственного интеллекта. Лучшие приложения искусственного интеллекта работают скрытно, расширяя возможности пользователей. Джефф Безос комментирует это (в 2016 году!)

На главной странице Amazon вы не увидите ИИ в качестве чат-бота. Вы видите это в «Прогнозирование спроса, рейтинг продуктов в поиске, рекомендации по продуктам и предложениям, размещение мерчендайзинга, обнаружение мошенничества, переводы».

Вот тут-то и приходит на помощь ИИ, не так, как «вещь» но как «инструмент, который приведет вас к делу».

Что, если бы проблему, на решение которой у группы докторов наук ушел год, можно было бы решить лучше за четыре часа? Вот тогда LLM сияет:

Когда я работал над доступностью для невербальных людей, один из наших проектов был направлен на создание коммуникационных карточек («Я хочу», «Есть», «Да», «Нет») с учетом контекста, чтобы позволить невербальным людям быстрее выражать свои желания, аналогично автозаполнению.

Например, пользователь дома в 7 утра и нажимает на карточку «Я хочу есть».

Следующие карточки должны отражать их потребности (которые, скорее всего, будут продуктами для завтрака), но есть оговорки: то, что человек обычно ест на завтрак, зависит от его страны, типа заведения, в котором он находится (дом, гостиница, ресторан), дня недели и, конечно же, текущих личных предпочтений, которые также меняются со временем.

Через год работы наша команда исследователей из двух университетов добилась ставка 55% (из предложенных вариантов). В то время это был огромный успех. Мы даже получили награду за лучшее решение для обеспечения доступности.

Когда был выпущен ChatGPT 3.5, я воспроизвел решение для этого проекта и после взлома на выходных получил Точность 82% при работе с той же тестовой базой данных.

Скептики ИИ спрашивают: «Если ИИ так хорош, почему мы не видим много новых стартапов?» Спросите любого основателя. Программирование даже близко не является самой сложной частью создания стартапа.

Что я действительно наблюдаю, так это бум внутренних инструментов.

Только в этом году я реализовал проекты, которые никогда не были бы жизнеспособными. Для инженерного менеджера тратить недели на кодирование означает пренебрегать командой.

Корзина «Приятно иметь» — это когда проект умирает. Это означает, что нет инженерных возможностей для решения этой проблемы, поэтому она остается в подвешенном состоянии — до сих пор.

Теперь я могу создавать эти проекты с помощью Claude, запуская подсказки и просматривая результаты между встречами. Я вижу, как многие люди выпускают новые вещи, которые невероятно полезны и продуктивны, чего бы не произошло без Клода или Курсора.

Как и все предыдущие инструменты, мы приближаемся к вершине S-образной кривой для LLM:

Последние релизы не впечатляли. Кто-нибудь знает реальное приложение, в котором ChatGPT 5 может делать то, чего не может o3?

Хорошая новость в том, что большинству людей достаточно того, что у нас есть. Инструменты искусственного интеллекта, такие как KNN, очень ограничены, но все еще ценны сегодня.

Это также убивает обратное FOMO: «Если я подожду, пока технология созреет, мне не придется иметь дело с ее прежними причудами», сейчас менее актуально.

Но исследования ИИ определенно не закончены: мы по-прежнему увидим более дешевые, быстрые и открытые модели, например те, которые могут работать на мобильном устройстве и обладают такими же возможностями, как ChatGPT 4o.

Создание Моделирование искусственного интеллекта — это сложно, но работающий с у них все просто. Я отложил внедрение более ранних инструментов искусственного интеллекта, потому что не мог понять, как работают нейронные сети, сигмоиды и все такое. Затем кто-то сказал: “Что вы делаете? Если вы хотите применить эту технологию, просто используйте Scikit-learn”.

Если вы никогда не использовали ИИ для кодирования, установите Claude Code и начните использовать его для небольших задач. Это дает вам 70% текущих преимуществ ИИ, не углубляясь в оперативную оптимизацию или механику цепочки мыслей.

В конце концов, вам нужно будет научиться лучше использовать LLM, когда вы сталкиваетесь с узкими местами. Вы поймете, что вам все равно придется просмотреть код и команды CLI. Естественно, вы будете лучше подсказывать. Вы будете знать, когда и когда не следует его использовать.

ИИ — это новый Agile: что-то простое, что делает вас быстрее, но имеет ограничения, однако люди будут позиционировать его как решение каждой проблемы, проповедуя: «О, вы неправильно используете (AI/Agile). На самом деле, кажется, что вам нужно еще больше (AI/Agile)».

У инструмента есть ограничения, особенно при открытии новых горизонтов. LLM ограничены данными обучения. Например, когда я пытался написать вибекод для недавно выпущенной игры на Unity, ИИ не смог выполнить даже базовый хук.

Автоматические железнодорожные ворота заменили служащих переезда. Но если бы эти ворота работали 99% времени (или даже 99,99%), было бы этого достаточно?

LLM очень далеки от точности на 99%. Они решают проблемы, но склонны упускать из виду первопричину. Я видел много случаев, когда LLM предлагал исправить ситуацию, добавляя несколько строк, а опытный инженер удалял одну.

Чтобы осознать это, необходимы навыки старшего уровня, такие как ценить простоту выше сложности и знания, полученные в результате борьбы с подобными ошибками в прошлом.

Это создает проблему для юниоров, которые при использовании LLM, за них будут решать проблемы, и они не будут развивать этот навык, что нанесет ущерб их способностям проверки кода. Я вижу много компаний, которые вообще перестали нанимать младших сотрудников.

В 1999 году Интернет был пузырем, и результат вы знаете. Интернет полностью умер, но какое-то время все было хорошо. Блин, я скучаю по Интернету.

А если серьезно, мы видим появление отличных инструментов для повышения производительности, новую эру мемов об искусственном интеллекте, в то время как за большинство из них платят венчурные капиталисты и крупные технологические компании. Это беспроигрышный вариант.

Кроме того, вот мое любимое видео SORA: (Внимание: ГРОМКИЙ)

(Мне пришлось удалить видео, потому что ошибка в Substack приводит к тому, что клавиша пробела воспроизводит видео вместо прокрутки вниз — извините за скример. Вместо этого вот ссылка Reddit: https://www.reddit.com/r/SoraAi/comments/1nwcx9e/some_body_cam_footage/)