Местные LLM — это то, как ботаники теперь оправдывают большой компьютер, который им не нужен

Просто невероятно, что теперь мы можем запускать все эти потрясающие модели искусственного интеллекта на нашем собственном оборудовании. От уменьшенных версий DeepSeek до gpt-oss-20b — существует множество вариантов для разных типов компьютеров. Но давайте будем честными: все они значительно отстают от передовых моделей, доступных для аренды, и поэтому для большинства разработчиков в лучшем случае являются диковинкой.

Это ничего не умаляет технических достижений. Это ничего не умаляет того факта, что небольшие модели совершенствуются и, возможно, однажды они действительно станут достаточно хорошими, чтобы разработчики могли полагаться на них в своей повседневной работе.
Но этот день не сегодня.

Таким образом, я считаю неправдой слышать, как разработчики оценивают свой следующий компьютер с точки зрения того, насколько хорошо он способен работать с локальными моделями. Потому что они все отстой! Не имеет значения, будет ли один отстой немного меньше, чем другой. И как только вы это обнаружите, вы вернетесь к использованию арендованных моделей для большей части своей работы.

На самом деле это отличная новость! Это означает, что вам действительно не нужен компьютер со 128 ГБ видеопамяти на вашем столе. И это должно стать облегчением теперь, когда Цены на оперативную память стремительно растутименно из-за ненасытной потребности ИИ в большем количестве ресурсов. Большинство разработчиков в наши дни могут обойтись очень малым, особенно если они используют Linux.

Могу поспорить, что вам, вероятно, нужно гораздо меньше, чем вы думаете.

Продолжение темы

Read more:  Это нормально для людей, чтобы плакать на работе. Вот как вы можете ответить как коллега или менеджер

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.