SEED-SS-36B Bytedestine: DEP DIVE в новую открытую давнюю LLM | Саи Дхерадж Гуммади | Август, 2025

Нажмите Enter или нажмите, чтобы просмотреть изображение в полном размере

Команда Seed Seedance выпустила Seed-OSS-36B, новую семью широких языковых моделей с открытыми науками, предназначенных для рассуждений, агентского поведения и практических рабочих процессов. Серия прибывает с Native 512K Context Support, гибким контролем «мыслительного бюджета», а также как на исследовательских, так и для производственных вариантов при Apache-2.0, сигнализируя о серьезном открытом вкладе одного из самых влиятельных производителей искусственного интеллекта в мире.

SEED -OSS -36B является плотной линией LLM 36B -PARAMETER, введенной в трех вариантах:

• Seed -OSS -36B -Base (с данными синтетических инструкций)
• Seed -OSS -36B -Base (без синтетических данных инструкций)
• SEED -OSS -36B -Instruct

Все они выпущены на лицензии об объятиях с лицензией Apache-2,0, обеспечивая бесплатное коммерческое использование, модификацию и перераспределение-особенно полезные для предприятий, желающих управлять полным стеком без блокировки API. Команда SEED позиционирует модели для глобальных вариантов использования с высокими рассуждениями, агентским использованием инструментов и давними рабочими нагрузками.

• Нативное окно контекста 512K: обученный конечный контекст для ультра -многослого, обеспечивая проглатывание массивных документов, многоэтапных цепей и трассировки агента за один проход – далеко за пределами типичных 128 -километровых ограничений.
• Гибкий контроль над «бюджетом мышления»: пользователи могут динамически корректировать длину рассуждений, обмениваясь затратами/задержкой в зависимости от глубины рассуждений на задачу – полезно для управления производственным выводом.
• Рассуждение и агентская производительность: модели настроены для сложного решения проблем и сценариев использования инструментов, сохраняя при этом сбалансированные общие возможности.
• Стратегия выпуска, подходящая для исследований: две базовые модели-одна с данными с синтетическими инструкциями для более высоких результатов, без «более чистых» фондов-поддерживают как прикладные, так и академические цели.
• Современный стек LLM: трансформатор только для декодера с позиционным кодированием веревки, внимание GQA, RMSNORM и активация Swiglu; 64 слоев, 36B Params, 5120 скрытый размер, 155K Vocab.

• Семя -36B -база (с синтетическими данными и без синтетических данных и без него) и SEED -OSS -36B -НАБЛЮДЕНИЯ живут на обнимании лица под Apache -2.0.
• Apache -2.0 очищает путь для коммерческих развертываний (On -Prem или Cloud), тонкого обхода, перераспределения в продуктах и интеграции с внутренними источниками данных и агентами – без отдельных поставщиков.

Bytedance публикует обширные результаты как для базовых, так и для инструкционных моделей. Выбранные основные моменты ниже поступают непосредственно из модельной карты Seed-OS-36B и подтверждающего покрытия.

Базовые показатели модели

Seed-OSS-36B-база (с данными с синтетическими инструкциями) по сравнению с базами с открытым исходным кодом в аналогичной масштабе показывает сильную производительность по знаниям, рассуждениям, математике и кодированию:

• MMLU-PRO: 65,1 (база W/ Syn.) Против 58,5 (QWEN2,5–32B-база).
• MMLU: 84,9 (база с син.).
• Triviaqa: 82,1 (база с син.).
• BBH (рассуждение): 87,7 (база с син.)-Сообщается как SOTA с открытым исходным кодом при выпуске в нескольких статьях.
• GSM8K: 90,8; Математика: 81,7 (база с син.).
• Кодирование: Humaneval 76.8; MBPP 80.6 (база с син.).

Примечание. Байтеданс также сообщает о «Wosyn» варианте (без синтетических данных инструкций), который слегка следит за «синхронизацией». На нескольких критериях, но предназначено для исследований чистоты и последующего постороннего обучения.

Инструктируйте модельные тесты

Вариант, настроенный на инструкцию, подчеркивает следующее обучение, рассуждения, агентские задачи, кодирование, многоязычное, безопасное и длинный контекст:

• Знание: MMLU-PRO 82,7; MMLU 87,4; GPQA-D 71.4; Supergpqa 55,7.
• Математика и рассуждения: AIME24 91.7, AIME25 84.7, Beyondaime 65; Arcagi v2 40.6.
• Кодирование: LiveCodebench V6 67.4; HLE 10.1.
• Агентские тесты: SWE-Bench Provied (OpenHands) 56; Swe-Bench проверена (без агента 4*10) 47; Tau1-Retail 70.4; TAU1-Airline 46.
• Длинный контекст: Правитель (128K) 94,6.
• Многоязычный: MMMLU 78.4.
• Безопасность: воздушная палата 75,6.

Независимое охват и пресса подчеркивают нативный контекст 512K, контролируемые токены рассуждения и претензии SOTA с открытым исходным кодом по нескольким категориям, позиционируя семян-36B в качестве конкурентного варианта класса 30–40b для рассуждений и агентов с длинным контекстом.

Нативный контекст 512K открывает новые классы приложений:

• Давний анализ: синтез мульти -документа (RFP, юридическая, исследовательская литература), большой анализ логарифмических и окончательный корпус.
• Следы агента: удержание внутрипроизводственных вызовов с многокашнными инструментами и промежуточных промежуточных состояний или критики в течение одного бюджета сессии.
• Рэг в масштабе: минимальное давление в обжарении, более крупные окна поиска и более богатые перекрестные рассуждения без агрессивных стратегий усечения.

Поскольку длинный контекст обучается изначально (а не модернизирована), модель должна лучше сохранять стабильность и поведение внимания на длинные длины, хотя задержка, определенная приложением и оптимизация памяти, все еще необходимы.

• База с синтетическими данными: лучше всего для выхода на работу задачи и приложений общего назначения; Вероятно, сильнее по поведению, подобно инструкции, еще до настройки.
• База без синтетических данных: лучше всего для исследователей, желающих избежать предварительного воздействия на синтетические сигналы обучения; Идеально подходит для индивидуальных после обучения и контролируемых исследований.
• Инструкт: Лучше всего для производственных помощников, агентов и опыта пользователя, которые требуют инструкции, использования инструментов и заземленной приверженности из коробки.

• Энтерправомерные коллеги с большими контекстами документов: анализ политики, синтез SOP, обзор пакетов аудита и отчетность по соблюдению с помощью ультра -многопользовательных входных окон.
• Инженерные и оперативные операторы: анализ журнала/события в длинных окнах, изменении – эксплуататоры и маршрутизированное использование инструментов с фреймворками агента.
• Исследовательские и юридические рабочие процессы: обзоры литературы, привязанную проверку и анализ прецедентного права с минимальными компромиссами.
• Задачи кода и данных: мульти -файльные репозитории, рефактории ноутбуков и давние последовательности планирования для разработчиков агентов.
• Многоязычное/глобальное развертывание: Seed -OSS позиционируется для международных вариантов использования, помогая командам развернуться за пределами одного рынка.

Демо сообщества показывают, что семена -36B работают локально с 8 -битными и 4 -битными квантованными сборками на многоотборных установках, тестировании моделирования браузера -OS, этики и задачах Code/HTML. Ожидайте компромиссы по скорости, использование контекста и настройки «мышления токена», причем сильное оборудование необходимо для плотного вывода 36B в больших контекстах. Лицензирование Apache -2.0 делает развертывание в режиме и воздуха жизнеспособными для регулируемых сред.

Релиз согласуется с более широким толчком китайских лабораторий искусственного интеллекта для постановки мощных открытых моделей с разрешающими лицензиями, стремясь сузить разрыв с помощью предложений США посредством принятия сообщества и прозрачных инструментов исследования. Решение Bytedance сохранить собственную модель (Doubao) при одновременном высвобождении зеркал открытой линии с высокой точностью, наблюдаемые в отрасли: сильные открытые базовые показатели, которые поддерживают рост экосистемы, не обнажая систем короны.

SEED -OSS -36B привносит редкую комбинацию для открытого исходного кода: Native 512K Context, явный контроль над длиной рассуждений, исследовательские базовые варианты и разрешительную лицензию Apache -2,0. Для команд, создающих помощники, агенты, использующие инструменты, или системы рассуждений, особенно в контекстах предприятия и на предприятиях, – это убедительный, очень настроенный вариант для оценки сейчас.