1766280598
2025-12-20 15:01:00
Недавно открытый исходный код GoogleMetrax — это библиотека JAX, предоставляющая стандартизированные, эффективные реализации метрик для классификации, регрессии, НЛП, моделей зрения и аудио.
Метракс устраняет пробел в экосистеме JAX, объясняет Google, который вынудил многие команды перейти с TensorFlow на JAX и реализовать свои собственные версии общих показателей оценки, таких как точность, F1, ошибка RMS и другие:
Хотя создание метрик может показаться некоторым довольно простой и понятной темой, при рассмотрении крупномасштабного обучения и оценки в распределенных вычислительных средах размером с центр обработки данных это становится несколько менее тривиальным.
Google отмечает, что одна из целей Metrax — обеспечить, чтобы все показатели были хорошо реализованы и соответствовали лучшим практикам. Там, где это поддерживается определением метрики, Metrax использует расширенные функции JAX, такие как vmap и jit, для повышения производительности. Например, эти функции используются при реализации новой метрики «at K», чтобы обеспечить возможность параллельного вычисления нескольких значений K. Это позволяет оценить модель более комплексно и быстрее.
Вы можете использовать PrecisionAtK для определения точности вашей модели для нескольких значений K (скажем, при K=1, K=8 и K=20) за один прямой проход по вашей модели, вместо того, чтобы вызывать PrecisionAtK несколько раз с каждым из этих аргументов.
DevOps-инженер пишу на Substack под именем Нейронная литейная мастерская написал:
Тот факт, что Metrax поддерживает вычисление нескольких значений K за один проход, является огромным преимуществом для систем ранжирования. Я переписываю утилиты для работы с метриками каждый раз, когда переключаю проекты, и такая стандартизация уже давно назрела. API тоже выглядит чистым. Любопытно, сравнивали ли они его с пользовательскими реализациями для конкретных случаев использования, таких как крупномасштабные конвейеры рекомендаций.
В следующем фрагменте показано, как вычислить метрики точности данные предсказания и ярлыки. Можно указать дополнительный порог для преобразования вероятностных прогнозов в двоичные прогнозы:
import metrax # Непосредственно вычислить состояние метрики. metric_state = metrax.Precision.from_model_output( предсказания=прогнозы, метки=метки, порог=0,5 ) # Затем результат можно легко получить, вызвав метод вычисления(). результат = результат metric_state.compute()
Google также опубликовал блокнот, содержащий полный набор примеров, включая масштабирование на несколько устройств и интеграцию с Лен NNXупрощенный API, который упрощает создание, проверку, отладку и анализ нейронных сетей в JAX.
ДЖАКС — это библиотека Python с открытым исходным кодом для высокопроизводительных численных вычислений и машинного обучения. Предлагая
#Google #Metrax #переносит #предопределенные #метрики #оценки #модели #JAX
Ещё по этой теме
