- Исполнитель Является ли рамка вывода Pytorch для устройств Edge, разработанной Meta при поддержке таких лидеров отрасли, как ARM, Apple и Qualcomm.
- Модели запуска машинного обучения (ML) на устройстве все более важны для семейства приложений Meta (FOA). Эти модели на грани улучшают задержку, поддерживают конфиденциальность пользователей, сохраняя данные на устройствах пользователей и обеспечивая функциональность в автономном режиме.
- Мы демонстрируем некоторые из функций ИИ на устройствах, основанных на исполнителе, которые обслуживают миллиарды людей в Instagram, WhatsApp, Messenger и Facebook.
- Эти развертывания значительно улучшили производительность и эффективность моделей ML на Device в FOA Meta и облегчили исследование на пути производства.
Исполнитель был встроенный в сотрудничество с лидерами отрасли и использует технологии Pytorch 2.x для преобразования моделей в стабильное и компактное представление для эффективного развертывания на грани. Его компактное время выполнения, модульность и расширяемость позволяют разработчикам выбирать и настраивать компоненты – обеспечение переносимости между платформами, совместимость с Pytorch и высокая производительность.
Принятие исполнителя помогла нам улучшить наш опыт пользователей в наших продуктах и услугах, используемых миллиардами людей во всем мире.
Ниже приведены лишь несколько примеров различных моделей ML на наших приложениях на устройствах Android и iOS, которые поддерживает исполнитель.
Включение вырезов в Instagram
Вырезы является одной из последних функций Instagram для творческого выражения и рассказывания историй. Это позволяет людям превращать фотографии и видео своих любимых моментов в анимированные персонализированные наклейки, которыми они могут поделиться с помощью катушек или историй. Мы мигрировали функцию выреза в Instagram, чтобы запустить с исполнителем, включив Squeezesamлегкая версия Мета -сегмент все, что модель (SAM)Полем Как для Android, так и для iOS, исполнитель был значительно быстрее по сравнению со старым стеком, что привело к увеличению ежедневных активных пользователей вырезов (DAU).
Исполнительное управление позволяет функции выреза в Instagram работать быстрее и эффективнее как для генерации наклеек (слева), так и для создания наложений на фото. (верно)
Улучшение видео и качества звонка на WhatsApp
WhatsApp должен быть пригодным для использования и надежным независимо от пропускной способности вашей сетевой пропускной способности. Для достижения этого мы разработали модели оценки полосы пропускания, адаптированные для различных платформ. Эти модели помогают обнаружить и использовать доступную пропускную способность сети, оптимизируя качество потоковой передачи видео без ущерба для гладкости видеозвонок.
Эти модели должны быть очень точными и работать как можно более эффективно. Используя исполнителя, мы наблюдали улучшения для моделей оценки полосы пропускания в показателях производительности, надежности и эффективности. В частности, мы существенно сократили время нагрузки модели и среднее время вывода, одновременно снижая приложение, а не реагирующие (ANR) метрики. Попутно мы дополнительно укрепляли гарантии безопасности по сравнению с более старой мобильной структурой Pytorch, добавив Испытания пузырьчто включает в себя предоставление недействительных или случайных входов в программу и мониторинг исключений. С помощью положительного сигнала из этих выпусков мы сейчас мигрируем несколько других ключевых моделей WhatsApp, таких как те, которые также для шумоподавления и улучшения видео и улучшения видео, и для исполнителя.
Здесь модель идентификации языка Messenger (LID) ограничивает быстрый язык для английского языка для Meta Ai’s Feature Imagine.
Доставка на девице ML для сквозного шифрования на мессенджере
Сквозное шифрование (E2EE) на мессенджере Никто, кроме вас, никого, кроме вас и людей, с которыми вы разговариваете, не видит ваши сообщения, даже мета. Исполнитель включил E2EE в Messenger, перемещая модели на стороне сервера для запуска на устройстве, что позволило передавать данные оставаться зашифрованными.
Чтобы включить e2ee, мы перенесли и развернули несколько моделей, включая модель идентификации языка (LID) на концерте на Messenger. LID – это модель Messenger, которая обнаруживает язык данного текста и позволяет различным задачам, включая перевод, суммирование сообщений и индивидуальные рекомендации по содержанию. С помощью исполнителя крышка на устройстве значительно быстрее и сохраняет сервер и сетевой емкость.
Чтобы сохранить среду Messenger E2EE, мы также использовали исполнителя для перемещения других моделей Messenger на Device, в том числе для оптимизации качества видео вызовов (аналогично моделям оценки полосы пропускной способности WhatsApp), а другой для вырезов изображений (аналогично вырезам в Instagram). Эти сдвиги привели к повышению эффективности инфраструктуры за счет освобождения емкости и позволяя нам масштабировать эти функции во всем мире.
Рекомендации по фоновой музыке для Facebook
Facebook использует основную модель ИИ под названием Scenex, которая выполняет различные задачи, включая распознавание/категоризацию изображений, подписание, создание сгенерированных AI фоном для изображений и проверки безопасности изображений. Перемещение Scenex на исполнителя теперь позволяет ему улучшать истории людей в Facebook, предлагая фоновую музыку на основе изображений.
Благодаря развертыванию исполнителя мы увидели улучшения производительности в Scenex по всем направлениям от устройств с низким и высоким классом по сравнению со старым стеком. Несколько других моделей, в том числе улучшают качество изображения и выполняют снижение фонового шума во время вызовов, теперь находятся на разных этапах A/B -тестирования.
Создание будущего искусственного интеллекта в сообществе исполнителей
Мы надеемся, что результаты, которые мы видели, использовали исполнителя, чтобы помочь решить некоторые из проблем ML в META в масштабе в масштабе, будут обнадеживающими для остальной части отрасли. Мы приглашаем вас внести свой вклад в исполнителя и поделиться обратной связью на нашем GitHub PageПолем Вы также можете присоединиться к нашему растущему сообществу на Discord Discord ServerПолем
Мы с нетерпением ждем возможности продвижения большего количества инноваций в ML On-Device и формировать будущее ИИ на расстоянии вместе с сообществом.
#Ускорение #на #Device #семье #приложений #Meta #исполнителем
По теме
