Развертывание MIPI в потоковых датчиках со сверхнизким энергопотреблением

Брайан Ленковски, директор по управлению продуктами, потребительские CMOS-датчики изображения, компания OSRAM.
Махмуд Эль-Банна, генеральный директор Mixel-Egypt.

Потоки данных от высокоскоростных датчиков создают проблемы с пропускной способностью и задержками для проектировщиков. Однако оптимизация конструкции по этим критериям может привести к увеличению энергопотребления, если ее не продумать и не выполнить тщательно. Такое устройство, как домашняя камера видеонаблюдения с высоким разрешением и высокой частотой кадров, в беспроводном приложении, требующее частой замены или подзарядки батареи, скорее всего, вызовет сильное недовольство среди большинства пользователей, даже если во время работы оно передает поток в полном качестве. Сопряжение датчиков потоковой передачи с MIPI® помогает разработчикам сбалансировать производительность и энергопотребление, используя различные режимы работы: высокую скорость, сверхнизкое энергопотребление или что-то среднее между ними.

Альянс MIPI был создан для формирования интерфейсов передачи данных для мобильных устройств, где продление срока службы батареи является приоритетом. Благодаря широкому распространению в камерах смартфонов и, в меньшей степени, в дисплеях, MIPI стал стандартом де-факто в этих приложениях. Камеры на базе MIPI в настоящее время получают все большее распространение в немобильных приложениях, включая автомобильные приложения, Интернет вещей, виртуальную реальность (VR), дополненную реальность (AR), промышленные и медицинские приложения. Модули MIPI D-PHYSM и MIPI C-PHYSM имеют два набора оптимизированных PHY, управляемых конечными автоматами, управляющими состояниями высокой скорости, низкого энергопотребления и сверхнизкого энергопотребления, включая полное отключение для экономии энергии, когда передача данных неактивна. .

В этой статье основное внимание уделяется сценариям с низким энергопотреблением, когда датчики потоковой передачи подключены к процессору через MIPI. После краткого обзора принципов работы датчиков с малым рабочим циклом мы рассмотрим, как датчик потокового изображения использует эти принципы, покажем, как одна полупроводниковая компания использует интерфейсы MIPI CSI-2® и D-PHY в своем решении для обработки изображений, а также коснемся вариантов использования датчики потоковой передачи со сверхнизким энергопотреблением, использующие MIPI.

Двойной рабочий контекст снижает рабочий цикл датчика

Современная цифровая полупроводниковая технология потребляет мощность на уровне транзисторов двумя основными способами: динамическая мощность, генерируемая при переключении транзисторов, которая пропорциональна тактовой частоте, и мощность утечки из напряжений питания, приводящая к небольшим токам утечки. Разработчики микросхем со сверхнизким энергопотреблением обычно смягчают эти источники, выбирая процесс изготовления с использованием быстропереключающихся транзисторов с малой утечкой, снижая напряжения смещения и согласовывая тактовую частоту с рабочей нагрузкой.

Затем внимание переключается на управление питанием в процессорной архитектуре. Тактовый генератор и блокировка питания отключают части чипа, когда эти функции не нужны, вплоть до спящего режима, когда только схема мониторинга событий, необходимая для повторного пробуждения чипа, остается включенной. Многие приложения могут минимизировать среднюю потребляемую мощность за счет снижения рабочего цикла процессора: сон как можно дольше, пробуждение для работы короткими очередями, когда это необходимо, и возврат в режим сна после завершения.

Многие сенсорные приложения соответствуют этому профилю низкого рабочего цикла. Всплески работы происходят вокруг новых образцов датчиков, которые могут быть случайными или периодическими. Случайная выборка дает снимок состояния датчика в данный момент, например, нажатие кнопки для измерения температуры. Периодический отбор проб повторяет показания датчика через определенные промежутки времени. Архитекторы выбирают периодическую выборку по трем причинам: корреляция анализа во временной области в известном масштабе времени, фильтрация или анализ сигналов в частотной области или оцифровка и обработка сигналов перед преобразованием их обратно в удобные для человека аналоговые форматы.

Датчики потокового изображения полагаются на периодическую выборку данных. Визуальное восприятие человека обеспечивает непрерывное изображение сцены, а цифровые датчики изображения определяют разрешение выборки и частоту кадров. Недостаточное разрешение пикселей или частота кадров менее 24 кадров в секунду (fps), и люди начинают испытывать трудности с интерполяцией движения, наблюдая неприятное дрожание отображаемого видео. Повышение частоты кадров обходится дорого: выборка и передача всех этих пикселей за меньшее время требует больше энергии при более высокой тактовой частоте, даже при эффективной обработке в интерфейсах MIPI. Это ловушка, которая, по-видимому, не оставляет дизайнерам иного выбора, кроме как тратить больше энергии на поддержание приемлемого качества потокового изображения для зрителей.

Оспаривание одного предположения кардинально меняет уравнение мощности. Заставить людей смотреть видео наблюдения 24 часа в сутки, 7 дней в неделю — это дорого и отупляюще. Захват видео человеческого качества круглосуточно и без выходных также обходится дорого, поскольку датчик потокового изображения постоянно работает на полную мощность. Если в сцене потокового изображения ничего не перемещается от одного кадра к другому, людям и машинам нечего видеть. Однако датчик изображения с интеллектуальной обработкой может смотреть видео с пониженным качеством и уровнем энергии до нужного момента.

нажмите, чтобы увеличить

ams-OSRAM использует концепцию создания рабочих контекстов с двойным датчиком изображения, снижая частоту кадров и количество пикселей с использованием субдискретизации по всей интересующей области, что приводит к значительному снижению скорости передачи MIPI. Контекст датчика сверхмалого энергопотребления ожидает события, например движения какого-либо объекта. Обнаружение события переводит датчик, интерфейс MIPI и процессор в режим полной мощности с выборкой всех пикселей в интересующей области, высокой частотой кадров, соответствующей высокоскоростной скоростью передачи данных и улучшенным отслеживанием объектов. Когда условия события исчезают, цепочка потоковой передачи возвращается в контекст с низким энергопотреблением, ожидая другого события. Экономия энергии между контекстами датчиков может составлять 20 и более раз, при этом более низкий рабочий цикл существенно снижает среднее энергопотребление.

MIPI развернут в датчике изображения Mira050

Датчики изображения ams-OSRAM подходят для многих потребительских и промышленных приложений, таких как устройства «умный дом», дроны, робототехника и носимые устройства. Mira050 — это 0,5-мегапиксельная CMOS-матрица с глобальным затвором и задней подсветкой, квантовая эффективность которой составляет 93 % в видимом диапазоне волн и более 50 % в ближнем инфракрасном диапазоне. В более ранних поколениях семейства Mira использовался интерфейс LVDS, тогда как Mira050 теперь использует Mixel MIPI IP в качестве внешнего видеоинтерфейса. Непосредственным преимуществом перехода на MIPI является уменьшение количества контактов, переход от параллельного к последовательному интерфейсу данных, а благодаря многослойной конструкции микросхем Mira050 помещается в меньший корпус размером 2,83 x 2,29 мм. Заглянем внутрь концепции реализации Mira050 MIPI:

• Уровень протокола CSI-2 обрабатывает пакетизацию, а физический уровень D-PHY обрабатывает низкоуровневую передачу данных. CSI-2 обеспечивает гибкую передачу данных с тремя форматами пакетов: RAW8, RAW10 или RAW12. Он также предлагает дополнительный канал метаданных для встраивания 8-битных данных, не относящихся к изображениям, чтобы помочь идентифицировать режимы датчика.
• Физический уровень D-PHY позволяет каналу данных работать как в высокоскоростном, так и в сверхнизком энергопотреблении, с быстрым переключением между режимами, согласованными с разрешением датчика и частотой кадров с помощью внешней логики, синхронизирующей пакеты и тактовые сигналы.

нажмите, чтобы увеличить

Более пристальный взгляд на IP-адрес Mixel MIPI, используемый в Mira050, позволяет увидеть больше деталей. Компания Mixel адаптировала свое решение D-PHY TX+, объединив функции D-PHY v 2.1 и CSI-2 v 1.3 в одном IP-блоке. Его высокоскоростная передача и прием осуществляются со скоростью 1,5 Гбит/с на полосу. В режиме пониженного энергопотребления передача и прием осуществляются со скоростью 10 Мбит/с. 4-канальные IP-блоки D-PHY TX+ обеспечивают больше каналов передачи данных для более высокой скорости передачи. D-PHY TX+ включает в себя обширную встроенную логику самотестирования (BIST), оптимизированную для обеспечения тестируемости и производительности, осуществляющую передачу данных в высокоскоростных режимах и режимах с низким энергопотреблением в жестких макросах и CIL RTL.

нажмите, чтобы увеличить

D-PHY TX+ IP полностью переработан для обеспечения исключительной эффективности. Он занимает на 30 % меньше места, чем сопоставимая универсальная конфигурация D-PHY, но при этом обеспечивает 100 % тестовое покрытие своих жестких макроблоков благодаря возможностям BIST. Это также снижает мощность утечки на 40% для приложений со сверхнизким энергопотреблением, таких как Mira050.

Координация разрешения и выборки датчика Mira050, частоты кадров и скорости передачи MIPI с быстрым переключением между режимами обеспечивает бескомпромиссную производительность потоковой передачи до 290 кадров в секунду, но при этом экономит энергию за счет снижения разрешения и частоты кадров, когда это необходимо. Mixel MIPI IP является неотъемлемой частью решения, обеспечивая производительность, управление питанием, успех первого прохождения кремния и возможность тестирования в производстве.

Оптимизация потоковых датчиков со сверхнизким энергопотреблением с помощью MIPI

Малая площадь D-PHY TX+ IP также позволила ams-OSRAM собрать все для датчика Mira050, включая массив активных пикселей, на одном чипе собственной разработки. Их решение использует сложенные слои: один для пикселей, другой для считывания и другой логики. Пиксельный уровень определяет общий размер логического уровня, а более компактный интерфейс MIPI помогает его адаптировать. Чип помещается в корпус размером с чип, размер которого ненамного превышает внешние размеры кристалла, что оптимизирует общую площадь, занимаемую датчиком.

Обработка изображений переходит на следующий уровень оптимизации. Неудивительно, что датчик имеет режимы «полный режим» и «полный режим ожидания». Однако Mira050 может оптимизировать разрешение сенсора, выборку и частоту кадров до значений между двумя крайними значениями, сохраняя соответствующую синхронизацию скорости передачи MIPI. По сути, датчик может адаптироваться к условиям, используя мощность, достаточную только для обнаружения движения от кадра к кадру.

Обнаружение событий начинается с размещения одной или нескольких интересующих областей в поле зрения датчика. Внутри плитки недостаточная выборка уменьшает количество пикселей в соотношении 1:8, сохраняя при этом интересующую область. Частота кадров также снижается, снижая требуемую скорость передачи данных. Образец опорного кадра содержит изображение без движения. Обработка сравнивает каждый новый входящий кадр с эталонным, регулируя пороговые значения, чтобы гарантировать, что только более крупные объекты соответствуют критериям движения, что помогает предотвратить срабатывание датчика случайным фоновым движением, таким как ветер или мелкие животные.

Идея состоит в том, чтобы использовать ровно столько энергии, сколько необходимо для надежного обнаружения движения, и оставаться на этом сниженном уровне мощности неопределенно долго до момента обнаружения. В некоторых условиях может быть достаточно однозначной частоты кадров. Когда плитка помечается как измененная, датчик переходит в режим более высокой выборки – возможно, не полностью, в зависимости от условий. Компания ams-OSRAM сообщает, что их полная мощность составляет 75 мВт, полная мощность в режиме ожидания — 60 мкВт, а надежное обнаружение движения возможно при использовании всего лишь 3 мВт.

нажмите, чтобы увеличить

Оптимизация энергопотребления — не единственное достижение Mira050, хотя оно, несомненно, существенное. Обратите внимание, что снижение в 1,7 раза, показанное ниже, представляет собой экономию в режиме полной мощности по сравнению с предыдущими поколениями. Сокращение занимаемой площади до 3 раз, что означает уменьшение конструкции устройства. Чувствительность выше, отчасти благодаря изолированному пиксельному слою. Характеристики визуального и ближнего инфракрасного диапазона практически идентичны предыдущим поколениям. Короче говоря, мощность резки была без компромиссов по другим показателям.

Варианты использования потоковых датчиков со сверхмалым энергопотреблением

Камеры домашней безопасности — отличный пример использования потоковых датчиков со сверхмалым энергопотреблением с MIPI. Некоторые другие варианты использования включают в себя:

• Бытовая робототехника, ключевые функции которой включают картографирование внутри и снаружи помещений, обнаружение объектов и предотвращение столкновений, а также удаленный мониторинг изображений через приложение для смартфона.
• Электронные дверные замки с биометрической аутентификацией по лицу, плавный переход от режима ожидания к режиму обнаружения людей и к режимам 3D-картографии высокого разрешения.
• Носимые устройства AR/VR с жесткими ограничениями на размер подсистемы визуализации и время автономной работы, расширяющие возможности отслеживания глаз, головы и лица.

нажмите, чтобы увеличить

Любой вариант использования, сочетающий в себе элементы небольшого физического размера и пониженного энергопотребления, но требующий качественной обработки изображений для классификации объектов и обнаружения событий, может выиграть от интеграции MIPI. MIPI IP от Mixel выходит далеко за рамки обеспечения высокоскоростной передачи изображений, поддержки режимов работы с низким энергопотреблением, уменьшения занимаемой площади устройства и повышения тестируемости для повышения производительности. Mixel продолжает продвигать современный MIPI IP для интеграции в потребительские и промышленные приложения, а также отслеживать достижения в спецификациях MIPI и признанных в отрасли системах качества, которым IP должен соответствовать, чтобы клиенты могли получить системную сертификацию.

Посетите веб-сайт Mixel для получения дополнительной информации о Mixel MIPI IP, включая решение Mixel D-PHY TX+ для датчиков потоковой передачи со сверхнизким энергопотреблением с MIPI.

Если вы хотите скачать копию этого технического документа, нажмите здесь.

2024-02-19 08:01:55


1708330696
#Развертывание #MIPI #потоковых #датчиках #со #сверхнизким #энергопотреблением