Камера для событий: электронный глаз, имитирующий человеческое зрение | Наука

Одно из стремлений науки и техники — разработать системы, обладающие возможностями самого сложного организма в природе: того, который состоит из 37 триллионов клеток человеческого тела. В целом это непостижимо, но частичный прогресс может быть достигнут. Он Институт Микроэлектроники в столице Андалузии (Имсе) из Высшего совета научных исследований (CSIC) и Севильского университета сосредоточили внимание на системе, которая делает видение возможным. Обычные камеры фиксируют изображение, которое, повторяясь от 30 до 100 000 раз в секунду, образует последовательность. Но глаз и связи с мозгом позволяют нам идти дальше и фокусироваться и воспринимать минимальные изменения, которые позволяют нам адаптироваться, интерпретировать окружающую среду и действовать соответствующим образом, без необходимости хранить всю информацию. Эту возможность Imse уже применяет в датчиках динамического видения (DVS) для камер событий, которые были приняты на вооружение такими компаниями, как Samsung и Sony.

Обычные камеры больше похожи на гиперреалистичную картину, чем на видение. Они фиксируют изображение кадра и воспроизводят его. Его основные достижения заключаются в разрешении: добавление большего количества пикселей для достижения четкости и предотвращения возможных дефектов при обработке. «Они могут предоставить огромный объем данных, для передачи которых требуется центральный офис и большое количество проводов. Но кто-то должен обрабатывать», — объясняет Бернабе Линарес, профессор-исследователь в Имсе.

«Биологическая сетчатка не делает изображений. Вся информация проходит через зрительный нерв, и мозг ее обрабатывает. В обычной камере каждый пиксель автономен и, в лучшем случае, взаимодействует со своими соседями для регулировки яркости. Но цифровое изображение на выходе из туннеля может быть полностью белым или черным, в то время как мы, за исключением очень экстремальных условий, можем видеть, что находится внутри и снаружи», — добавляет исследователь. Этот потенциал необходим, например, для разработки автономных транспортных средств.

Эта характеристика человеческого зрения известна как фовеация — механизм, позволяющий максимизировать разрешение в области фокуса зрения, сохраняя при этом низкое разрешение в областях периферического зрения. Таким образом, количество информации, генерируемой сетчаткой, уменьшается, но способность визуального распознавания для принятия решений сохраняется.

Он Группа нейроморфных систем Imse ищет электронный глаз с этими и другими возможностями, основанными на биологии, датчик, который позволяет получать результаты с высокой скоростью, без огромного энергопотребления и минимизировать объем данных, необходимых для эффективной обработки. С учетом этих предпосылок была разработана камера событий, которая работает не с кадрами, а с непрерывными потоками электрических импульсов (событий или событий). шипы), создаваемый каждым фотодатчиком (или пикселем) автономно, когда он обнаруживает достаточное изменение света.

«В этих камерах, — отмечает Линарес, — исходную информацию предоставляют контуры объектов. Но это не изображения: это динамический поток пикселей (событий), которые меняются, а фаза обработки имитирует работу мозга, который также устанавливает иерархию слоев».

Хотя зародыш нового подхода к изображениям появился в Калифорнийском технологическом институте (Калифорнийский технологический институт) в девяностые годы, его использование для имитации человеческого глаза началось 20 лет назад в Швейцарии с европейского проекта, координируемого Имсе и названного ИКРА. С этого момента начались патенты, появились компании в результате исследований, инвесторы и внедрение разработок таких компаний, как Samsung и Sony, для разработки процессоров изображений. «Цель, — объясняет исследователь из Имсе, — состоит в том, чтобы создать ямку. [la región de la retina especializada en la visión fina de los detalles] электроника». Это устройство позволяет, не генерируя много информации, идентифицировать интересующую область и именно это и обрабатывается в высоком разрешении.

Это устройство необходимо для распознавания данных, важных для автономного вождения, оптимизации обработки и минимизации потребления ресурсов. «Если камера видит знак, пешехода или другое транспортное средство, ей не нужно анализировать все изображение, а только новый элемент», — объясняет Линарес.

Но это также имеет огромное значение для датчиков для любой деятельности, таких как наблюдение и отслеживание изображений, поскольку они активируются только тогда, когда происходит соответствующее изменение, или для диагностики изображений, только указывая на измененные области, или для навигации дронов. А расследование возглавляемый Бодо Рюкауэром из голландского университета Радбауд, использует датчик динамического зрения (DVS), подобный тому, который разработан Imse: «Этот безрамочный датчик сигнализирует об изменении интенсивности света в зависимости от пикселей и характеризуется высоким динамическим диапазоном и микросекундное временное разрешение. Искусственный интеллект, обученный распознавать жесты, достигает точности 90% благодаря DVS».

Тереза ​​Серрано, ученый и директор Imse, указывает на то, как нейробиология может использовать процессоры, которые взаимодействуют с нейронными системами и обслуживают пациентов с эпилепсией или болезнью Паркинсона.

Текущее направление исследований сгруппировано в проекте Шустрый ИИцелью которого является использование последних достижений в области микроэлектроники и технологий интегральных схем для создания нейроморфного зондирования и обработки с большей безопасностью и конфиденциальностью при меньших затратах, потреблении энергии (до 100 раз меньше) и задержке (в 50 раз быстрее время отклика). отвечать).

Одной из компаний, возникших в результате исследовательской группы, была Chronocam, которая теперь называется Prophesee. «По сути, то, что мы разрабатываем, — это новый подход к обнаружению информации, сильно отличающийся от традиционных камер, которые существуют уже много лет», — говорит он. Лука Верре, генеральный директор Prophesee.

«Наши датчики выдают очень небольшие объемы данных. Таким образом, они позволяют вам иметь систему с низким энергопотреблением и разумной стоимостью, потому что она может генерировать некоторые данные о событиях, с которыми процессор может легко и локально взаимодействовать. Вместо того, чтобы передавать ему тонны кадров, которые перегружают его и мешают обрабатывать данные в реальном времени, камера событий позволяет делать это в реальном времени в сцене», — объясняет Верре.

Вы можете следить МАТЕРИЯ в Фейсбук, Икс е Инстаграмнажмите здесь, чтобы получить наш еженедельный информационный бюллетень.

_