От сигналов до понимания: Создание платформы потоковой передачи данных в реальном времени с помощью Fabric EventStream | Блог Microsoft Fabric

Как Contoso использует датчики MQTT, публичные погодные каналы и интеллект ткани в реальном времени для мониторинга умных зданий.

Совместно написано Алисия Ли и Ариндам Чаттерджи

Почему обработка потока в реальном времени имеет значение

В эпоху ИИ, как организации обнимают интеллектуальные системы и управляемые данными принятие решений, способность Действовать на данные в тот момент, когда он прибывает разблокирует новые уровни ловкость и понимание. От обнаружения аномалий и оперативной оптимизации до мошенничества и персонализированного опыта, понимание в реальном времени питает следующую волну инноваций. Для перспективных предприятий обработка потока в реальном времени стала основой.

В этом посте мы рассмотрим, как Contoso, оператор Smart Building, использует интеллект Microsoft Fabric в реальном времени для создания платформы потоковой передачи данных, которая соединяет датчики комнаты, погодные каналы и системы оповещения.

Обзор архитектуры

Каждое контосо-оперативное здание оснащено датчиками помещений, которые потоковые температуры и данные о занятости к брокеру MQTT. Чтобы обогатить эти данные, Contoso также принимает общедоступную погоду, обеспечивая корреляцию между условиями в помещении и на открытом воздухе. Эти сигналы в реальном времени способствуют более умному использованию энергии, улучшают комфорт пассажиров и дают своевременные реакции на изменения окружающей среды.

Как показано на рисунке 1., эти сигналы в реальном времени проходят через интеллектуальную стек Microsoft Fabric в реальном времени-от употребления до преобразования, оповещения и визуализации. Архитектура включает в себя:

• Eventtream для приема данных MQTT и погоды.
• Операторы NO-Code и SQL для формирования данных.
• Активатор данных для запуска оповещений.
• Eventhouse для хранения и анализа данных временных рядов.
• Монитонные панели в режиме реального времени для мониторинга новейных трендов, аномалий и т. Д.

В следующих разделах мы пройдемся через реализацию каждого этапа архитектуры.

Не могу дождаться, чтобы узнать больше? Проверьте полное прохождение Демо -видеоПолем

Шаг 1: проглатывание данных с EventReam

Путешествие Contoso в реальном времени начинается с данных-много. Каждое здание течет температуры и показаний занятости от датчиков комнаты до брокера MQTT. Чтобы принимать более разумные решения, Contoso обогащает эти сигналы с данными о погоде в реальном времени с карт Azure, что позволяет им коррелировать условия в помещении с обстановкой на открытом воздухе. Эта комбинация помогает оптимизировать использование HVAC, обнаружить аномальные показания, предвидеть проблемы комфорта и активно реагировать, а не реактивно.

Хаб Microsoft Fabric в реальном времени делает это легким. С встроенными разъемами для погоды MQTT и Azure Maps Contoso может употреблять разнообразные потоки данных всего за несколько кликов.

Откройте концентратор в реальном времени и нажмите «Подключить источник данных».
Выберите разъем MQTT и подключите
Создайте новое соединение и заполните имя темы.
Введите режим редактирования EventsTream. Выберите «Добавить источник» и «Подключить источники данных. Выберите разъем данных о погоде
Выберите местоположение (например, Лондон)
Включите несколько функций вывода схемы со страницы настроек EventStreams.
Перейдите к предварительному просмотру данных по потоку по умолчанию: Выберите несколько схемы раскрываться. Каждая схема автоматически выводится из входящих данных. Вы можете переключиться на разные схемы, чтобы просмотреть детали.

Шаг 2: Данные потокового процесса и преобразования с операторами без кода и SQL

Как только данные начинают течь в ткани EventReam, следующий шаг – сформировать его в полезный формат. Данные с необработанным датчиком и погодой часто нуждаются в фильтрации, переименовании или обогащении, прежде чем он будет готов к оповещениям или панели панели. Для Contoso это означает извлечение только тех полей, которые они заботятся, и восстановление данных в соответствии с общей моделью данных, например, температурами, о которых сообщается в Цельсия вместо Фаренгейта и т. Д.

Ткань делает это легким со встроенными инструментами трансформации. Вы можете использовать операторы без кодов для быстрой фильтрации и формирования или переключаться на SQL для более продвинутой логики-все в одном и том же холсте событий.

Нажимать + Добавить преобразование На холсте EventStream (редактирование) Используйте визуальные преобразования, чтобы выбрать поля, переименовать столбцы и изменить типы данных.
Используйте SQL | Редактировать запрос автора и тестирования запросов
Отправьте результаты в таблицу Eventhouse, подключив оператора SQL с пунктом назначения Eventhouse и завершив конфигурацию Eventhouse.

Используя шаги, которые мы рассмотрели, Contoso может быстро создавать и проверить сложный конвейер данных потоковой передачи, как показано на рисунке 2.

Шаг 3: Акта на потоковые данные-оповещения и панели мониторинга в реальном времени

После того, как данные датчика и погоды проходят, обрабатываются и трансформированы, следующим шагом будет действовать. В некоторых случаях это означает, что инициирует оповещения в реальном времени, когда условия превышают пороговые значения, такие как комнатная температура, повышающаяся выше 100 ° F или пересекают 50 человек. В других это означает визуализацию тенденций между зданиями для поддержки оперативных решений. Будь то автоматизированные ответы или мониторинг человека в петле, ценность потоковых данных исходит от того, насколько быстро и ясно управляет действиями.

Интеллект Fabric в реальном времени поддерживает оба режима действий-A-Event, управляемая автоматизацией с активатором данных и наблюдаемостью в реальном времени с использованием мониторинга в реальном времени Eventhouse. С активатором данных Contoso может определять условия оповещения непосредственно на потоковые данные и запуска уведомлений или рабочих процесса без написания кода. Благодаря мониторингам Eventhouse и в реальном времени они могут строить живые панели мониторинга, которые отражают текущие условия в своих зданиях-в режиме реального времени.

Установите оповещения или действия запуска, добавив активатор данных в качестве пункта назначения для EventReam Определить условия оповещения и настраивать действия (например, уведомления команд, электронные письма, записные книжки)
Отправляйте данные в Eventhouse и создайте панель инструментов в реальном времени.
Используйте визуальные запросы и включите Aut-Refresh, чтобы сохранить информацию вживую.

Заключение

Путешествие Contoso показывает, как ткань интеллекта в реальном времени может превратить необработанные сигналы в действенные идеи-без написания сложного кода и не сшивая несколько инструментов. Ткань предлагает унифицированный путь с низким содержанием фаркции до создания интеллектуальных, управляемых событиями данных.

Этот подход не ограничивается умными зданиями; Шаблон «Информация», «Преобразование», «Акт» применим в различных отраслях:

• Производство: Мониторинг оборудования для здоровья оборудования и предупреждения о техническом обслуживании.
• Розничная торговля: Отслеживайте пешеходный трафик и оптимизируйте персонало в режиме реального времени.
• Логистика: Объедините GPS и данные о погоде с переосмыслением поставки.
• Финансы: Обнаружение паттернов мошенничества в качестве транзакций в потоке.

Управляете ли вы фабричным полом, логистической сетью или цифровой витриной, формула такая же: Транслировать его. Сформировать это. Действуйте на это.

Теперь ваша очередь – изучите, что возможно, когда ваш потоковые данные становится вашим совместным пилотом.

Пожалуйста, обратитесь к следующим ссылкам для подробного руководства по конфигурации:

Нам бы понравилось ваши отзывы!

Не стесняйтесь обращаться по электронной почте в[email protected]Полем Вы также можете отправить обратную связь или запрос функции наИдеи ткании присоединяйтесь к беседе с другими пользователями вСообщество тканей

Если вы еще этого не сделали, проверьте видео Прохождение для полного опыта в действии.