Обработка данных на границе с конвейерами обработчика данных
Внимание
Предварительная версия операций Интернета вещей Azure, включенная Azure Arc в настоящее время находится в предварительной версии. Не следует использовать это программное обеспечение предварительной версии в рабочих средах.
Вам потребуется развернуть новую установку Операций Интернета вещей Azure, когда общедоступная версия станет доступной, вы не сможете обновить предварительную установку.
Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.
Промышленные активы создают данные в различных форматах и используют различные протоколы связи. Это разнообразие источников данных, в сочетании с различными схемами и модульными мерами, позволяет эффективно использовать и анализировать необработанные промышленные данные. Кроме того, по соображениям соответствия требованиям, безопасности и производительности нельзя отправлять все наборы данных в облако.
Для обработки этих данных традиционно требуются дорогостоящие, сложные и трудоемкие разработки данных. Обработчик данных — это настраиваемая служба обработки данных, которая может управлять сложностями и разнообразием промышленных данных. Используйте обработчик данных, чтобы сделать данные из разрозненных источников более понятными, доступными для использования и ценными.
Что такое обработчик данных?
Обработчик данных является необязательным компонентом предварительной версии операций Интернета вещей Azure. Обработчик данных позволяет объединять, дополнять, нормализовать и фильтровать данные с устройств. Обработчик данных — это подсистема обработки данных на основе конвейера, которая позволяет обрабатывать данные на границе перед отправкой в другие службы на границе или в облаке:
Обработчик данных отправляет данные потоковой передачи в режиме реального времени из таких источников, как серверы OPC UA, историки и другие промышленные системы. Он нормализует эти данные путем преобразования различных форматов данных в стандартизированный структурированный формат, что упрощает запрос и анализ. Обработчик данных также может контекстуализировать данные, дополняя их эталонными данными или последними известными значениями (LKV), чтобы обеспечить комплексное представление промышленных операций.
Выходные данные обработчика данных являются чистыми, обогащенными и стандартизированными данными, готовыми для подчиненных приложений, таких как средства аналитики и аналитики в режиме реального времени. Обработчик данных значительно сокращает время, необходимое для преобразования необработанных данных в полезные аналитические сведения.
К ключевым функциям обработчика данных относятся:
Нормализация гибких данных для преобразования нескольких форматов данных в стандартизованную структуру.
Обогащение потоков данных со ссылкой или данными LKV для улучшения контекста и повышения эффективности аналитических сведений.
Встроенная интеграция Microsoft Fabric для упрощения анализа чистых данных.
Возможность обрабатывать данные из различных источников и публиковать их в различных местах назначения.
В качестве платформы обработки не зависящих от данных обработчик данных может получать данные в любом формате, обрабатывать данные и записывать их в место назначения. Для поддержки этих возможностей обработчик данных может десериализировать и сериализовать различные форматы. Например, он может сериализовать в parquet для записи файлов в Microsoft Fabric.
Автоматические и настраиваемые политики повторных попыток для обработки временных ошибок при отправке данных в облачные назначения.
Развертывание обработчика данных
По умолчанию обработчик данных не включен в развертывание Azure IoT Operations Preview. Если вы планируете использовать обработчик данных, его необходимо включить при развертывании Предварительной версии операций Интернета вещей Azure. Его нельзя добавить позже. Чтобы развернуть обработчик данных, используйте --include-dp аргумент при выполнении команды az iot ops init . Дополнительные сведения см. в статье "Развертывание предварительной версии операций Интернета вещей Azure" в кластере Kubernetes с поддержкой Arc.
Что такое конвейер?
Конвейер обработчика данных имеет источник входных данных, из которого он считывает данные, место записи обработанных данных в, а также переменное число промежуточных этапов для обработки данных.
Промежуточные этапы представляют различные доступные возможности обработки данных:
- Вы можете добавить столько промежуточных этапов, сколько необходимо для конвейера.
- По мере необходимости можно упорядочить промежуточные этапы конвейера. После создания конвейера можно изменить порядок этапов.
- Каждый этап соответствует определенному интерфейсу реализации и контракту схемы ввода и вывода.
- Каждый этап не зависит от других этапов конвейера.
- Все этапы работают в пределах области секции. Данные не используются для разных секций.
- Данные передаются только из одного этапа в следующий.
Конвейеры обработчика данных могут использовать следующие этапы:
| Этап | Description |
|---|---|
| Источник — MQ | Извлекает данные из брокера MQTT. |
| Источник — конечная точка HTTP | Извлекает данные из конечной точки HTTP. |
| Источник — SQL | Извлекает данные из базы данных Microsoft SQL Server. |
| Источник — Наплывная база данных | Извлекает данные из базы данных InfluxDB. |
| Фильтр | Фильтрует данные, поступающие через этап. Например, отфильтруйте любое сообщение с температурой за пределами 50F-150F диапазона. |
| Преобразование | Нормализует структуру данных. Например, измените структуру на {"Name": "Temp", "value": 50} {"temp": 50}. |
| LKV | Сохраняет выбранные значения метрик в хранилище LKV. Например, сохраните только измерения температуры и влажности в LKV, игнорируйте остальные. Последующий этап может дополнить сообщение сохраненными данными LKV. |
| Обогащать | Обогащает сообщения данными из эталонного хранилища данных. Например, добавьте имя оператора и номер лота из набора данных операций. |
| Общая | Агрегирует значения, проходящие через этап. Например, если значения температуры отправляются каждые 100 миллисекунд, выпустим среднюю метрику температуры каждые 30 секунд. |
| Призывать | Вызывает внешнюю службу HTTP или gRPC. Например, вызовите функцию Azure для преобразования из настраиваемого формата сообщения в JSON. |
| Назначение — MQ | Записывает обработанные, чистые и контекстные данные в раздел MQTT. |
| Назначение — справочник | Записывает обработанные данные в встроенное хранилище ссылок. Другие конвейеры могут использовать хранилище ссылок для обогащения сообщений. |
| Назначение — gRPC | Отправляет обработанные, чистые и контекстные данные в конечную точку gRPC. |
| Назначение — HTTP | Отправляет обработанные, чистые и контекстные данные в конечную точку HTTP. |
| Назначение — Fabric Lakehouse | Отправляет обработанные, чистые и контекстные данные в озеро Microsoft Fabric в облаке. |
| Назначение — Azure Data Explorer | Отправляет обработанные, чистые и контекстные данные в конечную точку Azure Data Explorer в облаке. |
Следующий шаг
Дополнительные сведения о обработчике данных см. в следующих статье: