你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure IoT 数据处理器预览版管道在边缘处理数据

重要

Azure IoT 操作预览版（由 Azure Arc 启用）当前处于预览状态。 不应在生产环境中使用此预览版软件。

有关 beta 版本、预览版或尚未正式发布的版本的 Azure 功能所适用的法律条款，请参阅 Microsoft Azure 预览版的补充使用条款。

工业资产以许多不同的格式生成数据并使用各种通信协议。 这种数据源多样性与可变的架构和单位度量值使之难以有效地使用和分析原始工业数据。 此外，出于合规、安全和性能原因，无法将所有数据集上传到云。

以传统方式处理此数据需要成本高昂、复杂且耗时的数据工程。 Azure IoT 数据处理器预览版是可配置的数据处理服务，可以管理工业数据的复杂性和多样性。 使用数据处理器使来自不同源的数据更易于理解、可用且有价值。

Azure IoT 数据处理器预览版是什么？

Azure IoT 数据处理器预览版是 Azure IoT 操作预览的组件。 使用数据处理器可以对来自设备的数据进行聚合、扩充、规范化和筛选。 数据处理器是基于管道的数据处理引擎，可用于在边缘或云中将数据发送到其他服务之前在边缘处理数据：

数据处理器引入来自 OPC UA 服务器、历史数据服务器和其他工业系统等源的实时流式处理数据。 它通过将各种数据格式转换为标准化、结构化格式来规范化此数据，以便可以更轻松地查询和分析。 数据处理器还可以上下文化数据，使用参考数据或最后已知值 (LKV) 进行扩充以提供工业操作的全面视图。

来自数据处理器的输出是干净、扩充且标准化的数据，已准备好用于下游应用程序，例如实时分析和见解工具。 数据处理器显著缩短了将原始数据转换为可操作见解所需的时间。

主要数据处理器功能包括：

• 可变数据规范化，用于将多个数据格式转换为标准化结构。

• 使用参考或 LKV 数据的数据流扩充，用于增强上下文并启用更好的见解。

• 内置的 Microsoft Fabric 集成，用于简化干净数据的分析。

• 处理来自各种源的数据并将数据发布到各种目标的功能。

• 作为与数据无关的数据处理平台，数据处理器可以引入任何格式的数据，处理数据，然后将其直接写入到目标。 若要支持这些功能，数据处理器可以反序列化和序列化各种格式。 例如，它可以序列化为 parquet，以便将文件写入到 Microsoft Fabric。

• 自动且可配置的重试策略可以处理将数据发送到云目标时发生的瞬态错误。

什么是管道？

数据处理器管道具有从中读取数据的输入源，将已处理的数据写入到的目标，以及用于处理数据的可变数量的中间阶段。

中间阶段表示不同的可用数据处理功能：

• 可以根据需要向管道添加任意多个中间阶段。
• 可以根据需要对管道的中间阶段进行排序。 可以在创建管道后对阶段进行重新排序。
• 每个阶段都遵循定义的实现接口和输入/输出架构合同。
• 每个阶段都与管道中的其他阶段无关。
• 所有阶段在分区的范围内操作。 数据不会在不同的分区之间共享。
• 仅从一个阶段到下一个阶段的数据流。

数据处理器管道可以使用以下阶段：

阶段	说明
源 - MQ	从 MQTT 代理中检索数据。
源 - HTTP 终结点	从 HTTP 终结点中检索数据。
源 - SQL	从 Microsoft SQL Server 数据库中检索数据。
源 - InfluxDB	从 InfluxDB 数据库检索数据。
Filter	筛选通过阶段发送过来的数据。 例如，筛选掉温度在 50F-150F 范围之外的任何消息。
转换	规范化数据的结构。 例如，将结构从 {"Name": "Temp", "value": 50} 更改为 {"temp": 50}。
LKV	将所选指标值存储到 LKV 存储中。 例如，仅将温度和湿度度量值存储到 LKV 中，忽略其他。 后续阶段可以使用存储的 LKV 数据扩充消息。
扩充	使用来自参考数据存储的数据扩充消息。 例如，从操作数据集添加操作员名称和批号。
聚合	聚合通过阶段传递的值。 例如，每 100 毫秒发送一次温度值时，就会每 30 秒发出平均温度指标。
调用	调用外部 HTTP 或 gRPC 服务。 例如，调用 Azure 函数以从自定义消息格式转换为 JSON。
目标 - MQ	将已处理、干净且已上下文化的数据写入到 MQTT 主题。
目标 - 参考	将已处理的数据写入到内置的参考存储。 其他管道可以使用参考存储扩充其消息。
目标 - gRPC	将已处理、干净且已上下文化的数据发送到 gRPC 终结点。
目标 - HTTP	将已处理、干净且已上下文化的数据发送到 HTTP 终结点。
目标 - Fabric 湖屋	将已处理、干净且已上下文化的数据发送到云中的 Microsoft Fabric 湖屋。
目标 - Azure 数据资源管理器	将已处理、干净且已上下文化的数据发送到云中的 Azure 数据资源管理器终结点。
目标 - Azure Blob 存储	将已处理、干净且已上下文化的数据发送到云中的 Azure Blob 存储终结点。

下一步

若要试用数据处理器管道，请参阅 Azure IoT 操作快速入门。

若要详细了解数据处理器，请参阅：

• 消息结构概述
• 序列化和反序列化格式概述