你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure 数据资源管理器和 Azure IoT 中心进行 IoT 分析

Azure Cosmos DB
Azure 数据资源管理器
Azure 数字孪生
Azure IoT 中心

解决方案构想

本文介绍了一种解决方案构想。 云架构师可以通过本指南来帮助可视化此体系结构的典型实现的主要组件。 以本文为起点，设计一个符合工作负荷特定要求的架构合理的解决方案。

此解决方案概念介绍了如何Azure 数据资源管理器为物联网（IoT）设备和传感器的快速流动、大容量流式处理数据提供近实时分析。 此数据流是整体 IoT 解决方案的一部分，该解决方案将运营和分析工作负荷与 Azure Cosmos DB 和 Azure 数据资源管理器 集成。

Jupyter 是其相关公司的商标。 使用此标志并不意味着认可。 Apache® 和 Apache Kafka® 是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。

体系结构

图解显示了一个Azure IoT数据分析体系结构，其中Azure 数据资源管理器处理来自Azure IoT 中心、Azure 事件中心 和 Apache Kafka 的数据。

下载此体系结构的 Visio 文件。

数据流

以下数据流对应于上图：

  1. Azure 事件中心、Azure IoT 中心 或 Apache Kafka 摄取各种快速流式数据，例如日志、业务事件和用户活动。

  2. Azure Functions或Azure 流分析近乎实时地处理数据。

  3. Azure Cosmos DB 以 JSON 格式存储流式消息，以服务于实时操作应用程序。

  4. Azure 数据资源管理器使用 Event Hubs、IoT 中心 或 Kafka 的连接器引入分析数据，实现低延迟和高吞吐量。

    或者，您可以通过使用 Azure 事件网格 数据连接，将 blob 从 Azure Blob 存储 或 Azure Data Lake Storage 帐户引入 Azure 数据资源管理器。

    还可以以压缩、分区的 Apache Parquet 格式连续将数据导出到Azure 存储，并使用 Azure 数据资源管理器 无缝查询数据。 有关详细信息，请参阅 连续数据导出概述。

  5. 若要同时处理作和分析用例，请并行将数据路由到 Azure 数据资源管理器和 Azure Cosmos DB，或者将数据从 Azure Cosmos DB 路由到 Azure 数据资源管理器。

    Azure Cosmos DB 事务可通过更改提要触发 Azure Functions。 Azure Functions将数据流式传输到事件中心，以便引入到Azure 数据资源管理器。 或者，Azure Functions可以通过其 API 调用Azure 数字孪生，然后将数据流式传输到事件中心以便引入到Azure 数据资源管理器。

  6. 以下接口从 Azure 数据资源管理器中存储的数据获取见解：

  7. Azure 数据资源管理器与 Azure Databricks 和 Azure 机器学习 集成以提供机器学习服务。 还可以使用其他工具和服务生成机器学习模型，并将其导出到Azure 数据资源管理器以获取评分数据。

组件

此解决方案理念使用以下 Azure 组件。

Azure 数据资源管理器

  • 异常情况检测和预测 是 Azure 数据资源管理器中的内置分析功能。 它会检测离群值并预测未来值，以支持主动监视和决策。 在此体系结构中，它标识 IoT 数据中的异常模式，并预测一段时间内的预期行为。

  • 根分析的异常诊断 是一项 KQL 功能，可帮助识别异常的根本原因。 它分析贡献的维度和指标，以简化故障排除。 在此体系结构中，它会隔离设备数据中检测到的异常源。

  • Azure 数据资源管理器是完全托管的高性能分析服务。 它几乎实时地处理来自应用程序、网站和 IoT 设备的大量流式处理数据。 在此体系结构中，它充当用于引入、查询和可视化 IoT 数据的中央分析引擎。

  • Azure 数据资源管理器仪表板是Azure 数据资源管理器 Web UI 中的可视化功能。 可以使用Azure 数据资源管理器仪表板将 Kusto 查询导出到交互式仪表板中，以便进行实时数据浏览。 在此体系结构中，它们显示来自 IoT 数据流的见解和异常情况检测结果。

  • Azure 数据资源管理器 Web UI是基于浏览器的接口，适用于Azure 数据资源管理器群集。 它支持编写、运行和共享 KQL 命令和查询的用户。 在此体系结构中，它为分析师提供一个工作区来查询和浏览 IoT 数据。

  • 时序分析 是 Azure 数据资源管理器中的内置功能。 它可帮助用户在基于时间的数据中探索时态模式、趋势和季节性。 在此体系结构中，它揭示了 IoT 传感器读数中的长期趋势和周期性行为。

其他 Azure 组件

  • Azure Cosmos DB 是完全托管的快速 NoSQL 数据库，具有适合于任何规模的开放式 API。 在此体系结构中，它存储来自 IoT 设备的运营数据，以便进行可扩展性和低延迟的访问。

  • Azure 数字孪生 是一个平台，用于将物理环境建模为数字表示形式。 在此体系结构中，它维护 IoT 连接资产的数字模型，以支持空间分析和上下文见解。

  • IoT 中心支持 IoT 设备和 Azure 云之间的双向通信。 在此体系结构中，它充当用于设备数据和命令和控制操作的中心消息传送中心。

  • 事件中心 是一项完全托管的实时数据引入服务。 在此体系结构中，它会从 IoT 设备引入数据并将其流式传输到分析管道。

  • Kafka on HDInsight 是 Azure 上适用于 Apache Kafka 的企业级、经济高效的服务。 在此体系结构中，它为 IoT 数据引入和分发提供了替代流式处理主干。

方案详细信息

此解决方案使用Azure 数据资源管理器对来自各种 IoT 设备的快速流式大容量流数据进行近实时 IoT 数据分析。

可能的用例

  • 车队管理，用于车辆部件的预测性维护。 此解决方案非常适合汽车和运输行业。

  • 设施管理，用于能源和环境优化。

  • 将实时道路状况与天气数据相结合，实现更安全的自动驾驶。

贡献者

Microsoft维护本文。 以下贡献者撰写了本文。

主要作者：

其他参与者：

若要查看非公开的领英个人资料，请登录领英。

后续步骤