你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

时序数据

数据资源管理器
HDInsight
IoT 中心
Power BI

时序数据是按时间组织的一组值。 时序数据的关键特征是时态排序,它按照事件发生和到达处理的顺序来组织事件。

为以下数据选择时序解决方案:战略价值以资产或流程随时间的变化为中心的数据。 可以使用时序数据来回顾并度量变化,或者展望并预测未来的变化。 时序数据通常按时间顺序到达,通常插入数据存储,很少更新。 相比之下,标准联机事务处理 (OLTP) 数据管道就接受任何顺序的数据,可以随时更新。

时序数据具有时间戳,时间是用于查看或分析数据的有意义的轴。 最好使用散点图或折线图将时序数据可视化。

Screenshot showing time series data visualized in a line chart.

体系结构

Screenshot showing typical time series data flow.

数据流

许多基于时序的系统(例如物联网 (IoT) 方案)使用实时处理体系结构实时捕获数据。

  1. Azure IoT 中心Azure 事件中心Kafka on HDInsight 将数据从一个或多个数据源引入流处理层。
  2. 流处理层对数据进行处理,并将处理后的数据交给机器学习服务进行预测分析。
  3. 分析数据存储(如 Azure 数据资源管理器HBaseAzure Cosmos DBAzure Data Lake)会存储已处理的数据。
  4. Power BI 或 OpenTSDB 等分析和报告应用程序或服务可以显示要分析的时序数据。

组件

有关时序体系结构组件的详细信息,请参阅以下文章:

备选方法

你可使用 Azure 数据资源管理器开发完整的时序服务。 Azure 数据资源管理器本机支持利用准实时监视,创建、操作和分析多个时序。

Azure 数据资源管理器可以从许多服务和平台引入多种格式的数据。 有关详细信息,请参阅 Azure 数据资源管理器支持的用于引入的数据格式。 引入是可缩放的,并且没有限制。

Azure 数据资源管理器 Web UI 支持运行查询和构建数据可视化仪表板。 Azure 数据资源管理器还与仪表板服务(如 Power BI、Grafana)和其他使用 ODBC 和 JDBC 连接器的数据可视化工具集成。 有关详细信息,请参阅使用 Azure 数据资源管理器进行数据可视化

用例

  • 可以分析时序信息以比较当前数据与历史数据、检测异常和生成实时警报,或将历史趋势可视化。

  • 时序分析也非常适用于预测建模和结果预测。 可以将历史更改记录应用于许多预测模型。

  • IoT 数据原生就很适合时序存储和分析。 传入的 IoT 数据将会插入而极少更新(甚至不会更新)。 数据带有时间戳,按收到的顺序插入,通常按时间顺序显示。 可以回顾查找异常并发现趋势,或展望并使用数据进行预测分析。

具体的时序数据示例包括:

  • 捕获一段时间的股票价格以检测趋势。
  • 服务器性能,例如一段时间内的 CPU 使用率、I/O 负载、内存使用率和网络带宽消耗量。
  • 工业设备传感器发出的遥测数据,可以指示待处理的设备故障和触发警报通知。
  • 实时汽车数据(包括某个时间内收集的车速、刹车状况和加速能力),以便为驾驶员生成聚合风险评分。

在上述每种情况下,时间都是有意义的轴。

注意事项

下面是时序解解决方案的一些优势:

  • 明确呈现资产或过程在不同时间的变化。
  • 帮助你快速检测多个相关源的更改,使异常和新兴趋势易于识别。
  • 非常适用于预测建模和预测。

以下是时序解决方案的一些挑战:

  • 时序数据通常区分时间,必须快速处理这些数据,以实时发现趋势或生成警报。 延迟可能会导致故障和业务影响。
  • 通常需要关联来自不同传感器和其他源的数据,这使情况变得更复杂。
  • 时序数据通常很大,尤其是在 IoT 方案中。 存储、索引、查询、分析和可视化大量数据可能很困难。
  • 可能很难找到高速存储与强大计算的适当组合来处理实时分析,同时最小化面市时间和总体投资成本。
  • 流处理层实时处理所有传入数据,且精度和粒度都高,这种事并非总是可能的。 可能需要减少数据来部分地降低精度。
    • 可以通过处理滑动时间窗口(如几秒钟)来减少数据,以便让处理层有时间进行计算。
    • 在显示较长的时间段时,还可以向下采样和聚合数据,例如,进行缩放以显示过去几个月捕获的数据。

作者

本文由 Microsoft 维护, 最初由以下贡献者撰写。

主要作者:

后续步骤