你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

异常探测器流程

Azure Databricks
Azure 服务总线
Azure 存储帐户

本文介绍一种体系结构,用于近乎实时地实现异常情况检测过程。

体系结构

Diagram of the anomaly detector process architecture.

下载此体系结构的 Visio 文件

数据流

  1. 时序数据可来自多个源,例如 Azure Database for MySQL、Blob 存储、事件中心、Azure Cosmos DB、SQL 数据库和 Azure Database for PostgreSQL。
  2. 数据从各种存储源引入到计算中,由异常检测器监视。
  3. Databricks 有助于对原始数据进行聚合、采样和计算,以生成时间和检测结果。 Databricks 能够处理流和静态数据。 根据要求,流分析和 Azure Synapse 均可作为替代方案。
  4. 异常检测器 API 检测异常并返回结果进行计算。
  5. 异常相关的元数据已排队。
  6. Application Insights 根据异常相关的元数据从消息队列中挑选消息,并发送有关异常的警报。
  7. 结果存储在 Azure Data Lake Service Gen2 中。
  8. Web 应用程序和 Power BI 可以可视化异常情况检测的结果。

组件

用于实现此体系结构的关键技术:

  • 服务总线:可靠的云消息传递即服务 (MaaS) 和简单的混合集成。
  • Azure Databricks:基于 Apache Spark 的快速、简单、协作型分析服务。
  • Power BI:交互式数据可视化 BI 工具。
  • 存储帐户:持久、高度可用、高度可缩放的云存储。
  • 认知服务:具有 REST API 和客户端库 SDK 的基于云的服务,可用于帮助你将认知智能构建到应用程序中。
  • 逻辑应用:用于生成企业工作流的无服务器平台,企业工作流可集成应用程序、数据和服务。 在本体系结构中,逻辑应用由 HTTP 请求触发。
  • Azure Data Lake Storage Gen2:Azure Data Lake Storage Gen2 提供文件系统语义、文件级安全和缩放。
  • Application Insights:Application Insights 是 Azure Monitor 的一项功能,为实时 Web 应用提供可扩展应用程序性能管理 (APM) 和监视。

备选方法

  • Event Hubs with Kafka:运行自己的 Kafka 群集的替代方法。 此 Azure 事件中心功能提供与 Kafka API 兼容的终结点。
  • Azure Synapse Analytics:将企业数据仓库和大数据分析结合在一起的分析服务。
  • Azure 机器学习:在基于云的环境中生成、训练、部署和管理自定义机器学习/异常情况检测模型。

方案详细信息

使用 Azure 认知服务异常检测器 API,无需了解机器学习方面的知识,就能监视和检测时序数据中的异常。 API 的算法通过自动标识最佳适配模型并将其应用到时序数据来进行自适应,并且不限行业、方案或数据量。 它们确定异常情况检测、预期值和异常数据点的边界。

可能的用例

可使用异常情况检测帮助监视的一些领域:

  • 银行诈骗(金融业)
  • 结构性缺陷(制造业)
  • 医疗问题(医疗保健行业)

注意事项

这些注意事项实施 Azure 架构良好的框架的支柱原则,即一套可用于改善工作负载质量的指导原则。 有关详细信息,请参阅 Microsoft Azure 架构良好的框架

可伸缩性

本示例方案中使用的大多数组件均为可自动缩放的托管服务。

有关设计可缩放解决方案的一般性指导,请参阅 Azure 体系结构中心内的性能效率核对清单

安全性

安全性针对蓄意攻击及滥用宝贵数据和系统提供保障措施。 有关详细信息,请参阅安全性支柱概述

适用于 Azure 资源的托管标识用于访问帐户的其他内部资源,然后会被系统分配给 Azure Functions。 只允许通过这些标识访问必要的资源,这样可确保不将额外的内容公开给函数(可能还包括客户)。

有关设计安全解决方案的通用指导,请参阅 Azure 安全性文档

复原

本方案中的所有组件都是托管的,因此均可在区域级别自动复原。

若需可复原解决方案的通用设计指南,请参阅设计适用于 Azure 的可复原应用程序

成本优化

成本优化是关于寻找减少不必要的费用和提高运营效率的方法。 有关详细信息,请参阅成本优化支柱概述

若要了解运行此方案的成本,请使用所有服务中预填充的计算器。 若要了解自己的特定用例的定价变化情况,请按预期的流量/数据量更改相应的变量。

我们已根据流量(假定所有图像的大小均为 100 kb)提供了三个示例性的成本配置文件:

  • 示例计算器:此定价示例是具有此基础结构中所有服务的计算器,Power BI 和自定义警报解决方案除外。

作者

本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。

主要作者:

若要查看非公开的 LinkedIn 个人资料,请登录到 LinkedIn。

后续步骤