解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息，例如潜在用例、备用服务、实现注意事项或定价指南，请通过提供 GitHub 反馈来告知我们。
本文介绍使用 Azure Kubernetes 服务 (AKS) 快速处理和分析来自设备的大量流数据的解决方案。
Apache®、Apache Kafka 和 Apache Spark 是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 传感器生成数据并将其流式传输到 Azure API 管理。
- AKS 群集运行部署为服务网格后面的容器的微服务。 容器是使用 DevOps 过程生成的，并存储在 Azure 容器注册表中。
- 引入服务将数据存储在 Azure Cosmos DB 中。
- 分析服务以异步方式接收数据并将其流式传输到 Apache Kafka 和 Azure HDInsight。
- 数据科学家使用机器学习模型和 Splunk 平台来分析数据。
- 处理服务处理数据并将结果存储在 Azure Database for PostgreSQL 中。 该服务还会将数据缓存在 Azure Cache for Redis 中。
- 在 Azure 应用程序服务中运行的 Web 应用创建结果的可视化效果。
组件
该解决方案采用以下关键技术：
- API 管理
- 应用程序服务
- Azure Cache for Redis
- 容器注册表
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
方案详细信息
该解决方案非常适合涉及数百万个数据点的方案，其中数据源包括物联网 (IoT) 设备、传感器和车辆。 在这种情况下，处理大量数据是一项挑战。 快速分析数据是另一项艰巨的任务，因为组织寻求深入了解复杂的方案。
AKS 中的容器化微服务构成了解决方案的关键部分。 这些独立服务引入并处理实时数据流。 还可以根据需要进行缩放。 容器的可移植性使得服务可在不同的环境中运行并处理来自多个源的数据。 为了开发和部署微服务，使用了 DevOps 和持续集成/持续交付 (CI/CD)。 这些方法缩短了开发周期。
为了存储引入的数据，该解决方案使用 Azure Cosmos DB。 该数据库可弹性缩放吞吐量和存储，因此非常适合处理大量数据。
该解决方案还使用 Kafka。 这种低延迟流式处理平台以极高的速度处理实时数据馈送。
另一个关键的解决方案组件是 HDInsight，它是一种托管的开源云分析服务。 在 Azure 中使用 Apache Spark 时，HDInsight 可简化大容量和高速运行的大数据框架。 Splunk 有助于数据分析过程。 该平台根据实时数据创建可视化效果，并提供商业智能。
可能的用例
该解决方案有利于以下领域：
- 车辆安全，尤其是汽车行业
- 零售和其他行业的客户服务
- 医疗保健云解决方案
- 金融行业的金融技术解决方案
后续步骤
产品文档：
- 关于 Azure Cache for Redis
- 什么是 Azure API 管理？
- 应用程序服务概述
- Azure Kubernetes 服务
- Azure 中的专用 Docker 容器注册表简介
- 欢迎使用 Azure Cosmos DB
- 什么是 Azure Database for PostgreSQL？
- 什么是 Azure HDInsight？
- 什么是 Azure Pipelines？
Microsoft 培训模块：
- 使用 Azure 容器注册表生成并存储容器映像
- 配置 Azure 应用程序服务计划
- 使用 Azure Cosmos DB
- 创建并连接到 Azure Database for PostgreSQL
- 针对 Azure Cache for Redis 进行开发
- 探索 API 管理
- 使用 Azure 和 DSC 管理基础结构即代码
- Azure HDInsight 简介