使用 AKS 進行數據流處理

Azure App Service
Azure API 管理
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

解決方案構想

本文是解決方案概念。 如果您想要使用詳細資訊來擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。

本文提供使用 Azure Kubernetes Service (AKS) 快速處理和分析來自裝置的大量串流數據的解決方案。

Apache、Apache® Kafka 和 Apache Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。

架構

顯示從裝置串流數據擷取、處理和分析方式的架構圖表。

下載此架構的 Visio 檔案

資料流程

  1. 感測器會產生數據並將其串流至 Azure API 管理。
  2. AKS 叢集會執行部署為服務網格後方容器的微服務。 容器是使用DevOps程式所建置,並儲存在 Azure Container Registry 中。
  3. 內嵌服務會將數據儲存在 Azure Cosmos DB 中。
  4. 以異步方式,分析服務會接收數據,並將其串流至 Apache Kafka 和 Azure HDInsight。
  5. 數據科學家會使用機器學習模型和 Splunk 平臺來分析數據。
  6. 處理服務會處理數據,並將結果儲存在 適用於 PostgreSQL 的 Azure 資料庫 中。 服務也會快取 Azure Cache for Redis 中的數據。
  7. 在 Azure App 服務 中執行的 Web 應用程式會建立結果的視覺效果。

元件

此解決方案會使用下列重要技術:

案例詳細資料

此解決方案非常適合涉及數百萬個數據點的案例,其中數據源包括物聯網(IoT)裝置、感測器和車輛。 在這種情況下,處理大量數據是一項挑戰。 快速分析數據是另一項苛刻的工作,因為組織會尋求深入瞭解複雜的案例。

AKS 中的容器化微服務會形成解決方案的重要部分。 這些獨立的服務會內嵌及處理實時數據流。 它們也會視需要進行調整。 容器的可移植性可讓服務在不同的環境中執行,並處理來自多個來源的數據。 為了開發和部署微服務,會使用DevOps和持續整合/持續傳遞(CI/CD)。 這些方法可縮短開發週期。

為了儲存內嵌的數據,解決方案會使用 Azure Cosmos DB。 此資料庫可彈性地調整輸送量和記憶體,因此適合用於大量數據。

解決方案也會使用 Kafka。 這個低延遲串流平臺會以極高速處理即時數據摘要。

另一個主要解決方案元件是 HDInsight,這是受控的開放原始碼雲端分析服務。 HDInsight 可簡化在 Azure 中使用 Apache Spark 時,以大量和速度執行巨量數據架構。 Splunk 有助於數據分析程式。 此平臺會從實時數據建立視覺效果,並提供商業智慧。

潛在使用案例

此解決方案可受益於下列領域:

  • 車輛安全,特別是在汽車工業
  • 零售和其他產業的客戶服務
  • 醫療保健雲端解決方案
  • 金融業的金融技術解決方案

下一步

產品檔案:

Microsoft 訓練模組: