巨量資料結構上的即時分析

Azure Analysis Services
Azure 事件中樞
Azure Synapse Analytics

解決方案構想

本文是解決方案概念。 如果您想要使用詳細資訊來擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。

此解決方案概念說明如何從即時串流數據取得深入解析。 持續擷取任何 IoT 裝置的資料,或網站點選流的記錄,並即時處理。

架構

使用 Azure Synapse Analytics 搭配 Azure Data Lake 儲存體、事件中樞、Azure Analysis Services、Azure Cosmos DB 和 Power BI 的巨量數據架構即時分析解決方案圖表。

下載此架構的 Visio 檔案

資料流程

  1. 使用 Azure 事件中樞,輕鬆地擷取應用程式的即時串流數據。
  2. 使用 Synapse Pipelines 將所有結構化數據整合在一起,以 Azure Blob 儲存體。
  3. 利用 Apache Spark 集區來清除、轉換和分析串流數據,並將其與操作資料庫或數據倉儲中的結構化數據結合。
  4. 使用可調整的機器學習/深度學習技術,透過Apache Spark集區中的筆記本體驗,使用 Python、Scala 或 .NET 從此數據衍生更深入的深入解析。
  5. 在 Azure Synapse Analytics 中套用 Apache Spark 集區和 Synapse Pipelines,以大規模存取和行動數據。
  6. 在專用 SQL 集區中建置分析儀錶板和內嵌報表,以在組織內共用見解,並使用 Azure Analysis Services 將此數據服務給數千位使用者。
  7. 從 Apache Spark 集區到 Azure Cosmos DB 取得深入解析,使其可透過即時應用程式存取。

元件

  • Azure Synapse Analytics 是快速、彈性且受信任的雲端數據倉儲,可讓您使用大規模平行處理架構,以彈性且獨立的方式調整、計算及儲存。
  • Synapse Pipelines 文件 可讓您建立、排程及協調 ETL/ELT 工作流程。
  • Azure Data Lake 儲存體:建置在 Azure Blob 儲存體 上大規模調整且安全的 Data Lake 功能
  • Azure Synapse Analytics Spark 集 區是快速、簡單且共同作業的 Apache Spark 分析平臺。
  • Azure Azure 事件中樞 檔是巨量數據串流平臺和事件擷取服務。
  • Azure Cosmos DB 是全域散發的多模型資料庫服務。 接著,了解如何跨數個 Azure 區域複寫資料,並調整儲存體以外的輸送量。
  • 適用於 Azure Cosmos DB 的 Azure Synapse Link 可讓您使用 Azure Synapse 工作區提供的兩個分析引擎:SQL 無伺服器Spark 集區,對交易式工作負載執行近乎即時的分析,而不需要對交易式工作負載產生任何效能或成本影響。
  • Azure Analysis Services 是企業級分析即服務,可讓您放心地控管、部署、測試及傳遞 BI 解決方案。
  • Power BI 是一套商務分析工具,可在整個組織中提供深入解析。 連線 至數百個數據源、簡化數據準備,以及推動非計劃性分析。 產生美觀的報表,然後將其發佈,讓組織可在 Web 和所有行動裝置上使用。

替代項目

  • Synapse Link 是 Microsoft 慣用的解決方案,可在 Azure Cosmos DB 數據上進行分析。
  • 您可以使用 Azure IoT 中樞而不是使用 Azure 事件中樞。 IoT 中樞 是裝載在雲端中的受控服務,可作為IoT應用程式與其連結裝置之間通訊的中央訊息中樞。 您可以可靠且安全地將數百萬個裝置與其後端解決方案連線。 幾乎任何裝置都可以連線到IoT中樞。

案例詳細資料

此案例說明如何從即時串流數據取得深入解析。 您可以持續從任何IoT裝置擷取數據,或從網站點擊串流記錄,並以近乎即時的方式處理數據。

潛在的使用案例

此解決方案適用於媒體和娛樂業。 此案例適用於從實時數據串流數據建置分析。

考量

這些考慮會實作 Azure Well-Architected Framework 的支柱,這是一組指導原則,可用來改善工作負載的品質。 如需詳細資訊,請參閱 Microsoft Azure Well-Architected Framework

成本最佳化

成本優化是考慮如何減少不必要的費用,並提升營運效率。 如需詳細資訊,請參閱 成本優化要素概觀。

您可以使用 Azure 定價計算機 來取得自訂定價估計值。

下一步