企業資料倉儲

Azure Blob 儲存體
Azure Data Lake
Azure Synapse Analytics

解決方案構想

本文是解決方案概念。 如果您想要使用詳細資訊來擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。

本文提供 Azure 中企業數據倉儲的解決方案:

  • 將所有數據結合在一起,不論縮放比例或格式為何。
  • 提供所有使用者透過分析儀錶板、操作報告和進階分析從數據取得見解的方法。

Apache 和 Apache® Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 Apache Software Foundation 不會隱含使用這些標記。

架構

Architecture diagram of an enterprise data warehouse that uses Azure Synapse Analytics, Data Lake Storage, Analysis Services, and Power BI.

下載此架構的 Visio 檔案

資料流程

  1. Azure Synapse Analytics 管線將結構化、非結構化和半結構化數據整合在一起,例如記錄、檔案和媒體。 管線會將數據儲存在 Azure Data Lake 儲存體。
  2. Azure Synapse Analytics 中的 Apache Spark 集區會清除並轉換 Data Lake 儲存體 數據。
  3. Azure Synapse Analytics 結合了已處理的數據與現有的結構化數據,建立一個統一的數據中樞。
  4. 專用 SQL 集區可讓數據用於衍生深入解析的作業報表和分析儀錶板。 Azure Analysis Services 會將報表和儀錶板服務給數千個終端使用者。

元件

  • Azure Synapse Analytics 是適用於數據倉儲和巨量數據系統的分析服務。 此工具會使用大量平行處理架構,並與 Azure 服務深入整合。
  • Azure Synapse Analytics 管線 可讓您建立、排程及協調工作流程,例如擷取、載入、轉換 (ELT) 和擷取、轉換、載入 (ETL) 工作流程。
  • Azure Blob 儲存體 可為任何類型的非結構化數據提供可大幅調整、符合成本效益的物件記憶體,例如影像、視訊、音訊、檔等等。
  • Data Lake 儲存體 是儲存其原生原始格式大量數據的記憶體存放庫。 Data Lake 儲存體 建置在 Blob 儲存體 之上。 因此,Data Lake 儲存體 提供 Blob 儲存體 的延展性、階層式記憶體、高可用性和災害復原功能。
  • Azure Synapse Analytics Spark 集 區提供平行處理架構,可支援記憶體內部處理,以提升巨量數據分析應用程式的效能。
  • Analysis Services 是企業級分析引擎,可讓用戶輕鬆執行臨機操作數據分析。 您可以使用 Analysis Services 大規模控管、測試及提供商務解決方案。
  • Power BI 是一套商務分析工具,可在整個組織中提供深入解析。 您可以使用Power BI 連線到數百個數據源、簡化數據準備,以及驅動臨機操作分析。 您也可以產生美觀的報表,併發佈報表,讓您的組織在 Web 和行動裝置之間取用。

案例詳細資料

不論來源、格式或規模為何,企業數據倉儲都會將所有數據整合在一起。 數據倉儲也可讓您對數據執行高效能分析,因此您可以透過分析儀錶板、操作報告和進階分析來取得見解。

此解決方案會建立數據倉儲,以便:

  • 這是數據的單一事實來源。
  • 整合關係型數據源與其他非結構化數據集。
  • 使用語意模型化和功能強大的視覺效果工具進行更簡單的數據分析。

為了將數據整合到統一平臺中,此解決方案會使用 Azure Synapse Analytics 管線。 這些管線提供 ELT 和 ETL 功能。 具體而言,您可以使用管線在數據驅動工作流程中移動數據。 管線會使用各種數據格式和結構。

管線會將數據儲存在 Data Lake 儲存體,其建置在 Blob 儲存體 上。 此記憶體服務可以處理大量的非結構化數據。

Azure Synapse Analytics Spark 集區會形成解決方案的重要部分。 這些集區會清除並轉換儲存在 Azure 中的數據。 其平行處理架構支援記憶體內部處理,以提升速度和效率。 集區也支持自動調整,因此可以視需要新增或移除節點。

專用 SQL 集區可讓已處理的數據可供高效能分析使用。 此集區會將數據儲存在具有單欄式記憶體的關係型數據表中,這是可大幅降低數據儲存成本的格式。 其也會改善查詢效能,因此您可以大規模執行分析。

潛在的使用案例

您可以在涉及大量資料的案例中使用此解決方案:

  • IoT 裝置整合
  • 客戶數據平臺
  • 自然語言處理
  • 機器學習演算法

定價

若要檢視此解決方案成本的估計值,請參閱 定價計算機中的定價範例。

下一步