隨著資料的指數成長,組織依賴 Azure 無限的運算、儲存與分析能力來擴展、串流、預測並查看資料。 分析解決方案會將大量數據轉換成實用的商業智慧 (BI),例如報表和視覺效果,以及創造性的人工智慧 (AI),例如以機器學習為基礎的預測。
無論您的組織剛開始評估雲端分析工具,或是想擴展現有的實作,Azure 都提供多種選擇。 工作流程一開始會瞭解常見的方法,並讓流程和角色圍繞雲端思維進行調整。
數據可以批次處理,或在內部部署或雲端中實時處理,但任何分析解決方案的目標是大規模使用數據。 越來越多的組織想要為人員、機器和物聯網所產生的所有關係和非關係數據建立單一事實來源。 通常會使用 巨量數據架構 或 IoT架構 ,將原始資料轉換成結構化形式,然後將它移至分析資料存放區。 此儲存庫成為單一可信來源,可提供許多具有洞察力的分析解決方案。
建築
下載此架構的 Visio 檔案 。
上方的圖表展示了典型的基本/基線分析實作。 請參考本節提供的 架構 ,找到你可以在 Azure 中打造的實際解決方案。
探索分析架構與指南
本節文章包含已開發的完整架構,您可以在 Azure 中部署並擴展為生產級解決方案與指南。 這些能幫助你做出關於如何在 Azure 中使用分析技術的重要決策。 解決方案構想展示了實施模式與在規劃分析概念驗證開發時可考慮的可能性。
分析架構指南
技術選擇 - 這些文章幫助您評估並選擇最適合您工作負載需求的分析技術:
- 分析與報告 - 比較 Azure 中資料分析與視覺化的選項。
- 批次處理 - 評估大數據工作負載的批次處理技術。
- 串流處理 - 比較串流處理技術以進行即時分析。
- 選擇分析資料庫 - 選擇合適的分析資料庫指引。
- 在 Microsoft Fabric 中選擇分析型資料存儲 - 在 Microsoft Fabric 中如何選擇資料存儲的指導說明。
Azure 資料平台的災難復原 ——這些文章提供實施災難復原策略的完整指引:
分析架構
這些生產準備架構展示了可部署與客製化的端對端分析解決方案:
- 使用 Microsoft Fabric 的端到端分析 - 利用 Microsoft Fabric 的整合能力來打造現代化的分析平台。
- 資料倉儲與分析 ——將來自多個來源的大量資料整合到統一的分析平台中。
- 使用 Microsoft Fabric 設計企業商業智慧解決方案 - 使用 Microsoft Fabric 設計企業商業智慧解決方案。
- 近即時湖屋資料處理 - 使用 Azure Synapse Analytics 與 Azure Data Lake Storage 進行近即時資料湖屋處理。
- MongoDB Atlas 的即時同步至 Azure Synapse Analytics - 即時同步 MongoDB Atlas 資料與 Azure Synapse Analytics。
- 使用 Azure Databricks 進行串流處理 - 使用 Azure Databricks 建立端對端的串流處理管線。
- 使用 Azure Stream Analytics 進行串流處理 - 建立一個串流處理流程,能匯入資料、關聯紀錄並計算滾動平均值。
- 中小企業的現代資料倉儲 ——打造專為中小企業設計的現代資料倉儲解決方案。
分析解決方案構想
這些解決方案構想展示了實施模式與可供探索的可能性:
- 資料引入、ETL 及串流處理管線(使用 Azure Databricks) - 建立批次與串流資料的 ETL 管線,簡化資料湖的引入。
- 採用 Azure Databricks 的現代分析架構 ——利用現代資料架構收集、處理、分析並視覺化資料。
- 中小企業現代數據平台 - 利用Microsoft Fabric與Azure Databricks為中小企業打造現代化數據平台架構。
- 使用 Azure Data Explorer 進行即時分析 - 使用 Azure Data Explorer 與 Azure Service Bus 即時分析資料。
了解 Azure 上的分析
Microsoft Learn 提供免費的 Azure 分析技術線上訓練資源。 該平台提供針對特定產品與服務的影片、教學與實作實驗室,並依職務分類學習路徑。
以下資源提供 Azure 上分析實作的基礎知識:
按角色分類的學習路徑
- 資料分析師: 開始使用 Microsoft 資料分析
- 資料工程師: 使用 Azure Databricks 實施資料分析解決方案
- 資料科學家: 使用 Azure Databricks 建立機器學習解決方案
組織準備度
開始雲端採用的組織,可以利用 雲端採用框架(Cloud Adoption Framework )獲得經過驗證的指引,加速雲端採用。 關於雲端規模分析的指引,請參見 雲端規模分析。
為了確保您的分析解決方案在Azure上品質,我們建議遵循Azure Well-Architected框架。 它為追求架構卓越的組織提供指導,並討論如何設計、配置及監控成本優化的 Azure 解決方案。
若欲了解與 Well-Architected Framework 支柱相符的資料工作負載指引,請參見 Azure Well-Architected Framework for data workloads。
邁向生產的路徑
選擇資料儲存 庫是 Azure 上實施分析時的基礎決策。 選擇儲存方式後,您可以決定適合您情境的資料 分析技術 。
關鍵決策點包括:
資料儲存:根據你的資料結構和查詢模式,選擇資料湖、資料倉儲或湖屋。 關於如何選擇與設計驅動分析工作負載的資料庫解決方案,請參閱 資料庫架構設計。
處理模式:判斷批次處理、串流處理或兩者組合是否最適合你的工作負載需求。
分析工具:選擇符合團隊技能與業務需求的商業智慧與人工智慧技術。
欲查看分析解決方案的不同架構風格,請參見架構。
最佳做法
高品質的分析從強固且值得信任的數據開始。 在最高層級, 資訊安全性 做法可協助確保您的數據在傳輸和待用時受到保護。 也必須信任該數據的存取權。 可信任的數據表示實作的設計:
治理政策 ——明確定義資料所有權、分類及存取政策。
身份與存取管理 - 實施基於角色的存取控制與最小權限原則。
網路安全控制 ——保護服務間的資料流,防止未經授權存取。
資料保護 ——加密靜態及傳輸中的資料。
在平台層級,以下大數據最佳實務有助於Azure的可靠分析:
協調資料擷取 - 使用資料工作流程或管線解決方案,如 Azure Data Factory 或 Microsoft Fabric 管線所支援的。
在原地處理資料——使用分散式資料存儲系統,這是一種支持更大量資料和更廣泛格式的大數據方法論。
及早清除敏感資料 ——在擷取流程中移除或遮蔽敏感資料,以避免將其儲存在資料湖中。
考慮總成本 ——平衡計算節點的單位成本與使用這些節點完成工作的每分鐘成本。
建立統一的資料湖 - 結合多種格式檔案的儲存空間,無論是結構化、半結構化或非結構化。 使用 Azure Data Lake Storage Gen2 作為你唯一的真實來源。 例如,請參閱 卓越中心的 BI 解決方案架構。
持續掌握分析數據
Azure 分析服務正不斷演進以應對現代數據挑戰。 隨時掌握最新更新與計畫功能:
獲取 Azure 產品與功能的最新消息。
隨時掌握以下關鍵分析服務:
其他資源
分析是廣泛的類別,涵蓋各種解決方案。 以下資源能幫助你更深入了解 Azure。
混合
絕大多數組織都需要混合式分析方法,因為其數據同時裝載於內部部署和雲端中。 組織通常會將內部部署數據解決方案延伸至雲端。 若要連線環境,組織必須 選擇混合式網路架構。
關鍵混合分析情境:
- 大型主機現代化: 現代化大型主機與中型數據 ——將舊有資料來源與現代分析平台整合。
- 本地整合: 統一的混合與多雲營運 ——將本地資料庫與雲端分析連結。
- 邊緣分析:在邊緣處理數據,並在雲端彙整洞察。
即時分析
即時分析使組織能即時處理資料。 以下是一些資源,幫助你開始在 Azure 上使用即時分析:
- 大數據架構的即時分析——大規模處理與分析串流數據。
- 利用 Azure Data Explorer 進行物聯網分析 ——即時分析物聯網遙測數據。
- 使用 Azure Stream Analytics 進行串流處理 - 建立無伺服器的串流解決方案。
- 透過使用 Azure Databricks 建立現代化的分析架構——使用 Apache Spark 的企業級分析。
AWS 或 Google Cloud 專業人員
這些文章能幫助你快速升級,透過比較 Azure 分析選項與其他雲端服務:
分析與大數據 在 Azure 與 AWS 上的資料庫技術