分享方式


Data Factory 端對端案例:簡介和架構

這個教學會在大約一小時內帶你完成一個完整的資料整合情境。 你將學習 Microsoft Fabric 中 Data Factory 的主要功能,以及如何將其應用於常見的資料工作流程。

你將會建構什麼

本教學包含一個導言及三個模組:

Microsoft Fabric 中的資料工廠

Microsoft Fabric 是一個統一的分析平台,涵蓋資料流動、資料湖、資料工程、資料整合、資料科學、即時分析及商業智慧。 你不需要拼湊多個供應商的服務。

Fabric 中的資料工廠 結合 了 Power Query 的易用性與 Azure Data Factory 的規模。 它提供低代碼、AI 驅動的數據準備、拍級轉換,以及數百個具備混合和多雲互聯功能的連接器。

主要功能

Data Factory 為你的資料整合需求提供三項核心功能:

  • 透過複製工作進行資料擷取複製工作 會將數百個資料來源的 PB 級資料移至 Lakehouse 進行進一步處理。
  • 資料轉換:Dataflow Gen2 提供低程式碼介面,讓你能透過 300+ 轉換轉換你的資料。 你可以將結果載入多個目的地,例如 Azure SQL Database、Lakehouse 等。
  • 端到端自動化:管線協調的活動包括複製作業、資料流程、筆記本等。 將活動串連起來,可以依序或平行執行。 將整個資料整合流程集中監控。

教學課程架構

你將在完成端對端資料整合情境的同時,探索這三大關鍵功能。

劇本包含三個模組:

  1. 建立管線:使用複製工作將原始資料從 Blob 儲存中匯入 Lakehouse 的 青銅 表。
  2. 用資料流程轉換資料:處理你的 青銅 表的原始資料,然後移到 Gold 表。
  3. 自動化你的資料流程:當工作完成時發送電子郵件通知,並排程整個流程。

這張圖顯示了本教學中涵蓋的資料流程與模組。

本教學使用 NYC-Taxi 範例資料集。 完成後,你可以利用 Microsoft Fabric 中的 Data Factory 分析特定期間的計程車每日折扣。

後續步驟

繼續進行下一節以建立管線。