這個教學會在大約一小時內帶你完成一個完整的資料整合情境。 你將學習 Microsoft Fabric 中 Data Factory 的主要功能,以及如何將其應用於常見的資料工作流程。
你將會建構什麼
本教學包含一個導言及三個模組:
- 模組 1:用 Data Factory 建立管線:透過複製作業將 Blob 儲存體中的原始資料匯入 Lakehouse 的 bronze 表。
- 模組二:使用資料流來轉換資料:處理 bronze 表中的原始資料,並將其移至 Lakehouse 的 gold 表。
- 模組 3:自動化並排程你的資料流程:當工作完成時發送電子郵件通知,並設定整個流程依照排程運行。
Microsoft Fabric 中的資料工廠
Microsoft Fabric 是一個統一的分析平台,涵蓋資料流動、資料湖、資料工程、資料整合、資料科學、即時分析及商業智慧。 你不需要拼湊多個供應商的服務。
Fabric 中的資料工廠 結合 了 Power Query 的易用性與 Azure Data Factory 的規模。 它提供低代碼、AI 驅動的數據準備、拍級轉換,以及數百個具備混合和多雲互聯功能的連接器。
主要功能
Data Factory 為你的資料整合需求提供三項核心功能:
- 透過複製工作進行資料擷取: 複製工作 會將數百個資料來源的 PB 級資料移至 Lakehouse 進行進一步處理。
- 資料轉換:Dataflow Gen2 提供低程式碼介面,讓你能透過 300+ 轉換轉換你的資料。 你可以將結果載入多個目的地,例如 Azure SQL Database、Lakehouse 等。
- 端到端自動化:管線協調的活動包括複製作業、資料流程、筆記本等。 將活動串連起來,可以依序或平行執行。 將整個資料整合流程集中監控。
教學課程架構
你將在完成端對端資料整合情境的同時,探索這三大關鍵功能。
劇本包含三個模組:
- 建立管線:使用複製工作將原始資料從 Blob 儲存中匯入 Lakehouse 的 青銅 表。
- 用資料流程轉換資料:處理你的 青銅 表的原始資料,然後移到 Gold 表。
- 自動化你的資料流程:當工作完成時發送電子郵件通知,並排程整個流程。
本教學使用 NYC-Taxi 範例資料集。 完成後,你可以利用 Microsoft Fabric 中的 Data Factory 分析特定期間的計程車每日折扣。
後續步驟
繼續進行下一節以建立管線。