本教學課程可協助您在 Microsoft Fabric 中加速 Data Factory 的評估程式,方法是在一小時內提供完整數據整合案例的步驟。 在本教學課程結束時,您將了解 Data Factory 的值和關鍵功能,並了解如何完成常見的端對端資料整合案例。
此案例分為簡介和三個課程模組:
- 教學課程簡介 ,以及您應該在 Microsoft Fabric 中使用 Data Factory 的原因。
- 課程模組 1:使用 Data Factory 建立管線,將原始數據從 Blob 儲存體導入至 Data Lakehouse 中的 銅級數據層數據表。
- 模組 2:使用 Data Factory 中的資料流轉換資料以處理來自基本層資料表的原始資料,並將其移至 Data Lakehouse 中的高級資料層資料表。
- 課程模組 3:完成您的第一個數據整合旅程, 並傳送電子郵件通知您所有作業完成之後,最後,設定整個流程以依排程執行。
為何在 Microsoft Fabric 中使用 Data Factory?
Microsoft Fabric 為企業的所有分析需求提供單一平臺。 其涵蓋分析範圍,包括數據移動、數據湖、數據工程、數據整合、數據科學、即時分析和商業智慧。 使用 Fabric 時,無需將多個廠商的不同服務合併在一起。 您的使用者享有易於理解、建立、上線及操作的完整產品。
Fabric 中的 Data Factory 結合了 Power Query 的易用性與 Azure Data Factory 的規模和功能。 它將這兩個產品的最佳結合在一起,成為單一體驗。 目標是讓公民和專業數據開發人員擁有正確的數據整合工具。 Data Factory 提供低程式代碼、具備 AI 功能的數據準備和轉換體驗、PB 級轉換,以及具有混合式和多重雲端連線的數百個連接器。
Data Factory 的三個主要功能
- 數據擷取: 在管線中的「複製」活動(或獨立的複製作業)允許您將數百個數據來源中的 PB 級數據移動到您的資料湖倉中,以便進一步處理。
- 數據轉換和準備: 數據流 Gen2 提供低程式代碼介面,可讓您使用 300 個以上的資料轉換來轉換數據,並能夠將轉換的結果載入 Azure SQL 資料庫、Lakehouse 等多個目的地。
- 端對端自動化: 管線提供作業的協調流程,包括 複製、資料流程和筆記本作業等等。 管線中的活動可以鏈結在一起以循序方式運作,或是以平行方式獨立運作。 整個數據整合流程會自動執行,而且可以在一個位置進行監視。
教學課程架構
在接下來的 50 分鐘內,您將完成端對端數據整合案例時,瞭解 Data Factory 的所有三個主要功能。
案例分成三個模組:
- 課程模組 1:使用 Data Factory 建立管線,將原始數據從 Blob 儲存體導入至 Data Lakehouse 中的 銅級數據層數據表。
- 模組 2:使用 Data Factory 中的資料流轉換資料以處理來自基本層資料表的原始資料,並將其移至 Data Lakehouse 中的高級資料層資料表。
- 課程模組 3:完成您的第一個數據整合旅程, 並傳送電子郵件通知您所有作業完成之後,最後,設定整個流程以依排程執行。
您可以使用範例資料集 NYC-Taxi 作為教學課程的資料來源。 完成之後,您將能夠在 Microsoft Fabric 中使用 Data Factory,深入了解計程車票價的每日折扣。
後續步驟
繼續進行下一節以建立管線。