了解 Microsoft Fabric 中的資料流程 Gen2
在我們的案例中,您需要開發可標準化資料並提供商務存取權的語意模型。 藉由使用資料流程 Gen2,您可以連線至各種資料來源,然後準備和轉換資料。 若要允許存取,您可以將資料直接登陸到 Lakehouse,或使用其他目的地的資料管線。
什麼是資料流程?
資料流程是一種雲端式 ETL (擷取、轉換、載入) 工具,可用來建置和執行可調整的資料轉換程序。
資料流程 Gen2 可讓您從各種來源擷取資料、使用各種轉換作業進行轉換,並將其載入目的地。 使用 Power Query Online 也會允許視覺化介面執行這些工作。
基本上,資料流程包含所有轉換,以減少資料準備時間,然後可以載入至新的資料表、包含在資料管線中,或供資料分析師用作資料來源。
如何使用資料流程 Gen2
傳統上,資料工程師會花費大量時間擷取、轉換及將資料載入可取用的格式,以進行下游分析。 資料流程 Gen2 的目標是使用 Power Query Online 提供簡單、可重複使用的方式來執行 ETL 工作。
如果您只選擇使用資料管線,您可以複製資料,然後使用慣用的編碼語言來擷取、轉換及載入資料。 或者,您可以先建立資料流程 Gen2 以擷取和轉換資料。 您也可以將資料載入 Lakehouse 和其他目的地。 現在企業可以輕鬆地取用策展語意模型。
將資料目的地新增至資料流程是選擇性的,而資料流程會保留所有轉換步驟。 若要在轉換後執行其他工作或將資料載入不同的目的地,請建立資料管線,並將資料流程 Gen2 活動新增至協調流程。
另一個選項可能是針對 ELT (擷取、載入、轉換) 程序使用資料管線和資料流程 Gen2。 在此順序中,您會使用管線來擷取和載入資料至您慣用的目的地,例如 Lakehouse。 然後,您會建立資料流程 Gen2 連線至 Lakehouse 資料,以清理和轉換資料。 在此情況下,您會提供資料流程作為策展語意模型,供資料分析師開發報表。
資料流程也可以水準分割。 建立全域資料流程之後,資料分析師可以使用資料流程來建立特定需求的特殊化語意模型。
資料流程可讓您提升可重複使用的 ETL 邏輯,避免需要建立與資料來源的更多連線。 資料流程提供各種不同的轉換,且可以在重新整理排程上手動執行,或作為資料管線協調流程的一部分執行。
權益與限制
在 Microsoft Fabric 中有多個 ETL 或 ELT 資料的方法。 請考慮使用資料流程 Gen2 的優點和限制。
優點:
- 使用一致的資料擴充資料,例如標準日期維度資料表。
- 允許自助使用者個別存取資料倉儲子集。
- 使用資料流程將效能最佳化,讓擷取資料供重複使用一次,減少較慢來源的資料重新整理時間。
- 只向較大的分析師群組公開資料流程,以簡化資料來源的複雜性。
- 讓使用者在將資料載入目的地之前,先清除和轉換資料,以確保資料的一致性和品質。
- 藉由提供從各種來源內嵌資料的低程式碼介面,簡化資料整合。
限制:
- 並非資料倉儲資料庫的取代方案。
- 不支援資料列層級安全性。
- 需要網狀架構容量工作區。