Dataflow Gen2 可協助您輕鬆塑造和轉換資料。 它提供低程式碼介面和 300 多個內建資料和 AI 轉換,所有這些都由您在 Excel、Power BI、Power Platform 和 Dynamics 365 中找到的熟悉的 Power Query 體驗提供支援。
當您發佈資料流程時,它會在重新整理期間建立一個定義來執行。 資料流程 Gen2 引擎會使用該定義來規劃和管理跨資料來源、閘道和運算引擎的查詢執行方式。 它在暫存儲存中建立表格或將它們發送到您選擇的目的地,因此您無需繁重的工作即可獲得可靠的結果。
此圖表會擷取 Data Factory Dataflow Gen2 架構的元件,包括用來暫存擷取資料的 Lakehouse,以及用作計算引擎的倉儲項目,以將結果更快地寫入暫存區或輸出區。 當無法使用倉儲計算能力,或查詢的暫存被停用時,Mashup 引擎會擷取、轉換或將資料載入暫存區或資料目的地。 您可以在此部落格中深入了解數據流 Gen2 的運作方式: Data Factory 焦點:數據流 Gen2。
當您重新整理或發佈 Dataflow Gen2 項目時,下列引擎會使用 Fabric 容量單位:
- 標準運算:您需要根據透過「混搭引擎」執行之所有資料流查詢的查詢評估時間計費。
- 大規模資料流程計算:當啟用暫存時,您會根據 Lakehouse(暫存儲存)和倉儲(儲存計算)SQL 引擎使用時間來收費。
- 快速複製:當啟用快速複製連接器並在資料流程中使用時,會根據複製工作的持續時間收取費用。
Dataflow Gen2 定價模式
定價費率是如何確定的
資料流 Gen2 的定價取決於每個查詢使用計算的方式。 對於標準運算,查詢會在 Mashup 引擎上執行。 根據您的資料流程是否為資料流程Gen2 (CI/CD),評級會有所不同。
在 Dataflow Gen2(CI/CD)中,會對查詢時間套用兩層費率:
- 如果查詢執行時間少於 10 分鐘,則會評等為 12 CU
- 如果運行時間更長,則每增加一秒的額定值為 1.5 CU。
如果您的 Dataflow Gen2 不是以 CI/CD 模式運行,則整個查詢過程將以 16 CU 的速率計算。
針對大規模情境—當啟用 staging 時—查詢會在 Lakehouse 或倉儲 SQL 引擎上執行。 每秒運算時間會使用 6 CU 秒,因此較長的查詢會耗用更多。
如果您開啟快速複製,則資料移動會有一個單獨的速率:1.5 CU,根據活動執行的時間長度而定。
每次執行結束時,Dataflow Gen2 會從每個引擎累積 CU 使用量,並根據您區域中的 Fabric 容量定價進行計費。
CU費率表
Dataflow Gen2 引擎類型 | 耗用量計量 | Fabric CU 消耗率 | 消費報告細緻度 |
---|---|---|---|
標準運算(Dataflow Gen2(CI/CD)) | 根據每個混搭引擎執行查詢的時間,單位為秒。 標準運算有兩層定價,視查詢持續時間而定。 | - 每秒,持續至 10 分鐘,12 CU - 超過 10 分鐘的每一秒,1.5 CU |
每個 Dataflow Gen2 項目 |
標準運算 (非 CI/CD) | 根據每個混搭引擎執行查詢的時間,單位為秒。 | 16 中立大學 | 每個 Dataflow Gen2 項目 |
大規模資料流計算 | 根據 Lakehouse/Warehouse SQL 引擎在啟用暫存功能的情況下執行的時間,以秒為單位。 | 6 CU | 每個工作區 |
資料移動 | 根據以小時為單位的快速複製執行持續時間,以及所使用的智慧優化輸送量資源。 | 1.5 CU | 每個 Dataflow Gen2 項目 |
使用 Dataflow Gen2 虛擬網路資料閘道定價
虛擬網路(VNET)資料閘道會以與平台容量相關聯的附加基礎設施費用進行計費。 這表示它有獨立的計量裝置,並產生一個帳單,在所有 Fabric 項目的運行中保持一致且是額外的成本。
透過 VNET 資料閘道執行 Dataflow Gen2 的總帳單計算為:Dataflow Gen2 費用 + VNET 資料閘道費用。
VNET 資料閘道費用會與您的 VNET 資料閘道使用量成正比,其中使用量定義為運行時間,或每當 VNET 資料閘道開啟時。
VNET 資料閘道 CU 耗用量率:4 CU
若要深入瞭解,請參閱虛擬網路資料閘道定價和計費。
Microsoft網狀架構工作負載耗用量率的變更
消費率隨時可能會變更。 Microsoft會使用合理的努力,透過電子郵件和產品內通知提供通知。 變更會在版本資訊及Microsoft網狀架構部落格中所述的日期生效。 如果對Microsoft網狀架構工作負載耗用量率所做的任何變更,實際上會增加使用特定工作負載所需的容量單位(CU),客戶可以使用適用於所選付款方式的取消選項。
使用 Fabric 計量應用程式和資料流程重新整理歷程記錄來計算預估成本
Microsoft Fabric 容量計量應用程式可讓您查看系結至容量的所有 Fabric 工作區的容量使用量。 容量管理員使用它來監控工作負載的效能,以及其使用量與購買容量的比較。 使用計量應用程式是估計 Dataflow Gen2 重新整理執行成本的最精確方式。 若要瞭解分層定價如何影響您的標準計算成本,您也必須使用資料流程重新整理歷程記錄。
這些練習說明如何驗證 CI/CD 和非 CI/CD 資料流程的成本。 針對具有標準計算的 CI/CD 資料流程,我們將使用範例,並提供所有其他案例的指示。
練習 1:CI/CD 資料流程的標準計算
下列資料流程中有兩個涉及轉換的查詢,並且暫存功能已被停用。
資料流程 Gen2 只會使用標準計算。
針對每個查詢,請從 [重新整理歷程記錄] 存取查詢持續時間,並套用下列公式來計算每個查詢的 CU 耗用量。
對於第一個查詢,持續時間為 2,131 秒。
同樣地,對於第二個查詢,持續時間為 913 秒
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
對於查詢 1,計算耗用量為 9497 CU 秒,而對於查詢 2,計算耗用量為 7670 CU 秒。
彙總容量耗用量 (以 CU 秒為單位),並在 Fabric 容量計量應用程式中驗證耗用量。 在此案例中,計量應用程式會顯示 17,180 CU 秒作為標準計算使用量,與 17,167 CU 秒的計算耗用量相比良好。 任何差異都可能是由於使用情況定期報告的四捨五入造成的。
練習 2:非 CI/CD 資料流的標準運算
當您的資料流程涉及轉換,且已停用預備時,Dataflows Gen2 只會使用標準計算。
針對每個查詢,請從 [重新整理歷程記錄] 存取查詢持續時間,並套用下列公式來計算每個查詢的 CU 耗用量。
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
彙總容量耗用量 (以 CU 秒為單位),並在 Fabric 容量計量應用程式中驗證耗用量。
練習 3:瞭解大規模計算耗用量 (CI/CD 和非 CI/CD 資料流程)
若要找出資料流程使用的高階計算資源,如果您的資料流程使用中繼儲存,請開啟 Fabric 容量指標應用程式,並依資料流程的名稱進行篩選。 以滑鼠右鍵按一下名稱,在操作清單中尋找高尺度計算,然後檢查持續時間。
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
練習 4:瞭解快速複製計算耗用量 (CI/CD 和非 CI/CD 資料流程)
如果您的資料流程使用快速複製,若要瞭解您使用的資料移動計算量,請開啟 Fabric 容量計量應用程式,並依資料流程的名稱進行篩選。 在名稱上按一下滑鼠右鍵,在作業清單中尋找資料移動,然後檢查持續時間。
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5