分享方式:


規劃管理 Azure Data Factory 的成本

適用於:Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用

本文說明如何規劃和管理 Azure Data Factory 的成本。

首先,在 ETL 專案初期,您可以使用 Azure 定價、每管線使用量以及定價計算機的組合,先行規劃 Azure Data Factory 的成本,然後再為服務新增各種資源來估計成本。 接下來,當您新增 Azure 資源時,請檢閱預估成本。 當您開始使用 Azure Data Factory 資源後,請使用 [成本管理] 功能來設定預算和監視成本。 您也可以檢閱預測成本,並找出花費趨勢來識別您可能想要採取行動的區域。Azure Data Factory 的成本只是您的 Azure 帳單中每月成本的一部分。 請注意,本文只會說明如何規劃和管理資料處理站的成本。 您 Azure 訂用帳戶中使用的所有 Azure 服務和資源 (包括第三方服務) 都會向您收取費用。

必要條件

成本管理中的成本分析支援大部分的 Azure 帳戶類型,但並非全部。 若要檢視所支援帳戶類型的完整清單,請參閱了解成本管理資料。 若要檢視成本資料,您至少需要 Azure 帳戶的讀取存取權。 如需 Azure 成本管理資料的存取權指派相關資訊,請參閱指派資料的存取權

使用 Azure Data Factory 前先估計成本

使用 ADF 定價計算機估計在 Azure Data Factory 中執行 ETL 工作負載的成本。 若要使用計算機,必須輸入詳細資料,例如活動執行數目、資料整合單位時數、用於資料流程的計算類型、核心計數、執行個體計數、執行持續時間等等。

定價計算機的常見問題之一,就是輸入時該使用哪些值。 在概念證明階段中,您可以使用範例資料集來進行試用版的執行,以瞭解各種 ADF 計量的耗用量。 然後,根據範例資料集的耗用量,您可以推估出完整資料集和作業排程的耗用量。

注意

下面這個範例中所使用的價格是假設值,並非表示實際價格。

例如,假設您需要每日從 AWS S3 移動 1 TB 的資料到 Azure Data Lake Gen2。 您可以執行移動 100 GB 資料的 POC,以測量資料的內嵌輸送量,並瞭解相對應的計費耗用量。

以下是範例複製活動執行詳細資料 (實際的里程會根據特定資料集、網路速度、S3 帳戶的輸出限制、ADLS Gen2 的輸入限制,以及其他因素而有所不同)。

S3 copy run

藉由利用管線執行層級的耗用量監視,您可以看到對應的資料移動計量耗用量數量:

S3 copy pipeline consumption

因此,整個月每日移動 1 TB 所需的 DIU 時數總計為:

1.2667 (DIU-小時) * (1 TB/100 GB) * 30 (一個月中的天數) = 380 DIU 小時

現在,您可以將 30 個活動執行和 380 DIU 小時插入 ADF 定價計算機,以取得每月計量的預估:

S3 copy pricing calculator

了解 Azure Data Factory 的完整計費模型

Azure Data Factory 會在 Azure 基礎結構上執行,當您部署新的資源時,將會累算成本。 請務必了解可能會產生其他額外的基礎結構成本。

Azure Data Factory 的收費方式

Azure Data Factory 是針對雲端規模而建立的無伺服器和彈性資料整合服務。 您不需要規劃尖峰負載所需的固定大小計算作業,而能視需要指定每項作業需配置多少資源,如此能以更利於擴充的方式設計 ETL 流程。 此外,ADF 是以耗用量為基礎的方案計費,這表示您只需支付使用的部分。

當您建立或使用 Azure Data Factory 資源時,可能會向您收取下列計量的費用:

  • 協調流程活動執行:依據執行協調流程的活動數目收費。
  • 資料整合單位 (DIU) 時數:針對在 Azure Integration Runtime 上執行的複製活動,系統會依據已使用的 DIU 數和執行期間收費。
  • 虛擬核心時數:針對資料流程執行和偵錯,將依據計算類型、虛擬核心數目和執行持續時間收費。

在您的計費週期結束時,將會加總各項計量的費用。 您的帳單或發票會顯示所有 Azure Data Factory 成本的區段。 每個計量都有個別的明細。

可能隨著 Azure Data Factory 產生的其他成本

當您建立 Azure Data Factory (ADF) 的資源時,也會一併建立其他 Azure 服務的資源。 其中包含:

  • 管線活動執行
  • 外部管線活動執行
  • 建立/編輯/擷取/監視 Data Factory 成品
  • 根據執行個體類型和持續時間的 SSIS Integration Runtime (IR) 持續時間

注意

您可以將相同的標籤指派給 ADF 和其他 Azure 資源,把它們放入同一類別來檢視合併的計費。 ADF 標籤會由這當中所有 SSIS IR 繼承。 如果變更 ADF 標籤,必須停止並重新啟動這當中所有 SSIS IR,才能繼承新的標籤,請參閱重新設定 SSIS IR一節。

將 Azure 預付款用於 Azure Data Factory

您可以使用 Azure 預付款點數來支付 Azure Data Factory 費用。 不過,您無法使用 Azure 預付款點數來支付第三方產品和服務的費用,包括來自 Azure Marketplace 的產品和服務。

監視成本

您可以監視 Azure Data Factory 在處理站、管線、管線執行及活動執行層級方面的成本。

使用成本分析監視處理站層級的成本

搭配使用 Azure 資源與 Data Factory 時會產生費用。 Azure 資源使用量單位成本會依據時間間隔 (秒、分鐘、小時和日) 或單位使用量 (位元組、MB 等等) 而改變。Data Factory 一旦開始使用就會產生成本,而且您可以在成本分析中看到成本。

當您使用成本分析時,您會在圖表和資料表中,檢視不同時間間隔的 Data Factory 成本。 一些範例包括依日期、目前和先前月份,以及年度。 您也可以根據預算和預測成本來檢視成本。 切換至更長時間的檢視,有助於找出費用趨勢。 您也會看到可能發生超支的位置。 如果您已建立預算,還可以輕鬆地查看已超出預算的位置。

在成本分析中檢視 Data Factory 成本:

  1. 登入 Azure 入口網站。
  2. 在 Azure 入口網站中開啟範圍,然後選取功能表中的 [成本分析]。 例如,移至 [訂用帳戶]、從清單中選取訂用帳戶,然後在功能表中選取 [成本分析]。 選取 [範圍] 以切換至成本分析中的不同範圍。
  3. 依預設,服務成本會顯示在第一個環圈圖中。 選取標示為 Azure Data Factory v2 的圖表區域。

當您一開啟成本分析時,就會顯示實際的每月費用。 以下是顯示所有每月使用量成本的範例。

Example showing accumulated costs for a subscription

  • 若要減少單一服務 (例如 Data Factory) 的成本,請選取 [新增篩選],然後選取 [服務名稱]。 然後,選取 [Azure Data Factory v2]

以下是只顯示 Data Factory 成本的範例。

Example showing accumulated costs for ServiceName

在上述範例中,您會看到服務的目前成本。 系統也會顯示依 Azure 區域 (位置) 的成本和依資源群組的 Data Factory 成本。 您可以在此自行探索成本。

使用成本分析監視管線層級的成本

在某些情況下,建議您在處理站內詳細分析營運成本,例如為了退費。 Data Factory 整合 Azure 計費成本分析平台後,可以為每個管線獨立計費。 加入 Azure Data Factory 的詳細計費報告後,可以進一步了解上述處理站內每個管線的成本。

您需針對想要詳細計費的每個處理站加入報告。 若要開啟每個管線的詳細計費功能,

  1. 請前往 Azure Data Factory 入口網站
  2. 在 [管理] 索引標籤下,選取 [一般] 區段中的 [處理站設定]
  3. 依管線選取 [顯示帳單報告]
  4. 發佈變更

Screenshot of steps to enable per pipeline billing feature.

注意

處理站匯出的 ARM 範本中不會包含詳細的管線計費設定。 這表示持續整合與持續傳遞 (CI/CD) 不會覆寫處理站的計費行為。 這可讓您為開發、測試及生產處理站設定不同的計費行為。

啟用此功能之後,在我們的計費報告中每個管線都會有個獨立項目:會在選取的時間間隔中顯示每個管線的確切成本。 這可讓您辨識消費趨勢,並注意到是否有超額情形 (若發生)。

Screenshot of example showing granular cost for a pipeline.

您可以使用成本分析的圖表工具取得如上所示的類似圖表和趨勢線,但適用於個別管線。 您也可以根據處理站名稱取得摘要檢視,因為帳單報表中包含處理站名稱,因此必要時可以適當篩選。

變更只會影響日後帳單的發放方式,不會變更過去的費用。 變更填入計費報表需要一點時間,通常會在 1 天內反映所做的變更。

警告

加入每個計費設定後,處理站中的每個管線都會有一個項目。 請特別留意處理站中的管線數量是否過多,因為可能會大幅增加帳單報表篇幅並變得更複雜。

限制

以下是每個管線計費功能的已知限制。 這些計費計量不會在使用它的管線底下歸檔,而是在處理站的後援明細下歸檔。

在 Azure Data Factory 中監視管線執行層級的耗用量

根據您在管線中的活動類型、要移動和轉換的資料量,以及轉換的複雜度,執行管線會在 Azure Data Factory 中旋轉不同的計費計量。

您可以在 Azure Data Factory 使用者體驗中,針對個別管線執行的不同計量,查看其耗用量量。 若要開啟監視體驗,請在 Azure 入口網站的資料處理站刀鋒視窗中選取 [監視及管理] 圖格。 如果您已經在 ADF UX 中,請選取左側提要欄位上的 [監視] 圖示。 預設監視視圖是管線執行的清單。

按一下管線名稱旁邊的 [耗用量] 按鈕,會出現快顯視窗,其中顯示管線執行作業在管線內所有活動上匯總的耗用量。

Pipeline run consumption

Pipeline consumption details

[管線執行耗用量] 檢視會顯示每個 ADF 計量針對特定管線執行所耗用的數量,但不會顯示實際費用,因為您所支付的費用取決於您擁有的 Azure 帳戶類型,以及所使用的貨幣類型。 若要檢視所支援帳戶類型的完整清單,請參閱了解成本管理資料

在 Azure Data Factory 中監視活動執行層級的耗用量

一旦您瞭解管線執行層級的匯總耗用量,在某些情況下,您需要進一步向下切入並找出管線中最耗費成本的活動。

若要檢視活動執行層級的耗用量,請前往您的資料處理站 [建立者和監視器] UI。 從 [監視器] 索引標籤中,您會看到管線執行清單,選取 [管線名稱] 連結,即可存取管線執行中的活動執行清單。 選取活動名稱旁邊的 [輸出] 按鈕,然後在 JSON 輸出中尋找 billableDuration 屬性:

以下是來自複製活動執行的範例:

Copy output

以下是來自對應資料流程活動執行的範例:

Dataflow output

建立預算

您可以建立預算來管理成本,以及建立警示,以在出現異常消費和超支風險時自動通知利害關係人。 警示是以支出為基礎 (相較於預算和成本閾值)。 系統會為 Azure 訂用帳戶和資源群組建立預算和警示,因此在整體成本監視策略中十分實用。

如果您希望監視中有更多細微性,可以使用 Azure 中特定資源或服務的篩選來建立預算。 篩選可協助確保您不會意外建立新的資源,而需要支付額外的費用。 如需有關建立預算時可用篩選選項的詳細資訊,請參閱群組和篩選選項

匯出成本資料

您也可以將成本資料匯出到儲存體帳戶。 當您或其他人需要針對成本進行其他資料分析時,這會很有用。 例如,財務小組可以使用 Excel 或 Power BI 來分析資料。 您可以根據每日、每週或每月排程來匯出成本,並設定自訂日期範圍。 若要取得成本資料集,建議採用匯出成本資料集的方式。