監視受控虛擬網路內的整合執行階段
適用於:Azure Data Factory Azure Synapse Analytics
提示
試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用!
您可以使用 Azure Data Factory 受控虛擬網路,安全地將資料來源連線到 Data Factory 服務管理的虛擬網路。 藉由使用此功能,您可以為資料整合和協調流程程序建立私人和隔離的環境。
使用受控虛擬網路時,您會結合 Data Factory 中的資料整合和協調流程功能,以及 Azure 虛擬網路的安全性和彈性。 它可讓您建置健全、可調整且安全的資料整合管線,以順暢地連線到您的網路資源,無論是內部部署或雲端。
受控計算的一個常見問題是缺乏效能和健康情況的可見度,特別是在受控虛擬網路環境內。 若沒有適當的監視,找出並解決問題會變得具有挑戰性,並可能導致潛在的延遲、錯誤和效能降低。
藉由在 Data Factory 中使用增強式監視,您可以獲得資料整合程序的深入解析。 這些深入解析可提升效率、提升資源使用率,以及增強整體效能。 透過主動式監視和及時警示,您可以解決問題、最佳化工作流程,並確保在受控虛擬網路環境中順利執行資料整合管線。
新的計量
新計量的推出可增強受控虛擬網路環境內的可見度和監視功能。
Azure Data Factory 提供三種不同的計算集區類型:
- 複製活動的計算
- 管線活動的計算,例如查閱
- 外部活動的計算,例如 Azure Databricks 筆記本
這些計算集區提供彈性和可擴縮性,以因應各種工作負載,並以最佳方式配置資源。 每個都經過量身訂做來處理特定活動執行需求。
為協助確保所有計算集區間一致且全面的監視,我們已實作相同的監視計量集合:
- 容量使用率
- 可用容量百分比
- 等候佇列長度
不論您使用的計算集區類型為何,您都可以存取和分析一組標準化的計量,以獲得資料整合活動的效能和健康情況的深入解析。
注意
只有在您在受控虛擬網路內的整合執行階段中啟用存留時間 (TTL) 時,這些計量才有效。
計量 | 單位 | 描述 |
---|---|---|
MVNet 整合執行階段的複製容量使用率 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中 TTL 複製活動的資料整合單位 (DIU) 使用率的最大百分比。 |
MVNet 整合執行階段的複製可用容量百分比 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中 TTL 複製活動可用 DIU 的最大百分比。 |
MVNet 整合執行階段的複製等候佇列長度 | 計數 | 在 1 分鐘時段內,受控虛擬網路整合執行階段中 TTL 複製活動的等候佇列長度。 |
MVNet 整合執行階段的管線容量使用率 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中管線活動 DIU 使用率的最大百分比。 |
MVNet 整合執行階段的管線可用容量百分比 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中管線活動可用 DIU 的最大百分比。 |
MVNet 整合執行階段的管線等候佇列長度 | 計數 | 在 1 分鐘時段內,受控虛擬網路整合執行階段中管線活動的等候佇列長度。 |
MVNet 整合執行階段的外部容量使用率 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中外部活動 DIU 使用率的最大百分比。 |
MVNet 整合執行階段的外部可用容量百分比 | Percent | 在 1 分鐘時段內,受控虛擬網路整合執行階段中外部活動可用 DIU 的最大百分比。 |
MVNet 整合執行階段的外部等候佇列長度 | 計數 | 在 1 分鐘時段內,受控虛擬網路整合執行階段中外部活動的等候佇列長度。 |
如需這些計量的詳細資訊,請參閱 Microsoft.DataFactory/factories 支援的計量。
使用計量進行效能最佳化
藉由使用計量,您可以順暢地追蹤及評估受控虛擬網路內整合執行階段的效能和健全性。 您也可以藉由最佳化計算設定和工作流程,將效率最大化,來找出持續改善的潛在領域。
為了更清楚說明這些計量的實際應用,以下是一些範例案例。
平衡
如果您發現容量使用率低於 100%,且可用的容量百分比很高,則您保留的計算資源會得到有效率利用。
如果等候佇列長度持續偏低,或偶爾遇到短暫尖峰,建議您將其他活動排入佇列,直到容量使用率達到 100%。 此方法有助於確保資源的最佳使用率,並協助維持順暢的工作流程且具有最少的延遲。
效能導向
如果您發現容量使用率持續偏低,且等候佇列長度持續偏低,或偶爾遇到短暫尖峰,您保留的計算資源會高於活動的需求。
在這種情況下,無論可用的容量百分比是高還是低,建議您減少配置的計算資源,以降低成本。 藉由將計算權限調整為符合工作負載需求,您可以將資源使用率最佳化,並節省成本,而不會損害作業的效率。
成本導向
如果您注意到所有計量 (包括容量使用率、可用容量百分比和等候佇列長度) 都很高,您保留的計算資源可能不足以用於活動。
在此案例中,建議您增加配置的計算資源,以減少佇列時間。 新增更多計算容量有助於確保您的活動有足夠的資源可有效率地執行,這會將擁擠佇列造成的任何延遲降到最低。
間歇性活動執行
如果您注意到可用容量百分比在特定時段內於低到高之間波動,可能是因為活動間歇性執行,其中您設定的存留時間 (TTL) 期間比活動之間的間隔短。 這可能會對工作流程的效能產生重大影響。 若要解決此問題,有兩個可能的解決方案。 首先,您可以將更多活動排入佇列,以維持一致的工作負載,並更有效率地利用可用的計算資源。 藉由讓計算持續使用中,您可以避免暖機時間並達到更佳的效能。 或者,您可以考慮擴大 TTL 期間,以配合活動之間的間隔。 這可確保計算資源維持可用達較長的期間,降低暖機期間的頻率,並將成本效益最佳化。
藉由實作上述任一解決方案,您可以增強工作流程的效能、將成本影響降到最低,並確保間歇性活動更順暢執行。
相關內容
前往下列文章,以了解受控虛擬網路和受控私人端點:Azure Data Factory 受控虛擬網路。