監視 Apache Spark 容量耗用量
本文的目的是要為想要監視其所管理容量中活動的系統管理員提供指引。 藉由利用 Microsoft Fabric 容量計量應用程式中提供的 Apache Spark 容量耗用量報告,系統管理員可以深入了解專案的可計費 Spark 容量耗用量,包括 Lakehouse、Notebook 和 Apache Spark 作業定義。 應用程式中不會報告某些 Spark 容量耗用量活動。
回報的 Spark 容量耗用量
湖屋、筆記本和 Spark 作業定義的下列作業會被視為可計費的活動。
作業名稱 | 項目 | 註解 |
---|---|---|
Lakehouse 作業 | Lakehouse | Lakehouse 總管中的用戶預覽數據表。 |
Lakehouse 數據表載入 | Lakehouse | 使用者在 Lakehouse 總管中載入差異數據表。 |
筆記本執行 | Synapse Notebook | Synapse Notebook 是由使用者手動執行。 |
Notebook HC 執行 | Synapse Notebook | Synapse Notebook 會在高並行 Apache Spark 會話下執行。 |
筆記本排程執行 | Synapse Notebook | Synapse Notebook 會由筆記本排程事件觸發。 |
筆記本管線執行 | Synapse Notebook | 由管線觸發的 Synapse Notebook 執行。 |
Notebook VS Code 執行 | Synapse Notebook | Synapse Notebook 會在 VS Code 中執行。 |
Spark 作業執行 | Spark 作業定義 | Spark 批次作業會由使用者提交起始。 |
Spark 作業排程執行 | Spark 作業定義 | 由筆記本排程事件觸發的 Synapse 批次作業執行。 |
Spark 作業管線執行 | Spark 作業定義 | 由管線觸發的 Synapse 批次作業執行。 |
Spark 作業 VS Code 執行 | Spark 作業定義 | 從 VS Code 提交的 Synapse Spark 作業定義。 |
未報告的 Spark 容量耗用量
計量應用程式中沒有回報的一些Spark容量耗用量活動。 這些活動包括用於連結庫管理的系統 Spark 作業,以及 Spark Live 集區或即時會話的特定系統 Spark 作業。
連結庫管理 - 計量應用程式中不會報告與工作區層級連結庫管理相關聯的容量耗用量。
系統 Spark 作業 - 未與筆記本、Spark 作業定義或 Lakehouse 相關聯的 Spark 容量耗用量未包含在容量報告中。
產能使用報告
所有Spark相關作業都會分類為 背景作業。 Spark 的容量耗用量會顯示在筆記本、Spark 作業定義或 Lakehouse 底下,並依作業名稱和項目匯總。
背景作業報告
特定時間點會顯示背景作業。 在報表的數據表中,每個數據列都會參考用戶作業。 檢閱 [ 使用者] 數據 行,以識別執行特定作業的人員。 如果您需要特定作業的詳細資訊,您可以使用其 作業標識碼 ,在Microsoft網狀 架構監視中樞中查閱。
相關內容
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應