使用Spark UI診斷成本和效能問題
本指南將逐步引導您使用 Spark UI 來診斷成本和效能問題。 這是一個逐步指南,它是一個實用的作法。 它不會只提供 Spark UI 中每個頁面的說明,而是告訴您要尋找的內容及其意義。 如果您不熟悉驅動程式、背景工作、執行程式、階段和工作的概念,您可能會想要檢閱 Spark 架構。
如果您要尋找各種優化工具的完整清單,請使用 Databricks 優化指南。 此 Spark UI 指南會參考優化指南的章節。
使用本指南
若要流覽指南,請使用內嵌在每個頁面中的連結,以進入下一個步驟。 本指南包含下列步驟:
現在就開始吧!
如何開啟 Spark UI
瀏覽至叢集的頁面:
按兩下 [Spark UI]:
後續步驟
現在您已開啟 Spark UI,接下來請檢閱事件時程表,以深入瞭解您的管線或查詢。 請參閱 作業時程表。