使用Spark UI診斷成本和效能問題

本指南將逐步引導您使用 Spark UI 來診斷成本和效能問題。 這是一個逐步指南，它是一個實用的作法。 它不會只提供 Spark UI 中每個頁面的說明，而是告訴您要尋找的內容及其意義。 如果您不熟悉驅動程式、背景工作、執行程式、階段和工作的概念，您可能會想要檢閱 Spark 架構。

如果您要尋找各種優化工具的完整清單，請使用 Databricks 優化指南。 此 Spark UI 指南會參考優化指南的章節。

使用本指南

若要流覽指南，請使用內嵌在每個頁面中的連結，以進入下一個步驟。 本指南包含下列步驟：

1. 使用作業時程表來識別主要問題
2. 查看最長的階段
3. 尋找扭曲或溢出
4. 判斷最長階段是否為 I/O 系結
5. 尋找緩慢階段運行時間的其他原因

現在就開始吧！

如何開啟 Spark UI

1. 瀏覽至叢集的頁面：

   

2. 按兩下 [Spark UI]：

   

後續步驟

現在您已開啟 Spark UI，接下來請檢閱事件時程表，以深入瞭解您的管線或查詢。 請參閱 作業時程表。