分享方式:


作業時程表

作業時程表是瞭解管線或查詢的絕佳起點。 它提供您執行的內容、每個步驟花費的時間,以及是否有任何失敗的概觀。

如何開啟作業時程表

在Spark UI中,按兩下 [作業 ] 和 [事件時間軸 ],如下列螢幕快照中的紅色醒目提示。 您會看到時程表。 這個範例顯示要新增的驅動程式和執行程式 0:

作業時程表

應該檢查哪些狀況

下列各節說明如何讀取事件時間軸,以探索效能或成本問題可能的原因。 如果您注意到時間軸中的任何趨勢,每個對應區段的結尾都會包含提供指引的文章連結。

失敗的工作或失敗的執行程式

以下是失敗作業和移除的執行程式範例,以事件時間軸中的紅色狀態表示。

失敗的作業

如果您看到失敗的作業或失敗的執行程式,請參閱 已移除失敗的作業或執行程式。

執行中的間距

尋找一分鐘以上的間距,例如此範例:

作業差距

此範例有數個間距,其中幾個由紅色箭號醒目提示。 如果您在時間軸中看到差距,它們是否為一分鐘以上? 當驅動程序協調工作時,預期會有短暫的間距。 如果您有較長的間距,它們是否位於管線中間? 還是此叢集持續執行,因此活動暫停會解釋差距? 您可以根據工作負載啟動和結束的時間來判斷這個值。

如果您在管線中間看到長時間無法解釋的間距,請參閱 Spark 作業之間的間距。

長時間的工作

時程表是由一或幾個長的工作主導嗎? 這些漫長的工作會是值得調查的。 在下列範例中,工作負載有一個比其他作業更長的作業。 這是調查的好目標。

長作業

按兩下最長的作業進行挖掘。 如需調查此長階段的相關信息,請參閱 診斷 Spark 中的長階段。

許多小型作業

我們在這裡尋找的是一個由小工作主導的時程表。 其看起來會像這樣:

小型作業

請注意所有微小的藍色線條。 每一項都是需要幾秒鐘或更少時間的小型工作。

如果您的時程表大部分是小型作業,請參閱 許多小型 Spark 作業

以上皆非

如果您的時程表看起來不像上述任何一項,下一個步驟是識別最長的工作。 依工期排序作業,然後按下描述中最長作業的連結:

識別最長的作業

一旦您進入頁面以取得最長的工作,調查這個長階段的其他資訊就是在 Spark中診斷長階段。