Diagnozowanie długiego etapu na platformie Spark

Zacznij od zidentyfikowania najdłuższego etapu zadania. Przewiń do dołu strony zadania do listy etapów i ustaw je według czasu trwania:

Szczegóły we/wy etapu

Aby wyświetlić ogólne dane dotyczące tego, co robi ten etap, zapoznaj się z kolumnami Dane wejściowe, Wyjściowe, Shuffle Read i Shuffle Write :

Kolumny oznaczają następujące elementy:

• Dane wejściowe: ile danych ten etap odczytuje z magazynu. Może to być odczyt z usługi Delta, Parquet, CSV itp.
• Dane wyjściowe: ile danych na tym etapie zapisywało w magazynie. Może to być zapis w usłudze Delta, Parquet, CSV itp.
• Shuffle Read: Ile danych mieszania jest odczytywanych na tym etapie.
• Shuffle Write: Ile danych mieszania napisał ten etap.

Jeśli nie znasz tego, co to jest shuffle, teraz jest dobry czas, aby dowiedzieć się , co to oznacza.

Zanotuj te liczby, ponieważ prawdopodobnie będą one potrzebne później.

Liczba zadań

Liczba zadań na długim etapie może wskazywać na kierunek problemu. Liczbę zadań można określić, patrząc tutaj:

Jeśli widzisz jedno zadanie, może to być oznaką problemu. Aby uzyskać więcej informacji, zobacz One Spark task (Zadanie platformy Spark).

Wyświetl więcej szczegółów etapu

Jeśli etap ma więcej niż jedno zadanie, należy zbadać dokładniej. Kliknij link w opisie etapu, aby uzyskać więcej informacji na temat najdłuższego etapu:

Teraz, gdy jesteś na stronie etapu, zobacz Niesymetryczność i rozlanie.