Monitorowanie aplikacji Platformy Apache Spark przy użyciu programu Synapse Studio

Usługa Azure Synapse Analytics umożliwia korzystanie z platformy Apache Spark do uruchamiania notesów, zadań i innych rodzajów aplikacji w pulach Spark w obszarze roboczym.

W tym artykule wyjaśniono, jak monitorować aplikacje platformy Apache Spark, co pozwala śledzić najnowszy stan, problemy i postęp.

Wyświetlanie aplikacji platformy Apache Spark

Wszystkie aplikacje Apache Spark można wyświetlić z Monitor ->Aplikacje Apache Spark.

Wyświetlanie ukończonych aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o ukończonych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Kliknij serwer historii Spark, aby otworzyć stronę serwera historii.

5. Sprawdź podsumowanie informacji.

6. Sprawdź diagnostykę na karcie Diagnostyka .

7. Sprawdź dzienniki. Pełny dziennik Livy, Przedstart i sterownik można wyświetlić, wybierając różne opcje z listy rozwijanej. Możesz również bezpośrednio pobrać wymagane informacje dziennika, wyszukując słowa kluczowe. Kliknij pozycję Pobierz dziennik , aby pobrać informacje dziennika do lokalizacji lokalnej, a następnie zaznacz pole wyboru Filtruj błędy i ostrzeżenia , aby filtrować potrzebne błędy i ostrzeżenia.

8. W wygenerowanym grafie zadań można wyświetlić przegląd zadania. Domyślnie wykres pokazuje wszystkie zadania. Ten widok można filtrować według identyfikatora zadania.

9. Domyślnie wyświetlany jest Postęp. Możesz sprawdzić przepływ danych, wybierając Postęp/Odczytane/Zapisane/Czas trwania na liście rozwijanej Widok.

10. Aby odtworzyć zadanie, kliknij przycisk Odtwarzanie . Możesz kliknąć przycisk Zatrzymaj w dowolnym momencie, aby zatrzymać.

11. Użyj paska przewijania, aby powiększyć i pomniejszyć wykres zadania, możesz również wybrać opcję Dopasuj do ekranu.

12. Węzeł grafu zadania wyświetla następujące informacje dotyczące każdego etapu:

    • Identyfikator zadania

    • Numer zadania

    • Czas trwania

    • Liczba wierszy

    • Czytanie danych: suma rozmiaru danych wejściowych i rozmiaru przetwarzania shuffle

    • Zapisane dane: suma rozmiaru danych wyjściowych i rozmiaru danych zapisanych podczas mieszania

    • Etap numer

      

13. Umieść kursor myszy nad zadaniem, a szczegóły zadania zostaną wyświetlone w etykietce narzędzia:

    • Ikona stanu zadania: jeśli stan zadania zakończy się pomyślnie, będzie on wyświetlany jako zielony "√"; jeśli zadanie wykryje problem, zostanie wyświetlony żółty "!"

    • Identyfikator zadania

    • Część ogólna:

      • Postęp
      • Czas trwania
      • Łączna liczba zadań

    • Część danych:

      • Łączna liczba wierszy
      • Rozmiar odczytu
      • Rozmiar zapisu

    • Część niesymetryczna:

      • Niesymetryczność danych
      • Niesymetryczność czasu

    • Numer etapu

      

14. Kliknij pozycję Numer etapu , aby rozwinąć wszystkie etapy zawarte w zadaniu. Kliknij przycisk Zwiń obok identyfikatora zadania, aby zwinąć wszystkie etapy zadania.

15. Kliknij pozycję Wyświetl szczegóły na wykresie etapu, a następnie zostaną wyświetlone szczegóły dotyczące etapu.

    

Monitorowanie postępu aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o uruchomionych aplikacjach platformy Apache Spark, wybierz przesłaną aplikację Apache Spark. Jeśli aplikacja platformy Apache Spark jest nadal uruchomiona, możesz monitorować postęp.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Anuluj aplikację platformy Apache Spark.

3. Odśwież zadanie.

4. Kliknij przycisk Interfejs użytkownika platformy Spark , aby przejść do strony Zadanie platformy Spark.

5. Dotyczą grafu zadań, podsumowania, diagnostyki, dzienników. W wygenerowanym grafie zadań można wyświetlić przegląd zadania. Odwołaj się do kroków 5–15 sekcji Wyświetlanie ukończonych aplikacji Apache Spark.

Wyświetlanie anulowanych aplikacji platformy Apache Spark

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o anulowanych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Otwórz link do serwera historii Apache, klikając Serwer historii Spark.

5. Wyświetl graf. W wygenerowanym grafie zadań można wyświetlić przegląd zadania. Zapoznaj się z krokami 5–15 ukończonych aplikacji platformy Apache Spark.

Debugowanie aplikacji Platformy Apache Spark zakończyło się niepowodzeniem

Otwórz pozycję Monitor, a następnie wybierz pozycję Aplikacje platformy Apache Spark. Aby wyświetlić szczegółowe informacje o nieudanych aplikacjach platformy Apache Spark, wybierz aplikację Apache Spark.

1. Sprawdź ukończone zadania, Stan i Całkowity czas trwania.

2. Odśwież zadanie.

3. Kliknij pozycję Porównaj aplikacje , aby użyć funkcji porównania, aby uzyskać więcej informacji na temat tej funkcji, zobacz Porównanie aplikacji platformy Apache Spark.

4. Otwórz link serwera historii Apache, klikając Spark history server.

5. Wyświetl graf. W wygenerowanym grafie zadań można wyświetlić przegląd zadania. Odwołaj się do kroków 5–15 sekcji Wyświetlanie ukończonych aplikacji Apache Spark.

Wyświetlanie danych wejściowych/danych wyjściowych

Wybierz aplikację platformy Apache Spark i kliknij kartę Dane wejściowe/Dane wyjściowe , aby wyświetlić daty danych wejściowych i wyjściowych aplikacji Apache Spark. Ta funkcja może ułatwić debugowanie zadania platformy Spark. Źródło danych obsługuje trzy metody przechowywania: gen1, gen2 i Blob storage.

Karta danych wejściowych

1. Kliknij przycisk Kopiuj dane wejściowe , aby wkleić plik wejściowy do lokalnego.

2. Kliknij przycisk Eksportuj do pliku CSV , aby wyeksportować plik wejściowy w formacie CSV.

3. Pliki można wyszukiwać według słów kluczowych wejściowych w polu wyszukiwania (słowa kluczowe obejmują nazwę pliku, format odczytu i ścieżkę).

4. Pliki wejściowe można sortować, klikając pozycję Nazwa, Format odczytu i ścieżka.

5. Użyj myszy, aby umieścić kursor nad plikiem wejściowym, zostanie wyświetlona ikona przycisku Pobierz/Kopiuj ścieżkę/Więcej .

6. Kliknij przycisk Więcej . W menu kontekstowym pojawi się Kopiuj ścieżkę/Pokaż w Eksploratorze/Właściwości.

   

   • Ścieżka kopiowania: może kopiować pełną ścieżkę i ścieżkę względną.

   • Pokaż w eksploratorze: umożliwia przejście do połączonego konta magazynu (Dane-Połączone>).

   • Właściwości: pokaż podstawowe właściwości pliku (nazwa pliku/ścieżka pliku/Format odczytu/Rozmiar/Zmodyfikowano).

     

Zakładka Dane wyjściowe

Wyświetla te same funkcje co karta wprowadzania.

Porównanie aplikacji platformy Apache Spark

Istnieją dwa sposoby porównywania aplikacji. Możesz porównać, wybierając pozycję Porównaj aplikację lub klikając przycisk Porównaj w notesie , aby wyświetlić ją w notesie.

Porównanie według aplikacji

Kliknij przycisk Porównaj aplikacje i wybierz aplikację, aby porównać wydajność. Różnicę między dwiema aplikacjami można zobaczyć.

1. Użyj myszy, aby zatrzymać wskaźnik myszy nad aplikacją, a następnie zostanie wyświetlona ikona Porównaj aplikacje .

2. Kliknij ikonę Porównaj aplikacje , a zostanie wyświetlona strona Porównanie aplikacji.

3. Kliknij przycisk Wybierz aplikację , aby otworzyć stronę Wybierz aplikację porównawczą .

4. Podczas wybierania aplikacji porównawczej musisz wprowadzić adres URL aplikacji lub wybrać z listy powtarzającej się. Następnie kliknij przycisk OK .

   

5. Wynik porównania zostanie wyświetlony na stronie porównanie aplikacji.

   

Porównaj w notesie

Kliknij przycisk Porównaj w notesie na stronie Porównanie aplikacji , aby otworzyć notes. Domyślną nazwą pliku .ipynb jest Recurrent Application Analytics.

W notatniku: plik analityki aplikacji cyklicznej można uruchomić bezpośrednio po ustawieniu puli Spark i języka.

Następne kroki

Aby uzyskać więcej informacji na temat monitorowania przebiegów potoków, zobacz artykuł Monitorowanie przebiegów potoków przy użyciu programu Synapse Studio .