Monitorowanie zadań lakeflow

Interfejs użytkownika Azure Databricks umożliwia wyświetlanie zadań, do których masz dostęp, przeglądanie historii przebiegów dla każdego zadania i sprawdzanie szczegółów poszczególnych uruchomień zadań. Aby skonfigurować powiadomienia dotyczące zadań, zobacz Dodawanie powiadomień w zadaniu.

Aby dowiedzieć się więcej o używaniu interfejsu wiersza polecenia usługi Databricks do wyświetlania i uruchamiania zadań, uruchom polecenia databricks jobs list -h, databricks jobs get -h i databricks jobs run-now -h. Aby dowiedzieć się więcej o korzystaniu z Jobs API, zobacz Jobs API.

Jeśli masz dostęp do schematu system.lakeflow , możesz również wyświetlać i wykonywać zapytania dotyczące rekordów przebiegów zadań i zadań z całego konta. Zobacz Odwołanie do tabeli systemu zadań. Tabele systemowe zadań można również połączyć z tabelami rozliczeniowymi, aby monitorować koszty zadań na koncie. Zobacz Monitorowanie kosztów zadań & wydajności za pomocą tabel systemowych.

Wyświetlanie zadań i potoków

Aby wyświetlić listę zadań, do których masz dostęp, kliknij ikonę Zadania i pipeline'y na pasku bocznym. Karta Zadania i potoki w interfejsie użytkownika Lakeflow Jobs zawiera informacje o wszystkich dostępnych zadaniach i potokach, takich jak twórca, wyzwalacz (jeśli istnieje) oraz wynik ostatnich pięciu uruchomień.

Aby zmienić kolumny wyświetlane na liście, kliknij i wybierz lub usuń zaznaczenie kolumn.

Ważny

Ujednolicona lista zadań i potoków znajduje się w publicznej wersji zapoznawczej. Funkcję można wyłączyć i powrócić do domyślnego środowiska, wyłączając Zadania i potoki: Ujednolicone zarządzanie, wyszukiwanie i filtrowanie. Aby uzyskać więcej informacji, zobacz Zarządzanie wersjami zapoznawcza usługi Azure Databricks .

Zadania można filtrować na liście Zadania i potoki , jak pokazano na poniższym zrzucie ekranu.

1. Wyszukiwanie tekstu: wyszukiwanie słów kluczowych jest obsługiwane w polach Name (Nazwa ) i Job ID (Identyfikator zadania ). Aby wyszukać tag utworzony przy użyciu klucza i wartości, możesz wyszukiwać według klucza, wartości lub zarówno klucza, jak i wartości. Na przykład w przypadku tagu z kluczem department i wartością finance, można wyszukać department lub finance by znaleźć pasujące zadania. Aby wyszukać według klucza i wartości, wprowadź klucz i wartość rozdzieloną dwukropkiem (na przykład department:finance).
2. Typ: wybierz tylko zadania, procesy lub wszystkie.
3. Właściciel: wybierz tylko zadania lub potoki, których jesteś właścicielem.
4. Ulubione: wybierz wszystkie zadania lub przepływy oznaczone jako ulubione.
5. Tagi: użyj tagów. Aby wyszukać według tagu, możesz użyć menu rozwijanego tagów, aby filtrować maksymalnie pięć tagów w tym samym czasie lub bezpośrednio użyć wyszukiwania słów kluczowych.
6. Uruchom jako: filtruj według maksymalnie dwóch run as wartości.

Aby uruchomić zadanie lub potok, kliknij przycisk . Aby zatrzymać przepływ pracy, kliknij przycisk . Aby uzyskać dostęp do innych akcji, kliknij Możesz na przykład usunąć przepływ pracy lub uzyskać dostęp do ustawień potoku w tym menu.

Wyświetl ostatnie uruchomienia dla wszystkich zadań i potoków

Możesz wyświetlić listę trwających i ostatnio ukończonych uruchomień dla wszystkich zadań i potoków danych w obszarze roboczym, do których masz dostęp, w tym uruchomień inicjowanych przez zewnętrzne narzędzia orkiestracji, takie jak Apache Airflow lub Azure Data Factory. Aby wyświetlić listę najnowszych uruchomień:

1. Kliknij Zadania i potoki na pasku bocznym.
2. Kliknij kartę Uruchomienia, aby wyświetlić wykres liczby ukończonych uruchomień oraz listę uruchomień zadań i potoków.
3. (Opcjonalnie) Kliknij pozycję Zadania lub Potoki , aby filtrować listę według typu.

Lista przebiegów zawiera opcje filtrowania u góry, wykres ostatnio zakończonych przebiegów oraz 5 głównych błędów, a także listę ostatnio ukończonych przebiegów.

Możesz filtrować według:

• Nazwa zadania lub potoku danych.
• Wszystkie, zadania lub potoki.
• Typ potoku (ETL, Ingestion, MV/ST lub synchronizacja tabel bazy danych).
• Uruchom jako użytkownik.
• Uruchom identyfikator , aby znaleźć konkretny przebieg.
• Czas rozpoczęcia operacji (w ciągu ostatnich 48 godzin).
• Status działania.
• Kod błędu dla przebiegów, które zakończyły się niepowodzeniem.

Filtry dotyczą grafu, kodów błędów i listy przebiegów.

Uwaga

Uruchomienia przesyłane przez punkt końcowy Jobs API runs/submit, w tym uruchomienia z Apache Airflow DatabricksSubmitRunOperator, są jednorazowymi uruchomieniami, które nie są powiązane z zapisanym zadaniem. Ponieważ te uruchomienia nie mają skojarzonego zadania, nie można ich znaleźć, filtrując według nazwy zadania. Filtruj według identyfikatora uruchomienia, Uruchom jako lub czasu rozpoczęcia zamiast tego. Aby utworzyć trwałe zadania, które pojawiają się w wyszukiwaniach Name i obsługują ponawianie prób, utwórz zadanie, a następnie je uruchom, zamiast używać runs/submit.

Wykres liczby zakończonych przebiegów

Wykres Liczba zakończonych uruchomień pokazuje liczbę uruchomień zakończonych w ciągu ostatnich 48 godzin. Domyślnie wykres pokazuje nieudane, pominięte i pomyślne uruchomienia. Możesz również filtrować wykres, aby wyświetlić określone stany przebiegu lub ograniczyć wykres do określonego zakresu czasu.

Uwaga

Wykres Liczba zakończonych przebiegów jest wyświetlany tylko w przypadku filtrowania w obszarze Zadania lub Potoki. Nie jest wyświetlany po wybraniu opcji Wszystkie . Wykres jest wyświetlany administratorom dla wszystkich uruchomień. W przypadku osób niebędących administratorami musisz kliknąć pozycję Uruchom jako i wybrać mnie.

Filtry w górnej części karty Uruchomienia mają zastosowanie do wykresu.

Aby ograniczyć zakres czasu wyświetlany na wykresie Liczba zakończonych przebiegów , zdefiniuj zakres czasu w filtrze. Alternatywnie możesz kliknąć i przeciągnąć kursor na wykresie, aby wybrać zakres czasu. Wykres i tabela przebiegów są aktualizowane tak, aby wyświetlać przebiegi tylko z określonego zakresu czasu.

Tabela Pierwszych 5 typów błędów zawiera listę najczęstszych typów błędów z wybranego zakresu czasu, co pozwala szybko zobaczyć najczęstsze przyczyny problemów w obszarze roboczym.

Lista przebiegów

Zakładka Runs zawiera również tabelę uruchomień zadań i potoków z ostatnich 60 dni. Azure Databricks zachowuje historię uruchamiania przez 60 dni dla zadań i potoków. Domyślnie tabela zawiera szczegółowe informacje dotyczące zakończonych niepowodzeniem, pominiętych i pomyślnych przebiegów.

Filtry w górnej części karty Uruchomienia dotyczą listy.

Domyślnie lista przebiegów w tabeli uruchomień zawiera następujące informacje:

• Godzina rozpoczęcia przebiegu.
• Nazwa zadania lub potoku skojarzonego z uruchomieniem.
• Typ (zadanie lub potok) uruchomienia.
• Nazwa użytkownika, z którą uruchamiane jest to zadanie.
• Co spowodowało uruchomienie (Uruchomienie): harmonogram, żądanie API czy ręczne uruchomienie.
• Czas, który upłynął dla uruchomionego zadania lub potoku lub łączny czas działania dla ukończonego przebiegu. Interfejs użytkownika wyświetla ostrzeżenie, jeśli czas trwania przekracza skonfigurowany oczekiwany czas ukończenia.
• Stan przebiegu: W kolejce, Oczekujące, W toku, Pominięte, Zakończone powodzeniem, Ukończono z błędami, Niepowodzenie, Przekroczono limit czasu, Anulowanie lub Anulowano.
• Kod błędu, z którym zakończono uruchomienie.
• Jakiekolwiek parametry do uruchomienia.
• Aby zatrzymać uruchomione zadanie lub potok, kliknij przycisk Zatrzymaj. Aby otworzyć działania dla uruchomienia, kliknij (na przykład, aby zatrzymać aktywne uruchomienie lub usunąć zakończone uruchomienie).

Aby zmienić kolumny wyświetlane na liście uruchomień, kliknij i zaznacz lub odznacz kolumny.

Aby wyświetlić szczegóły uruchomienia zadania, kliknij link w kolumnie Godzina rozpoczęcia przebiegu. Aby wyświetlić szczegóły zadania lub potoku, kliknij nazwę w kolumnie Zadanie.

Przeglądaj uruchomienia dla pojedynczego zadania

Możesz wyświetlić listę aktualnie uruchomionych i ostatnio ukończonych przebiegów dla zadania, do którego masz dostęp, w tym przebiegów uruchomionych przez zewnętrzne narzędzia orkiestracji, takie jak Apache Airflow lub Azure Data Factory. Aby wyświetlić listę ostatnich uruchomień zadań:

1. Na pasku bocznym obszaru roboczego usługi Azure Databricks kliknij pozycję Zadania i potoki.

2. Opcjonalnie wybierz filtry Zadania i Należące do mnie .

3. Kliknij link Nazwa swojego zadania.

   Karta Przebiegów jest wyświetlana z macierzą i widokami listy aktywnych i ukończonych przebiegów.

Widok macierzy przedstawia historię przebiegów zadania, w tym każdego zadania podrzędnego.

widok macierzy zadań

W wierszu Run total duration (Łączny czas trwania przebiegu) macierzy jest wyświetlany całkowity czas trwania przebiegu i stan przebiegu. Aby wyświetlić szczegóły przebiegu, w tym czas rozpoczęcia, czas trwania i stan, umieść kursor na pasku w wierszu Run total duration (Łączny czas trwania przebiegu).

Każda komórka w wierszu zadań reprezentuje zadanie oraz jego odpowiadający status. Aby wyświetlić szczegóły każdego zadania, w tym czas rozpoczęcia, czas trwania, klaster i stan, umieść kursor na komórce dla tego zadania.

Paski przebiegu zadania i zadania są oznaczone kolorami, aby wskazać ich status. Pomyślne przebiegi są zielone. Nieudane przebiegi są czerwone, pominięte przebiegi są różowe, a oczekiwanie na ponowienie próby jest żółte. Oczekujące, anulowane lub te, dla których przekroczono limit czasu, są wyświetlane na szaro. Wysokość poszczególnych pasków uruchomień zadań i zadań podrzędnych obrazuje czas trwania uruchomienia.

Jeśli skonfigurowano oczekiwany czas ukończenia, widok macierzy wyświetla ostrzeżenie, gdy czas trwania przebiegu przekracza skonfigurowany czas.

Domyślnie w widoku listy przebiegów są wyświetlane następujące elementy:

• Godzina rozpoczęcia przebiegu.
• Identyfikator przebiegu. Zobacz adres URL i identyfikator przebiegu zadania, aby dowiedzieć się, jak znaleźć i udostępnić adres URL przebiegu.
• Czy przebieg był wyzwolony zgodnie z harmonogramem zadań, poprzez żądanie interfejsu API, czy uruchomiony ręcznie.
• Czas, który upłynął dla obecnie uruchomionego zadania lub łączny czas wykonywania dla ukończonego zadania. Zostanie wyświetlone ostrzeżenie, jeśli czas trwania przekracza skonfigurowany oczekiwany czas ukończenia.
• Stan przebiegu, w kolejce, oczekujące, uruchomione, pominięte, zakończone powodzeniem, zakończone niepowodzeniem, zakończoneniepowodzeniem, przekroczono limit czasu, anulowanie lub anulowano.
• Kod błędu, z którym zakończyło się uruchomienie.
• Parametry przebiegu.

Aktualnie aktywne procesy wyświetlają przycisk zatrzymania. Aby zatrzymać wszystkie aktywne i kolejkowane przebiegi, wybierz pozycję Anuluj przebiegi lub Anuluj wszystkie uruchomienia w kolejce z menu rozwijanego.

Aby uzyskać dostęp do akcji kontekstowych dla wykonania, kliknij (na przykład aby zatrzymać aktywne wykonanie lub usunąć ukończone wykonanie).

Aby zmienić kolumny wyświetlane w widoku listy przebiegów, kliknij i wybierz lub odznacz kolumny.

Aby wyświetlić szczegóły uruchomienia zadania, kliknij link dotyczący uruchomienia w kolumnie Godzina rozpoczęcia w widoku listy uruchomień. Aby wyświetlić szczegóły ostatniego pomyślnego uruchomienia tego zadania, kliknij pozycję Przejdź do najnowszego pomyślnego uruchomienia.

Usługa Azure Databricks utrzymuje historię przebiegów zadania przez maksymalnie 60 dni. Jeśli chcesz zachować przebiegi zadań, usługa Databricks zaleca eksportowanie wyników przed ich wygaśnięciem. Aby uzyskać więcej informacji, zobacz Eksportowanie wyników przebiegu zadania.

Wyświetlanie szczegółów uruchomienia zadania

Strona szczegółów uruchomienia zadania zawiera dane wyjściowe zadania i linki do dzienników, w tym informacje o powodzeniu lub niepowodzeniu każdego zadania w uruchomieniu zadania. Można uzyskać szczegółowe informacje o uruchomieniu zadania na zakładce Uruchomienia zadania.

Aby wyświetlić szczegóły uruchomienia zadania na karcie Uruchomienia, kliknij link dla uruchomienia w kolumnie Godzina rozpoczęcia w widoku listy uruchomień. Aby powrócić do karty Uruchomienia zadania, kliknij wartość ID zadania.

Zadania z wieloma zadaniami mają ponadto wykres, oś czasu i widok listy.

Widok grafu

Kliknij węzeł zadania na grafie, aby wyświetlić szczegóły uruchomienia zadania, w tym:

• Szczegóły zadania, w tym przebieg jako, sposób uruchomienia zadania, godzina rozpoczęcia, godzina zakończenia, czas trwania i stan.
• Kod źródłowy.
• Klaster, który uruchomił zadanie i łączy się z jego historią zapytań i dziennikami.
• Metryki zadania.

Widok osi czasu

Zadania, które składają się z wielu części, mają widok na osi czasu, umożliwiający identyfikację czynności zajmujących dużo czasu, zrozumienie zależności oraz nakładanie się zadań, co ułatwia ich debugowanie i optymalizację.

W przypadku zadań bezserwerowych zapytania i profile zapytań są zintegrowane z widokiem osi czasu. Kliknij strzałkę obok nazwy zadania, aby wyświetlić instrukcje zapytania i ich czasy trwania, a następnie kliknij instrukcję, aby przejść do odpowiedniego profilu zapytania. Zobacz Wyświetlanie szczegółów zapytań dla uruchomień zadań.

Widok listy

Domyślnie widok listy zawiera stan, nazwę, typ, zasób, czas trwania i zależności. W tym widoku można dodawać i usuwać kolumny.

Możesz wyszukać zadanie według nazwy, filtrować według stanu zadania lub typu zadania oraz sortować zadania według stanu, nazwy lub czasu trwania.

Kliknij wartość Identyfikatora zadania, aby powrócić do karty Uruchomione zadania.

widok listy zadań

Aby zobaczyć, na co poświęcany jest czas podczas przebiegu i co można zrobić, aby go skrócić, zobacz podział na fazy. Zobacz Wyświetlanie podziału przebiegu według fazy.

Jak Azure Databricks określa stan uruchomienia zadania

Usługa Azure Databricks ocenia, czy wykonanie zadania zakończyło się sukcesem, na podstawie wyników jego końcowych zadań. Zadanie liścia to zadanie, które nie ma zależności podrzędnych. Uruchomienie zadania może mieć jeden z następujących wyników:

• Powodzenie: wszystkie zadania zakończyły się pomyślnie.
• Powodzenie z błędami: niektóre zadania zakończyły się niepowodzeniem, ale wszystkie zadania liścia zakończyły się pomyślnie.
• Niepowodzenie: co najmniej jedno zadanie liścia nie powiodło się.
• Pominięto: uruchomienie zadania zostało pominięte (na przykład zadanie może zostać pominięte, ponieważ przekroczono maksymalną liczbę współbieżnych uruchomień dla twojego zadania lub obszaru roboczego).
• Limit czasu przekroczony: uruchomienie zadania trwało zbyt długo i czas się skończył.
• Anulowano: uruchomienie zadania zostało anulowane (na przykład użytkownik samodzielnie anulował bieżące uruchomienie).

Poszczególne zadania mogą również kończyć się stanem Disabled, gdy jawnie wyłączysz je w ustawieniach zadania lub gdy Lakeflow Jobs wyłączają je podczas uruchamiania, ponieważ zadanie poprzedzające jest wyłączone. Wyłączone zadania pokazują w prawym górnym rogu DAG. Zobacz Wyłączone Zadania w Zadaniach Lakeflow.

Wyświetlanie metryk wydajności zadania

Metryki zadań przesyłania strumieniowego i metryki wydajności zapytań bezserwerowych są udokumentowane przy użyciu innych narzędzi do wydajności zadań. Zobacz Diagnozowanie problemów z wydajnością zadań Lakeflow.

Wyświetlanie historii uruchamiania zadań

Aby wyświetlić historię uruchamiania zadania, w tym pomyślne i nieudane uruchomienia:

1. Kliknij zadanie na stronie Szczegóły uruchomienia zadania . Na ekranie pojawi się strona Szczegóły uruchomienia zadania.
2. Wybierz zadanie uruchomione w menu rozwijanym Historia uruchamiania.

Wyświetl historię uruchomień dla For each zadania

Uzyskiwanie dostępu do historii uruchamiania For each zadania jest takie samo jak w przypadku standardowego zadania Lakeflow Jobs. Możesz kliknąć węzeł zadania na Stronie Szczegółów Uruchomienia Zadania lub odpowiednią komórkę w widoku macierzy. Jednak w przeciwieństwie do zadania standardowego szczegóły przebiegu zadania For each są prezentowane jako tabela iteracji zagnieżdżonych zadań.

Aby wyświetlić tylko iteracji, które zakończyły się niepowodzeniem, kliknij pozycję Tylko nieudane iteracji.

Aby wyświetlić dane wyjściowe iteracji, kliknij wartość godziny rozpoczęcia lub godziny zakończenia.

Wyświetlanie informacji o pochodzeniu zadania

Jeśli Unity Catalog jest włączony w obszarze roboczym, możesz wyświetlić informacje o pochodzeniu dla dowolnych tabel Unity Catalog w twoim przepływie pracy. Jeśli dla Twojego przepływu pracy są dostępne informacje o pochodzeniu danych, w okienku Szczegóły zadania dla zadania, w okienku Szczegóły uruchomienia zadania dla uruchomienia zadania lub w okienku Szczegóły wykonania zadania dla wykonania zadania zobaczysz link z liczbą tabel wejściowych i wyjściowych. Kliknij link, aby wyświetlić listę tabel. Kliknij tabelę, aby wyświetlić szczegółowe informacje w Eksploratorze wykazu.

Wyświetlanie i uruchamianie zadania utworzonego za pomocą pakietów deklaratywnej automatyzacji

Interfejs użytkownika zadań lakeflow umożliwia wyświetlanie i uruchamianie zadań wdrożonych przez pakiety deklaratywnej automatyzacji. Domyślnie te zadania są tylko do odczytu w Jobs UI. Aby edytować zadanie wdrożone przez pakiet, zmień plik konfiguracji pakietu i ponownie wdróż zadanie. Zastosowanie zmian tylko do konfiguracji pakietu gwarantuje, że pliki źródłowe pakietu zawsze przechwytują bieżącą konfigurację zadania.

Jeśli jednak musisz wprowadzić natychmiastowe zmiany w zadaniu, możesz odłączyć zadanie od konfiguracji pakietu, aby włączyć edytowanie ustawień zadania w interfejsie użytkownika. Aby odłączyć zadanie, kliknij pozycję Odłącz od źródła. W oknie dialogowym Odłącz od źródła kliknij przycisk Rozłącz, aby potwierdzić.

Jakiekolwiek zmiany, które wprowadzasz w zadaniu za pomocą interfejsu użytkownika, nie są stosowane w konfiguracji pakietu. Aby zastosować zmiany wprowadzone w interfejsie użytkownika do pakietu, należy ręcznie zaktualizować konfigurację pakietu. Aby ponownie połączyć zadanie z konfiguracją pakietu, ponownie wdróż zadanie przy użyciu pakietu.

Eksportowanie wyników uruchomienia zadania

Możesz wyeksportować wyniki uruchamiania notesu i dzienniki uruchamiania zadań dla wszystkich typów zadań.

Eksportowanie wyników uruchamiania notatnika

Możesz zachować uruchomienia zadań, eksportując ich wyniki. W przypadku przebiegów zadań notatnika można wyeksportować renderowany notatnik, który można później zaimportować do obszaru roboczego usługi Azure Databricks.

Aby wyeksportować wyniki uruchomienia notatnika dla zadania z jedną czynnością:

1. Na stronie szczegółów zadania kliknij link Wyświetl szczegóły dla przebiegu w kolumnie Uruchom tabeli Ukończone przebiegi (w ciągu ostatnich 60 dni).
2. Kliknij pozycję Eksportuj do kodu HTML.

Aby wyeksportować wyniki uruchomienia notesu dla zadania składającego się z wielu zadań:

1. Na stronie szczegółów zadania kliknij link Wyświetl szczegóły dla przebiegu w kolumnie Uruchom tabeli Ukończone przebiegi (w ciągu ostatnich 60 dni).
2. Kliknij zadanie notatnika, aby wyeksportować.
3. Kliknij pozycję Eksportuj do kodu HTML.

Uwaga

Wyeksportowanie uruchomienia do formatu HTML powoduje zapisanie źródła notatnika i wyników komórek w postaci pliku statycznego. W przypadku kwalifikującego się uruchomienia notatnika w bezserwerowym środowisku obliczeniowym możesz zamiast tego przywrócić zmienne języka Python i sesję Spark z tego uruchomienia w nowym interaktywnym notatniku, aby debugować lub analizować bez ponownego uruchamiania zadania. Zobacz Przywracanie sesji dla zadań bez serwera.

Eksportowanie logów uruchomieniowych zadań

Możesz również wyeksportować dzienniki dla przebiegu zadania. Zadanie można skonfigurować tak, aby automatycznie dostarczać dzienniki do systemu plików DBFS podczas konfigurowania obliczeń zadań (zobacz Dokumentacja konfiguracji obliczeniowej) lub za pośrednictwem interfejsu API zadań. new_cluster.cluster_log_conf Zobacz obiekt w treści żądania, który został przekazany do operacji Tworzenie nowego zadania (POST /jobs/create) w interfejsie API zadań.