Monitorowanie potoków w interfejsie użytkownika

W tej sekcji opisano korzystanie z wbudowanych funkcji monitorowania i obserwowalności dla potoków deklaratywnych Lakeflow Spark w interfejsie użytkownika usługi Azure Databricks. Te funkcje obsługują zadania, takie jak:

• Monitorowanie postępu i stanu aktualizacji pipeline'u. Zobacz Szczegóły potoku dostępne na stronie monitorowania.
• Alerty dotyczące zdarzeń przepływu, takich jak powodzenie lub niepowodzenie aktualizacji przepływu. Zobacz Dodaj powiadomienia e-mail dotyczące wydarzeń w potoku.
• Wyświetlanie metryk dla źródeł przesyłania strumieniowego, takich jak Apache Kafka i Auto Loader (publiczna wersja zapoznawcza). Zobacz Metryki przesyłania.

Dodaj powiadomienia e-mail dotyczące zdarzeń potoku

Możesz skonfigurować co najmniej jeden adres e-mail, aby otrzymywać powiadomienia, gdy wystąpią następujące czynności:

• Aktualizacja potoku zostanie ukończona pomyślnie.
• Aktualizacja potoku danych kończy się niepowodzeniem, albo z błędem, który można ponowić, albo z błędem niepozwalającym na ponowienie. Wybierz tę opcję, aby otrzymywać powiadomienie o wszystkich niepowodzeniach ciągu.
• Aktualizacja pipeline kończy się niepowodzeniem z nieretrywalnym (krytycznym) błędem. Wybierz tę opcję, aby otrzymywać powiadomienie tylko wtedy, gdy wystąpi błąd niemożliwy do ponowienia próby.
• Pojedynczy przepływ danych kończy się niepowodzeniem.

Aby skonfigurować powiadomienia e-mail, edytuj ustawienia potoku. Zobacz Powiadomienia.

Uwaga / Notatka

Utwórz niestandardowe odpowiedzi na zdarzenia, w tym powiadomienia lub obsługę niestandardową, przy użyciu hooków zdarzeń w języku Python.

Wyświetlanie potoków w interfejsie użytkownika

Wyszukaj potok, korzystając z dostępnej w opcji Zadania i potoki na pasku bocznym obszaru roboczego. Otwiera to stronę Zadania i potoki, na której możesz wyświetlić informacje o każdym zadaniu i potoku, do którego masz dostęp. Kliknij nazwę potoku, aby otworzyć stronę monitorowania potoku. Aby edytować zadanie lub potok, kliknij Menu i wybierz pozycję Edytuj.

Uwaga / Notatka

Zadania i różne typy potoków mają różne edytory. Opcja Edytuj spowoduje otwarcie poprawnego edytora dla wybranego obiektu.

Korzystanie z listy Praca i potoky

Aby wyświetlić listę potoków, do których masz dostęp, kliknij Zadania i potoki na pasku bocznym. Zakładka Zadania i przepływy pracy zawiera informacje o wszystkich dostępnych zadaniach i przepływach pracy, takich jak twórca, wyzwalacz (jeśli istnieje) oraz wynik z ostatnich pięciu uruchomień.

Kliknięcie nazwy potoku lub zadania spowoduje przejście do strony monitorowania tego potoku lub zadania. Aby edytować potok lub zadanie, kliknij , a następnie wybierz pozycję Edytuj.

Aby zmienić kolumny wyświetlane na liście, kliknij i wybierz lub usuń zaznaczenie kolumn. Aby na przykład dodać Pipeline Type jako kolumnę, wybierz tę kolumnę do wyświetlania.

Zadania można filtrować na liście Zadania i potoki , jak pokazano na poniższym zrzucie ekranu.

1. Wyszukiwanie tekstu: wyszukiwanie słów kluczowych jest obsługiwane w polach Nazwa i Identyfikator . Aby wyszukać tag utworzony przy użyciu klucza i wartości, możesz wyszukiwać według klucza, wartości lub zarówno klucza, jak i wartości. Na przykład w przypadku tagu z kluczem department i wartością financemożna wyszukać department lub finance znaleźć pasujące zadania. Aby wyszukać według klucza i wartości, wprowadź klucz i wartość rozdzieloną dwukropkiem (na przykład department:finance).
2. Typ: filtruj według zadań, potoków lub wszystkich. Jeśli wybierzesz pozycję Potoki , możesz również filtrować według typu potoku, który obejmuje potoki ETL i Ingestion.
3. Właściciel: pokaż tylko zadania, których jesteś właścicielem.
4. Ulubione: pokaż zadania oznaczone jako ulubione.
5. Tagi: użyj tagów. Aby wyszukać według tagu, możesz użyć menu rozwijanego tagów, aby filtrować maksymalnie pięć tagów w tym samym czasie lub bezpośrednio użyć wyszukiwania słów kluczowych.
6. Uruchom jako: filtruj według maksymalnie dwóch run as wartości.

Aby uruchomić zadanie lub potok, kliknij . Aby zatrzymać zadanie lub potok, kliknij przycisk . Aby uzyskać dostęp do innych akcji, kliknij Możesz na przykład edytować lub usunąć zadanie lub pipeline, albo uzyskać dostęp do ustawień pipeline z tego menu.

Szczegóły potoku dostępne na stronie monitorowania

Uwaga / Notatka

Istnieje wiele podglądów, które mogą wpływać na to, co widzisz podczas monitorowania linii przetwarzania w interfejsie użytkownika.

• Edytor potoków Lakeflow zmienia doświadczenie związane z szczegółami dotyczącymi potoków. Jeśli zdecydujesz się na wersję zapoznawcza, informacje są wyświetlane w innym interfejsie użytkownika niż opisano tutaj. Aby uzyskać szczegółowe informacje na temat tego interfejsu użytkownika, zobacz What changes are in the Lakeflow Pipelines Editor? (Jakie zmiany znajdują się w edytorze potoków usługi Lakeflow?).
• Podgląd ujednoliconej listy przebiegów dodaje przebiegi potoku do listy uruchomień zadań. Aby uzyskać szczegółowe informacje na temat zmian z włączoną wersją zapoznawczą i jak ją włączyć, zobacz Jakie zmiany znajdują się na liście ujednoliconych przebiegów w wersji zapoznawczej?.

Kliknięcie nazwy potoku na stronie Zadania i potoki spowoduje wyświetlenie strony monitorowania dla tego potoku. W tym miejscu możesz uruchomić przebieg potoku i wyświetlić poprzednie szczegóły przebiegu.

Graf potoku przetwarzania (nazywany również DAG) pojawia się natychmiast po pomyślnym rozpoczęciu aktualizacji przetwarzania. Strzałki reprezentują zależności między zestawami danych w przepływie danych. Domyślnie na stronie monitorowania potoku jest wyświetlana najnowsza aktualizacja tabeli, ale możesz wybrać starsze aktualizacje z menu rozwijanego.

Szczegóły obejmują identyfikator pipeline'u, kod źródłowy, moc obliczeniową, wydanie produktu i kanał skonfigurowany dla pipeline'u.

Aby zobaczyć tabelaryczny widok zestawów danych, kliknij zakładkę Lista. Widok Lista pozwala na zobaczenie wszystkich zestawów danych w twoim potoku, przedstawionych jako wiersze w tabeli, i jest przydatny, gdy twój wykres potoku jest zbyt duży, aby zobaczyć go w widoku Graficznym. Zestawy danych wyświetlane w tabeli można kontrolować przy użyciu wielu filtrów, takich jak nazwa zestawu danych, typ i stan. Aby wrócić do wizualizacji DAG, kliknij pozycję Graf.

Użytkownik Uruchom jako jest właścicielem potoku, a aktualizacje potoku uruchamiane są z uprawnieniami tego użytkownika. Aby zmienić użytkownika run as, kliknij Uprawnienia i zmień właściciela potoku.

Jakie zmiany wprowadzono w edytorze potoków Lakeflow?

Jeśli korzystasz z wersji zapoznawczej edytora potoków Lakeflow i nowego interfejsu użytkownika monitorowania potoków, niektóre informacje mogą być umieszczone w różnych miejscach w interfejsie użytkownika. Aby uzyskać informacje na temat Edytora Potoków Lakeflow i zdecydować się na obie wersje zapoznawcze, zobacz w Włączanie Edytora Potoków Lakeflow i zaktualizowane monitorowanie.

Ważne

Ta funkcja jest dostępna w publicznej wersji testowej.

Po wybraniu obydwu wersji zapoznawczych pojawiają się następujące zmiany monitorowania za pomocą strony monitorującej procesy:

• Karty Szczegóły potoku i Szczegóły aktualizacji w prawym panelu zostały scalone ze szczegółami potoku u góry, a następnie szczegóły aktualizacji.

• Kliknięcie tabeli na grafie nie powoduje wyświetlenia szczegółów tabeli w prawym panelu. Prawy panel nadal wyświetla szczegóły potoku i aktualizacji. Zamiast tego dolny panel zawiera informacje o tabeli.

• Reguły uruchamiania potoku w trybie programowania są nieco aktualizowane. Aby uzyskać informacje na temat trybu programowania, zobacz Tryb programowania.

  • Uruchamianie potoku za pośrednictwem harmonogramu lub wyzwalacza jest zgodne z ustawieniem potoku, aby określić, czy używać trybu programowania. Wartość domyślną potoku można zmienić w obszarze Ustawienia potoku.
  • Uruchomienie potoku za pośrednictwem interfejsu użytkownika monitorowania będzie używać trybu zdefiniowanego w ustawieniach potoku. Możesz wybrać, czy używać trybu programowania, korzystając z opcji Uruchom z różnymi ustawieniami na liście rozwijanej.
  • Uruchamianie potoku z edytora potoku będzie domyślnie w trybie programowania. Możesz zrezygnować z trybu programowania przy użyciu opcji Uruchom z różnymi ustawieniami na liście rozwijanej.

• W szczegółach potoku nie ma już linku do kodu źródłowego. Zamiast tego wybierz pozycję Edytuj potok u góry. Aby przejść do kodu dla określonej tabeli, umieść kursor nad tabelą w grupie DAG i kliknij Przejdź do przycisku kodu .

• Dziennik zdarzeń nie jest już domyślnie wyświetlany na stronie nadzoru nad potokiem przy każdej aktualizacji. W przypadku wystąpienia błędu podczas przetwarzania błędy są wyświetlane w dolnym panelu, a przycisk Wyświetl dzienniki jest wyświetlany w celu wyświetlenia dziennika zdarzeń dla tego przebiegu. Dziennik zdarzeń jest również dostępny, wybierając Wyświetl dziennik zdarzeń ze szczegółów przebiegu w panelu po prawej stronie.

  Aby uzyskać dostęp do dziennika zdarzeń podczas uruchamiania aktualizacji w nowym edytorze potoków usługi Lakeflow, przejdź do panelu Problemy i szczegółowe informacje w dolnej części edytora, kliknij pozycję Wyświetl dzienniki lub przycisk Otwórz w dziennikach obok dowolnego błędu. Aby uzyskać więcej informacji, zobacz Edytor potoków usługi Lakeflow i Konfiguracja potoku dla dziennika zdarzeń.

• Informacje o schemacie tabeli są dostępne, wybierając tabelę na karcie Tabele w dolnym panelu, a następnie wybierając pozycję Kolumny.

• Historia zapytań jest dostępna, wybierając pozycję Wydajność w dolnym panelu.

• Komentarze tabeli nie są dostępne na stronie szczegółów potoku. Aby wyświetlić komentarze do tabeli, wyświetl tabelę z Poziomu Eksploratora wykazu. Aby przejść bezpośrednio do tabeli w Eksploratorze wykazu, umieść kursor myszy nad tabelą w grupie DAG, a następnie kliknij , a następnie Wyświetl w wykazie. Możesz również uzyskać dostęp do informacji w Eksploratorze wykazu z listy tabel w dolnym panelu, klikając

Jakie zmiany występują w zapoznawczej wersji ujednoliconej listy przebiegów?

Jeśli masz włączoną wersję zapoznawczą ujednoliconej listy przebiegów, możesz zobaczyć aktualizacje przebiegów potoku na stronie Zadania i potoki.

Ważne

Ujednolicona lista przebiegów jest dostępna w publicznej wersji zapoznawczej.

Aby włączyć ujednoliconą listę przebiegów, administrator obszaru roboczego musi przystąpić do wersji zapoznawczej. Aby uzyskać szczegółowe informacje na temat zgody na korzystanie z wersji zapoznawczej, zobacz Zarządzanie podglądami na poziomie konta.

Aby uzyskać dostęp do ujednoliconej listy przebiegów, wybierz Kartę Przebiegi z paska bocznego obszaru roboczego lub kliknij Zadania i Procesy, a następnie wybierz kartę Przebiegi.

Karta pokazuje listę ostatnich uruchomień z ostatnich 60 dni. Wykres przedstawiający powodzenie i niepowodzenie przebiegów w ciągu ostatnich 48 godzin jest wyświetlany jako pierwszy, w następujących przypadkach:

• Filtrowane są tylko zadania lub potoki.
• Jesteś administratorem lub możesz filtrować tylko po przebiegach Run as: Me
• Wyświetlenie przebiegów na grafie może potrwać do godziny.

Listę i wykres można filtrować, wykonując następujące czynności:

• Nazwa zadania lub potoku danych.
• Wszystkie, zadania lub potoki.
• Typ potoku (ETL, Ingestion, MV/ST lub synchronizacja tabel bazy danych).
• Uruchom jako użytkownik.
• Czas rozpoczęcia operacji (w ciągu ostatnich 48 godzin).
• Status działania.
• Kod błędu dla przebiegów, które zakończyły się niepowodzeniem.

Oprócz powyższych możesz wyświetlić następujące kolumny na liście:

• Godzina zakończenia
• Identyfikator uruchomienia
• Czy przebieg został uruchomiony ręcznie, czy zgodnie z harmonogramem.
• Uruchom Czas trwania.
• Parametry uruchomienia.

Aby zmienić kolumny wyświetlane na liście przebiegów, kliknij i wybierz lub odznacz kolumny.

Kliknięcie Godzina rozpoczęcia, Godzina zakończenia lub Nazwa przebiegu potoku przeniesie cię do strony monitorowania potoku.

Gdy pipeline jest aktywnie uruchomiony, możesz zatrzymać przebieg, klikając W dowolnym momencie możesz również kliknąć w wierszu uruchomienia, a następnie wybierz Edytuj potok, aby wyświetlić potok w edytorze.

Jak można wyświetlić szczegóły zestawu danych?

Kliknięcie zestawu danych na wykresie potoku lub na liście zestawów danych pokazuje szczegółowe informacje o zestawie danych. Szczegóły obejmują schemat zestawu danych, metryki jakości danych oraz link do kodu źródłowego definiującego zestaw danych.

Wyświetlanie historii aktualizacji

Aby wyświetlić historię i stan aktualizacji potoku, kliknij menu rozwijane "Historia aktualizacji" na górnym pasku.

Wybierz aktualizację w menu rozwijanym, aby wyświetlić wykres, szczegóły i zdarzenia aktualizacji. Aby powrócić do najnowszej aktualizacji, kliknij pozycję Pokaż najnowszą aktualizację.

Wyświetlanie metryk przesyłania strumieniowego

Ważne

Obserwowalność przesyłu strumieniowego dla potoków jest dostępna w publicznej wersji zapoznawczej.

Można wyświetlać metryki przesyłania strumieniowego ze źródeł danych obsługiwanych przez Spark Structured Streaming, takich jak Apache Kafka, Amazon Kinesis, Auto Loader i Delta tables, w ramach każdego przepływu przesyłania strumieniowego w potoku. Metryki są wyświetlane jako wykresy w prawym panelu interfejsu użytkownika potoku i obejmują sekundy zaległości, bajty zaległości, rekordy zaległości oraz pliki zaległości. Wykresy wyświetlają maksymalną wartość zagregowaną przez minutę, a podpowiedź wyświetla maksymalne wartości po najechaniu na wykres. Dane są ograniczone do ostatnich 48 godzin od bieżącego czasu.

Tabele w potoku danych z dostępnymi metrykami przesyłania strumieniowego wyświetlają ikonę podczas wyświetlania potoku DAG w widoku Graficznym interfejsu użytkownika. Aby wyświetlić metryki przesyłania strumieniowego, kliknij , aby wyświetlić wykres metryki przesyłania strumieniowego na karcie Przepływy w okienku po prawej stronie. Filtr można również zastosować, aby wyświetlić tylko tabele z metrykami przesyłania strumieniowego, klikając pozycję Lista, a następnie klikając pozycję Ma metryki przesyłania strumieniowego.

Każde źródło przesyłania strumieniowego obsługuje tylko określone metryki. Metryki nieobsługiwane przez źródło przesyłania strumieniowego nie są dostępne do wyświetlenia w interfejsie użytkownika. W poniższej tabeli przedstawiono metryki dostępne dla obsługiwanych źródeł przesyłania strumieniowego:

przesłać źródło	bajty zaległości	elementy zaległe	sekundy zaległości	Pliki zaległe
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatyczny ładownik	✓			✓
Google Pub/Sub (usługa przesyłania wiadomości)	✓	✓