Monitorowanie potoków

Monitoruj potoki Lakeflow za pomocą wbudowanego interfejsu potoku, dziennika zdarzeń, historii zapytań i niestandardowych hooków zdarzeń. Te funkcje śledzą postęp aktualizacji, jakość danych, pochodzenie danych i metryki strumieniowania.

Monitorowanie potoku działa na trzech poziomach, od szybkiego spojrzenia po głębokie zapytania programowe:

• Lista Jobs & Pipelines to najszybsza kontrola. Pokazuje wynik ostatnich pięciu przebiegów jako wskaźniki statusu obok każdego pipeline'a, dzięki czemu możesz od razu rozpoznać, czy ostatnie uruchomienia zakończyły się sukcesem, niepowodzeniem lub nadal trwają.
• Interfejs monitorowania potoku danych pokazuje wykres potoku oznaczony kolorami według stanu, liczbę wierszy dla każdej tabeli i metryki jakości danych, historię aktualizacji oraz metryki zaległości strumieniowania dla wybranej aktualizacji. Zobacz Monitorowanie potoków w interfejsie użytkownika.
• Dziennik zdarzeń stanowi podstawowe źródło prawdy dla obu. Jest to ustrukturyzowana tabela Delta, którą odpytujesz na potrzeby wszelkich analiz programowych lub historycznych, takich jak wyniki aktualizacji, trendy jakości danych czy zużycie zasobów. Zobacz Dziennik zdarzeń rurociągu.

Aby powiadomić o zdarzeniach w potoku, skonfiguruj powiadomienia. Ustaw powiadomienia bezpośrednio dla potoku, gdy jest uruchamiany zgodnie z własnym harmonogramem, lub jako powiadomienia zadania, gdy potok jest uruchamiany w ramach zadania Lakeflow Job. Zobacz Dodaj powiadomienia e-mail dotyczące wydarzeń w potoku.

Temat	Description
Monitorowanie przy użyciu interfejsu użytkownika	Obserwuj postęp i stan aktualizacji potoku oraz ostrzegaj o powodzeniu lub niepowodzeniu. Wyświetlanie metryk dla źródeł przesyłania strumieniowego, takich jak Apache Kafka i Auto Loader.
Dziennik zdarzeń	Wyodrębnij szczegółowe informacje dotyczące aktualizacji potoku, takich jak pochodzenie danych, metryki jakości danych i użycie zasobów przy użyciu dziennika zdarzeń potoku. Ponadto zobacz schemat dziennika zdarzeń.
Historia zapytań	Sprawdź i zdiagnozuj wydajność zapytań, przeglądając historię zapytań.
Monitorowanie spersonalizowane	Zdefiniuj niestandardowe akcje do wykonania w przypadku wystąpienia określonych zdarzeń za pomocą haków zdarzeń.

Ponadto istnieją tematy dotyczące rozwiązywania problemów dla konkretnych scenariuszy.

Temat	Description
Odzyskiwanie rury po niepowodzeniu punktu kontrolnego strumieniowania	Odzyskaj potok danych z nieprawidłowym lub uszkodzonym punktem kontrolnym przesyłania strumieniowego.
Naprawianie wysokich czasów inicjowania w potokach	Napraw długie czasy inicjalizacji potoku poprzez podział i zrównoważenie obciążenia przepływów między potokami.