Opracowywanie i debugowanie potoków za pomocą notesu (starsza wersja)

Ważne

Ta funkcja jest dostępna w publicznej wersji testowej.

W tym artykule opisano sposób używania notebooka w deklaratywnych potokach Lakeflow Spark do tworzenia i debugowania potoków ETL.

Uwaga / Notatka

Na tej stronie opisano starszy interfejs do edycji notesu. Domyślnym, zalecanym doświadczeniem jest Edytor Lakeflow Pipelines. Edytor potoków Lakeflow umożliwia edytowanie notesów lub plików z kodem Python lub SQL dla potoku. Aby uzyskać więcej informacji, zobacz Develop and debug ETL pipelines with the Lakeflow Pipelines Editor (Opracowywanie i debugowanie potoków ETL za pomocą edytora potoków lakeflow).

Aby skonfigurować środowisko notesu opisane na tej stronie, należy wyłączyć edytor potoków Lakeflow. Zobacz Włączanie edytora potoków lakeflow i aktualizowanie monitorowania.

Omówienie notesów w potokach deklaratywnych platformy Spark w usłudze Lakeflow

Podczas pracy z notatnikiem Python lub SQL skonfigurowanym jako kod źródłowy dla istniejącego potoku możesz połączyć notatnik bezpośrednio z potokiem. Gdy notebook jest połączony z potokiem, dostępne są następujące funkcje:

• Uruchom i zweryfikuj potok z notatnika.
• Wyświetl wykres przepływu danych potoku i dziennik zdarzeń dla najnowszej aktualizacji w notesie.
• Wyświetl diagnostykę rurociągu w edytorze notatnika.
• Wyświetl stan klastra potoku w notesie.
• Uzyskaj dostęp do interfejsu użytkownika deklaratywnych potoków Lakeflow Spark z poziomu notebooka.

Wymagania wstępne

• Musisz mieć istniejący potok z notatnikiem w języku Python lub SQL, skonfigurowanym jako kod źródłowy.
• Musisz być właścicielem pipeline'u lub mieć uprawnienia CAN_MANAGE.

Ograniczenia

• Funkcje opisane w tym artykule są dostępne tylko w notesach usługi Azure Databricks. Pliki przestrzeni roboczej nie są obsługiwane.
• Terminal internetowy nie jest dostępny, gdy jest połączony z pipeline'em. W związku z tym nie jest widoczna jako zakładka w dolnym panelu.

Połącz notebook z potokiem

W notesie kliknij menu rozwijane używane do wybierania obliczeń. W menu rozwijanym są wyświetlane wszystkie potoki deklaratywne Lakeflow Spark, w których ten notes jest używany jako kod źródłowy. Aby połączyć notebook z potokiem, wybierz go z listy.

Wyświetlanie stanu klastra potoku

Aby łatwo zrozumieć stan klastra potoków, jego stan wyświetlany jest w menu rozwijanym obliczeń z zieloną ikoną wskazującą, że klaster jest uruchomiony.

Zweryfikuj kod potoku

Możesz zweryfikować potok, aby wykryć błędy składni w kodzie źródłowym bez przetwarzania żadnych danych.

Aby zweryfikować potok, wykonaj jedną z następujących czynności:

• W prawym górnym rogu notesu kliknij pozycję Weryfikuj.
• Naciśnij Shift+Enter w dowolnej komórce notesu.
• W menu rozwijanym komórki kliknij pozycję Zweryfikuj potok.

Uwaga / Notatka

Jeśli spróbujesz zweryfikować pipeline, gdy istniejąca aktualizacja jest już w toku, zostanie wyświetlone okno dialogowe z pytaniem, czy chcesz zakończyć tę aktualizację. Jeśli klikniesz Tak, istniejąca aktualizacja zostanie zatrzymana, a automatycznie rozpocznie się aktualizacja walidacyjna.

Rozpocznij aktualizację potoku

Aby rozpocząć aktualizację pipeline'u, kliknij przycisk Uruchom w prawym górnym rogu notesu. Zobacz Uruchom aktualizację potoku.

Wyświetlanie stanu aktualizacji

W górnym panelu w notatniku wyświetlana jest informacja, czy aktualizacja potoku:

• Starting
• Sprawdzanie poprawności
• Zatrzymanie

Wyświetlanie błędów i diagnostyki

Po rozpoczęciu aktualizacji lub walidacji potoku wszelkie błędy są wyświetlane w tekście z czerwonym podkreśleniem. Najedź kursorem na błąd, aby wyświetlić więcej informacji.

Wyświetlanie zdarzeń potoku

Po dołączeniu do potoku na dole notesu znajduje się karta dziennika zdarzeń Lakeflow Spark deklaratywnego potoku.

Wyświetl wykres przepływu danych potoku

Aby wyświetlić wykres przepływu danych potoku, użyj zakładki Lakeflow Spark Declarative Pipelines w dolnej części notatnika. Wybranie węzła na grafie powoduje wyświetlenie jego schematu w prawym panelu.

Jak uzyskać dostęp do interfejsu użytkownika potoków deklaratywnych platformy Spark w usłudze Lakeflow z poziomu notesu

Aby łatwo przejść do interfejsu użytkownika Lakeflow Spark dla potoków deklaratywnych, użyj menu w prawym górnym rogu notatnika.

Uzyskiwanie dostępu do dzienników sterowników i interfejsu użytkownika platformy Spark z notesu

Dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark skojarzonego z opracowywanym potokiem można łatwo uzyskać z menu Widok notesu.

Uzyskaj dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark