Przenieś plik przygotowania danych wizualnych do produkcji

Każdy plik wizualnego przygotowywania danych utworzony w Lakeflow Designer jest oparty na kodzie gotowym do użycia produkcyjnego i przechowywany jako notatnik o nazwie <name>.designer.ipynb. Można przenieść go do środowiska produkcyjnego przy użyciu tych samych narzędzi, których używasz dla innego kodu Azure Databricks: przechowywać go w usłudze Git, uruchamiać je jako zadanie i wdrażać za pomocą pakietów deklaratywnej automatyzacji.

Na tej stronie wyjaśniono, jak pobrać plik przygotowywania danych wizualnych z prototypu do środowiska produkcyjnego.

Przechowuj i wersjonuj w systemie Git

Obszar roboczy przechowuje pliki wizualnego przygotowania danych w formacie natywnym. Aby wersjonować plik wizualnego przygotowywania danych, umieść go w folderze Git i śledź zmiany w nim tak jak w każdym innym notesie:

1. Utwórz folder Git w obszarze roboczym.
2. Przenieś plik przygotowania danych wizualnych do tego folderu Git.
3. Śledź, zatwierdzaj i wersjonuj plik, podobnie jak każdy inny notes w usłudze Git. W usłudze Git plik jest wyświetlany jako <file_name>.designer.ipynb.

Aby uzyskać więcej informacji na temat folderów Git, zobacz Azure Databricks foldery Git. Aby wyeksportować lub zaimportować plik przygotowywania danych wizualizacji, zobacz Eksportowanie i importowanie pliku przygotowywania danych wizualizacji.

Planowanie jako zadanie

Plik przygotowywania danych wizualnych można zautomatyzować, planując go jako zadanie.

• Zaplanuj od razu: Kliknij przycisk Zaplanuj w górnym menu, aby utworzyć zadanie według harmonogramu dla pliku wizualnego przygotowania danych.
• Dodaj do zadania: utwórz zadanie w Azure Databricks i dodaj plik wizualnego przygotowywania danych jako zadanie. Dzięki temu można połączyć ten plik wizualnego przygotowania danych z innymi zadaniami w większym potoku przetwarzania. Z listy rozwijanej Typ zadania wybierz pozycję Przygotowywanie danych wizualnych, a następnie wybierz plik.

Zaplanowane uruchomienia wyświetlają każdy operator jako osobny węzeł na grafie zadań w sekcji Zadania, dzięki czemu można analizować wyniki poszczególnych operatorów w uruchomieniu w taki sam sposób jak na kanwie.

Aby wyświetlić istniejące harmonogramy i zarządzać nimi, kliknij ponownie przycisk Zaplanuj , aby otworzyć listę. Kliknij pozycję Dodaj harmonogram , aby utworzyć inny harmonogram lub otwórz umożliwia edytowanie, uruchamianie teraz, wstrzymywanie, klonowanie, wyświetlanie w zadaniach lub usuwanie .

Wyświetlanie danych wyjściowych operatora w uruchomieniu

Domyślnie zaplanowane uruchomienie generuje dane wyjściowe tylko dla operatorów terminali (operatorów bez połączenia podrzędnego), takich jak operator wyjściowy. Aby wyświetlić wyniki każdego operatora w przebiegu, rozwiń węzeł Ustawienia zaawansowane w oknie dialogowym harmonogramu i wybierz pozycję Wyświetl dane wyjściowe operatora.

Wyłącz tę opcję dla dużych obszarów roboczych, aby uniknąć przekroczenia limitu rozmiaru danych wyjściowych uruchomienia.

Wybierz środowisko bezserwerowe

Podczas pracy z plikiem wizualnego przygotowania danych można wybrać środowisko bezserwerowe wykorzystywane zarówno do interaktywnych uruchomień, jak i zaplanowanych zadań. Skonfiguruj je w panelu bocznym Środowisko na prawym pasku bocznym za pomocą ikony , tak samo jak w przypadku notatnika. W obszarze Środowisko podstawowe wybierz wersję środowiska. Zobacz Konfigurowanie środowiska bezserwerowego.

Parametryzacja między środowiskami

Parametry to nazwane wartości zdefiniowane dla całego pliku wizualnego przygotowania danych, do których można odwoływać się w operatorach SQL i Python. Aby uzyskać szczegółowe informacje na temat definiowania i odwoływania się do parametrów, zobacz Parametry.

Parametry umożliwiają uruchamianie tego samego pliku wizualnego przygotowania danych dla różnych środowisk, na przykład z użyciem katalogu testowego na etapie programowania i katalogu produkcyjnego w środowisku produkcyjnym.

• Podczas planowania zadania w interfejsie użytkownika: przesłaniaj wartości parametrów dla każdego harmonogramu. Możesz na przykład utworzyć jeden harmonogram uruchamiany z parametrem environment ustawionym na test, a drugi z tym parametrem ustawionym na production.
• Podczas wdrażania za pomocą pakietu: ustaw wartości parametrów za pomocą zadania parametersi użyj elementów docelowych pakietu, aby podać różne wartości dla danego środowiska. Cele deweloperskie i produkcyjne pakietu umożliwiają wdrożenie tego samego zadania w oddzielnych środowiskach z ustawieniami specyficznymi dla danego środowiska. Zobacz tryby wdrażania deklaratywnych pakietów automatyzacji i konfigurację deklaratywnych pakietów automatyzacji.

W czasie wykonywania plik wizualnego przygotowania danych odczytuje swoje parametry w ten sam sposób niezależnie od tego, czy jest uruchamiany interaktywnie, czy jako zadanie, więc ten sam plik działa we wszystkich środowiskach bez żadnych zmian.

Odczyt z różnych tabel w zależności od środowiska

Aby odczytać z innej tabeli źródłowej w każdym środowisku, użyj operatora SQL z parametrami zamiast stałego operatora źródła. Zdefiniuj catalogparametry , schemai table , a następnie odwołuj się do nich za pomocą IDENTIFIER() klauzuli , aby dynamicznie utworzyć nazwę tabeli:

SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

Nadpisz parametry catalog, schema lub table dla każdego harmonogramu lub celu pakietu, aby kierować ten sam plik przygotowania danych wizualnych do danych testowych w środowisku deweloperskim i do danych produkcyjnych w środowisku produkcyjnym. Aby uzyskać więcej informacji o klauzuli IDENTIFIER(), zobacz IDENTIFIER klauzuli.

Wdrażanie przy użyciu pakietów automatyzacji deklaratywnej

Deklaratywne pakiety automatyzacji umożliwiają definiowanie i wdrażanie zasobów platformy Azure Databricks, takich jak zadania, w postaci plików źródłowych, dzięki czemu można stosować najlepsze praktyki inżynierii oprogramowania, takie jak kontrola wersji, przegląd kodu, testowanie i CI/CD, do plików wizualnego przygotowywania danych. Zobacz Co to są pakiety automatyzacji deklaratywnej?.

Aby wdrożyć plik wizualnego przygotowania danych w pakiecie, zdefiniuj zadanie notesu i odwołaj się do ścieżki pliku .designer.ipynb w notebook_task.notebook_path. W pakiecie plik wizualnego przygotowywania danych używa klucza notebook_task, mimo że interfejs zadań wyświetla go jako typ zadania Wizualne przygotowywanie danych.

W poniższym przykładzie zdefiniowano zadanie, które uruchamia plik wizualnego przygotowania danych znajdujący się obok pliku konfiguracji pakietu:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Wdróż i uruchom pakiet przy użyciu interfejsu wiersza polecenia Azure Databricks:

databricks bundle deploy
databricks bundle run daily_prep_job

Aby uzyskać pełny zestaw kluczy zadań notatnika, zobacz sekcję Zadanie notatnika. Aby zapoznać się z kompletnym przewodnikiem definiowania zadania w pakiecie, zobacz Develop a job with Declarative Automation Bundles (Opracowywanie zadania przy użyciu pakietów deklaratywnej automatyzacji).

Automatyzuj dzięki CI/CD

Aby automatycznie weryfikować i wdrażać pakiety przygotowania danych wizualnych, zintegruj je z potokiem CI/CD. Aby zapoznać się z przykładem użycia GitHub Actions, zobacz GitHub Actions.

Dodatkowe zasoby

• Utwórz wizualny proces przygotowania danych w Lakeflow Designer
• Co to są pakiety automatyzacji deklaratywnej?
• Zadanie notatnika dla zadań