Użyj parametrów w Lakeflow Designer

Parametry w Lakeflow Designer to nazwane wartości zdefiniowane dla całego przygotowania danych wizualnych. Możesz odwoływać się do parametrów w kodzie operatorów SQL i Python, w polach konfiguracji obsługiwanych operatorów oraz w wyrażeniach umożliwiających lub wyłączających operatory. Parametry pozwalają uruchomić te same wizualne przygotowania danych w różnych środowiskach, na przykład katalog testowy w fazie rozwoju i katalog produkcyjny w produkcji.

Requirements

  • Aby tworzyć parametry lub zmieniać przypisania pól, musisz mieć uprawnienia do edycji Visual Data Prep.
  • Aby parametryzować grupę, musisz mieć pozwolenie na
    • edytuj wizualne przygotowanie danych
    • Uruchom podglądy

Zdefiniuj parametry

Aby zarządzać parametrami, wybierz Parametry w lewym panelu. Każdy parametr ma wartość ustawioną podczas jego definiowania. Gdy Visual Data Prep działa według harmonogramu lub jako zadanie, możesz nadpisać tę wartość. Zobacz Nadpisywanie wartości parametrów w środowisku produkcyjnym.

Panel wymienia operatory używających danego parametru. Wybierz nazwę operatora, aby ustawić fokus na obszarze roboczym.

Odwołaj się do parametru z operatora

To, jak odniesiesz się do parametru, zależy od tego, gdzie go używasz:

  • Operator SQL: Użyj składni nazwanych znaczników parametrów, takich jak :environment. Zobacz Używanie nazwanych znaczników parametrów.
  • Python operator: Wywołaj dbutils.widgets.get(), na przykład dbutils.widgets.get("environment"). Zobacz Narzędzie Widgets (dbutils.widgets).
  • Obsługiwane pola konfiguracji operatora: Najedź kursorem na pole w panelu konfiguracji operatora, a następnie wybierz ikonę nawiasów w nawiasach. (Użyj parametru). Wprowadź wyrażenie takie jak :source_table, lub wybierz istniejący parametr. Obsługiwane dziedziny obejmują:
    • Źródło: tabela, ścieżka pliku i format pliku.
    • Wyjście: Katalog, Schemat,Tabela, Widok, Tom,Nazwa pliku oraz tryb zapisu.
    • Limit: Limit.
    • Filtr: Wyrażenia poszczególnych warunków.
    • Przygotuj: Obsługiwane pola w ramach poszczególnych działań.
    • Łącz: Ustaw operację, Strategia scalania, Suma według nazwy oraz Pozwól na brakujące kolumny.

Aby zdefiniować parametr podczas konfiguracji wspieranego pola, wybierz Utwórz parametr w selektorze parametrów. Skonfiguruj nowy parametr w panelu Parametry , a następnie użyj go w polu.

Po otwarciu operatora SQL lub Python do edycji program Lakeflow Designer pokazuje przykład sposobu odwołowania się do dostępnych parametrów powyżej edytora źródłowego.

Łącz parametry z tekstem stałym

W wyrażeniu parametrów dla operatora źródłowego lub wyjściowego używamy :parameter_name do zastąpienia całej wartości. Aby połączyć parametry z tekstem stałym, otoczyć tekst pojedynczymi cudzysłowami i użyć ||. Na przykład następujący wyrażenie Source Table konstruuje w pełni kwalifikowaną nazwę tabeli:

:catalog || '.' || :schema || '.' || :table

Włącz lub wyłącz operator za pomocą parametru

Aby kontrolować, czy skonfigurowany operator działa:

  1. Otwórz panel konfiguracyjny operatora i wybierz ikonę Gear. (Ustawienia operatora).
  2. Obok Wyłączone wybierz ikonę nawiasów klamrowych. (Użyj parametru).
  3. Wprowadź wyrażenie logiczne, takie jak :skip_operator.

Wyrażenie wyłącza operator, gdy jego wartość wynosi True. Operator wyłączony nie generuje żadnych wierszy wyjściowych.

Aby kontrolować całą grupę, otwórz opcję Wyłącz grupę lub Włącz grupę na pasku narzędzi grupy, a następnie wybierz ikonę nawiasów klamrowych. (Użyj parametru) obok Wyłączone. Wprowadź wyrażenie boolowskie i zamknij edytor, aby je zastosować.

Aby ręcznie włączyć lub wyłączyć operatora, zobacz Zmiana nazwy, kopiowanie, usuwanie i wyłączanie operatorów.

Nadpisywanie wartości parametrów w środowisku produkcyjnym

W czasie działania Visual Data Prep odczytuje swoje parametry w ten sam sposób, niezależnie od tego, czy działa interaktywnie, czy jako zadanie, więc ten sam plik działa we wszystkich środowiskach bez zmian. Dla każdego środowiska podaj różne wartości w następujący sposób:

  • Kiedy planujesz zadanie w interfejsie: Nadpisz wartości parametrów dla każdego zaplanowanego zadania. Na przykład zaplanuj to samo przygotowanie danych wizualnych do codziennego uruchamiania w południe z parametrem environment ustawionym na test, a następnie ponownie o 14:00 z environment ustawionym na production. Zobacz Zaplanuj jako zadanie.
  • Podczas wdrażania za pomocą pakietu: Ustaw wartości parametrów za pośrednictwem elementu parameters zadania i użyj targetów pakietów, aby dostarczać różne wartości w zależności od środowiska. Cele deweloperskie i produkcyjne pakietu umożliwiają wdrożenie tego samego zadania w oddzielnych środowiskach z ustawieniami specyficznymi dla danego środowiska. Zobacz tryby wdrażania deklaratywnych pakietów automatyzacji i konfigurację deklaratywnych pakietów automatyzacji.

Dodatkowe zasoby