Jobs parametrisieren

Mit Parametern können Sie Werte an einen Job und seine Aufgaben übergeben und zwischen Aufgaben auf Werte verweisen. In diesem Artikel werden die parametertypen vorgestellt, die in Lakeflow-Aufträgen verfügbar sind und wie sie in der Benutzeroberfläche konfiguriert werden. Sie müssen auch die Quellcoderessourcen aktualisieren, die Sie als Aufgaben konfigurieren, um auf Parameter zu verweisen. Parameterverweise variieren je nach Sprache und Aufgabentyp. Siehe Access-Parameterwerte aus einer Aufgabe.

Im Folgenden sind grundlegende Konzepte für das Verständnis von Parametern für Jobs aufgeführt:

Was Sie mit Parametern tun können

Fügen Sie Jobs und Aufgaben Parameter für erweiterte Anwendungsfälle hinzu, einschließlich der folgenden:

  • Fügen Sie erweiterbare Logik zu Coderessourcen hinzu.
  • Legen Sie Bedingungen für Ausführungen fest.
  • Verweisen Sie auf allgemeine Parameter für mehrere Aufgaben.
  • Verwenden Sie in einer Aufgabe generierte Informationen in einer anderen Aufgabe.
  • Verweisen Sie auf Metadaten und Statusdaten in der Auftragsausführung.

Auftragsparameter im Vergleich zu Vorgangsparametern

Job-Parameter sind Schlüssel-Wert-Paare, die auf Auftragsebene definiert sind. Sie können die Standardeinstellungen für Job-Parameter außer Kraft setzen, wenn Sie jetzt mit verschiedenen Parametern ausführen oder einen Job mithilfe der REST-API auslösen. Auftragsparameter werden an Aufgaben weitergegeben, die Schlüssel-Wert-Paare verwenden. Andere Aufgaben können mithilfe von dynamischen Wertverweise auf Job-Parameter verweisen.

Hinweis

Jeder Benutzer mit der Berechtigungsstufe CAN MANAGE RUN oder höher bei einem Auftrag kann bei einer manuellen Ausführung die Werte von Auftragsparametern mit Jetzt mit anderen Parametern ausführen überschreiben. Der Standardwert eines Parameters ist keine Sicherheitsmaßnahme. Um Änderungen zu verhindern, beschränken Sie die Berechtigungen des Auftrags.

Vorgangsparameter sind Schlüsselwertpaare oder JSON-Arrays, die auf Aufgabenebene definiert sind. Jede Vorgangsart übergibt Vorgangswerte an die konfigurierten Coderessourcen unterschiedlich. Beispielsweise verwenden Notebook-Aufgaben das dbutils.widgets-Untermodul, während Python-Skripts Werte als Argumente an das Skript übergeben, als würden sie über die Befehlszeile aufgerufen werden. Nachgeschaltete Aufgaben können mithilfe von dynamischen Wertverweise auf Aufgabenparameter aus vorgelagerten Vorgängen verweisen. Siehe Access-Parameterwerte aus einer Aufgabe.

Hinweis

Einige Aufgaben verfügen nicht über ein dediziertes Feld Parameter, erlauben jedoch Verweise auf Aufgabenwerte oder dynamische Wertverweise innerhalb anderer Felder. Siehe Beispiele für parametrisierte DBT-Befehle und Hinzufügen von Verzweigungslogik zu einem Auftrag mit der Aufgabe „Wenn/sonst“.

Erstellen von Workflows mit dynamischen Werten

Aufgabenparameter, die mit statischen Werten festgelegt werden, können nur durch Aktualisieren der Aufgabendefinition außer Kraft gesetzt werden. Das Festlegen eines statischen Werts für einen Job-Parameter ist nur das Konfigurieren eines Standardwerts, den Sie überschreiben können, wenn Sie jetzt mit verschiedenen Parametern ausführen oder einen Job mithilfe der REST-API auslösen können.

Verwenden Sie dynamische Wertverweise, wenn Sie Aufgabenparameter definieren, um Muster wie die folgenden zu implementieren:

  • Verwenden Sie einen Job-Parameter als output_table für eine Aufgabe und input_table für eine andere.
  • Erfassen Sie die Ausgabe einer Notebook-Abfrage als Liste, und iterieren Sie damit in einer For each-Aufgabe.
  • Erstellen von Forking-Logik basierend auf der Anzahl der Datensätze, die mithilfe einer If/Else-Bedingung-Aufgabe verarbeitet werden.
  • Verweisen Sie auf Parameter aus anderen Aufgaben.

Siehe Dynamische Werteverweise.

  • Last updated on