Verschieben einer visuellen Datenvorbereitungsdatei in die Produktion

Jede visuelle Datenvorbereitungsdatei, die Sie in Lakeflow Designer erstellen, wird von produktionsbereitem Code unterstützt und als Notizbuch mit dem Namen <name>.designer.ipynbgespeichert. Sie können sie in die Produktion mit den gleichen Tools verschieben, die Sie für andere Azure Databricks Code verwenden: Speichern Sie sie in Git, führen Sie sie als Auftrag aus, und stellen Sie sie mit deklarativen Automatisierungsbundle bereit.

Auf dieser Seite wird erläutert, wie Sie eine visuelle Datenvorbereitungsdatei von Prototyp zu Produktion verwenden.

Speichern und Version in Git

Der Arbeitsbereich speichert visuelle Datenvorbereitungsdateien nativ. Um eine visuelle Datenvorversionsdatei zu erstellen, platzieren Sie sie in einem Git-Ordner, und verfolgen Sie sie wie jedes andere Notizbuch:

  1. Erstellen Sie einen Git-Ordner in Ihrem Arbeitsbereich.
  2. Verschieben Sie die visuelle Datenvorbereitungsdatei in diesen Git-Ordner.
  3. Verfolgen, committen und versionieren Sie die Datei wie jedes andere Notebook in Git. In Git erscheint die Datei als <file_name>.designer.ipynb.

Weitere Informationen zu Git-Ordnern finden Sie unter Azure Databricks Git-Ordner. Informationen zum Exportieren oder Importieren einer visuellen Datenvorbereitungsdatei finden Sie unter Exportieren und Importieren einer visuellen Datenvorbereitungsdatei.

Planen als Auftrag

Sie können eine visuelle Datenvorbereitungsdatei automatisieren, indem Sie sie als Auftrag planen.

  • Direkt planen: Klicken Sie im oberen Menü auf die Schaltfläche "Zeitplan ", um einen geplanten Auftrag für ihre visuelle Datenvorbereitungsdatei zu erstellen.
  • Zu einem Auftrag hinzufügen: Erstellen Sie einen Azure Databricks Auftrag, und fügen Sie ihre visuelle Datenvorbereitungsdatei als Aufgabe hinzu. Auf diese Weise können Sie diese visuelle Datenvorbereitungsdatei mit anderen Aufgaben in einer größeren Pipeline kombinieren. Wählen Sie in der Dropdownliste " Vorgangstyp " die Option "Visuelle Datenvorbereitung" aus, und wählen Sie dann die Datei aus.

Geplante Ausführungen zeigen jeden Operator als einzelnen Knoten im Aufgaben-Graphen „Jobs“ an, sodass Sie die Ergebnisse pro Operator in einer Ausführung genauso prüfen können wie auf der Arbeitsfläche.

Um vorhandene Zeitpläne anzuzeigen und zu verwalten, klicken Sie erneut auf "Zeitplan ", um die Liste zu öffnen. Klicken Sie auf Zeitplan hinzufügen, um einen weiteren Zeitplan zu erstellen, oder öffnen Sie das Kebab-Menü eines Zeitplans über das Kebab-Menüsymbol., um ihn zu Bearbeiten, Jetzt ausführen, Anhalten, Klonen, In Jobs anzeigen oder Löschen.

Operatorausgabe in einer Ausführung anzeigen

Standardmäßig generiert eine geplante Ausführung nur Ausgabe für Terminaloperatoren (Operatoren ohne Downstreamverbindung), z. B. einen Ausgabeoperator. Um die Ergebnisse aller Operatoren im Lauf anzuzeigen, erweitern Sie im Dialogfeld für den Zeitplan Erweiterte Einstellungen und wählen Sie Operatorausgabe anzeigen.

LFD-Zeitplansteuerung zur Automatisierung einer visuellen Datenvorbereitungsdatei als Job.

Deaktivieren Sie diese Option für große Arbeitsflächen, um zu verhindern, dass die Größenbeschränkung der Ausführungsausgabe überschritten wird.

Auswählen der serverlosen Umgebung

Wenn Sie mit einer visuellen Datenvorbereitungsdatei arbeiten, können Sie die serverlose Umgebung auswählen, die sowohl für interaktive Ausführungen als auch für geplante Aufträge verwendet wird. Konfigurieren Sie es über das Symbol Randbereich der Umgebung in der rechten Randleiste auf die gleiche Weise wie für ein Notizbuch. Wählen Sie unter "Basisumgebung" eine Umgebungsversion aus. Siehe Konfigurieren der serverlosen Umgebung.

Parametrisieren über Umgebungen hinweg

Parameter sind benannte Werte, die für die visuelle Datenvorbereitungsdatei als Ganzes definiert sind, auf die Sie von SQL und Python Operatoren verweisen können. Ausführliche Informationen zum Definieren und Verweisen auf Parameter finden Sie unter "Parameter".

Mithilfe von Parametern können Sie dieselbe visuelle Datenvorbereitungsdatei für verschiedene Umgebungen ausführen, z. B. einen Testkatalog während der Entwicklung und einen Produktionskatalog in der Produktion.

  • Wenn Sie einen Auftrag in der Benutzeroberfläche planen: Überschreiben Sie die Parameterwerte für jeden Zeitplan. Erstellen Sie z. B. einen Zeitplan, der mit einem auf environment festgelegten test Parameter ausgeführt wird, und einen anderen, der mit demselben Parameter ausgeführt wird, der auf production festgelegt ist.
  • Wenn Sie mit einem Bundle bereitstellen: Legen Sie die Parameterwerte über den Auftrag parametersfest, und verwenden Sie Bundleziele, um unterschiedliche Werte pro Umgebung bereitzustellen. Mit Bündelung von Entwicklungs- und Produktionszielen können Sie denselben Auftrag in separaten Umgebungen mit umgebungsspezifischen Einstellungen bereitstellen. Weitere Informationen finden Sie unter Deklarative Automation Bundles-Bereitstellungsmodi und Konfiguration deklarativer Automatisierungspakete.

Zur Laufzeit liest eine Datei zur visuellen Datenaufbereitung ihre Parameter auf dieselbe Weise ein, unabhängig davon, ob sie interaktiv oder als Job ausgeführt wird, sodass dieselbe Datei ohne Änderungen in all Ihren Umgebungen funktioniert.

Lesen aus verschiedenen Tabellen pro Umgebung

Um aus einer anderen Quelltabelle in jeder Umgebung zu lesen, verwenden Sie einen SQL-Operator mit Parametern anstelle eines festen Quelloperators. Definieren Sie catalog, schemaund table Parameter, und verweisen Sie dann mit der IDENTIFIER() Klausel auf sie, um den Tabellennamen dynamisch zu erstellen:

SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

Überschreiben Sie die Parameter catalog, schema oder table je Zeitplan oder Bundle-Ziel, damit dieselbe visuelle Datenvorbereitungsdatei während der Entwicklung auf Testdaten und in der Produktion auf Produktionsdaten verweist. Weitere Informationen zur IDENTIFIER() Klausel finden Sie unter IDENTIFIER "Klausel".

Bereitstellen mit deklarativen Automatisierungspaketen

Deklarative Automatisierungspakete ermöglichen Es Ihnen, Azure Databricks Ressourcen wie Aufträge wie Quelldateien zu definieren und bereitzustellen, sodass Sie bewährte Methoden wie Quellcodeverwaltung, Codeüberprüfung, Tests und CI/CD auf Ihre visuellen Datenvorbereitungsdateien anwenden können. Erfahren Sie , was deklarative Automatisierungspakete sind?.

Um eine Datei zur visuellen Datenaufbereitung mit einem Bündel bereitzustellen, definieren Sie eine Notebook-Aufgabe und verweisen Sie in .designer.ipynb auf den Dateipfad notebook_task.notebook_path. In einem Paket verwendet eine Datei für die visuelle Datenaufbereitung den notebook_task-Schlüssel, auch wenn die Jobs-Benutzeroberfläche sie als Aufgabentyp Visual data prep anzeigt.

Im folgenden Beispiel wird ein Auftrag definiert, der eine visuelle Datenvorbereitungsdatei ausführt, die sich neben der Bundlekonfigurationsdatei befindet:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Bereitstellen und Ausführen des Bundles mit der Azure Databricks CLI:

databricks bundle deploy
databricks bundle run daily_prep_job

Den vollständigen Satz von Notizbuch-Aufgabenschlüsseln finden Sie unter " Notizbuchaufgabe". Eine vollständige exemplarische Vorgehensweise zum Definieren eines Auftrags in einem Bündel finden Sie unter Entwickeln eines Auftrags mit deklarativen Automatisierungspaketen.

Automatisieren mit CI/CD

Um visuelle Datenvorbereitungspakete automatisch zu überprüfen und bereitzustellen, integrieren Sie sie in eine CI/CD-Pipeline. Ein Beispiel für die Verwendung von GitHub Actions finden Sie unter GitHub Actions.

Zusätzliche Ressourcen

  • Last updated on