Notebooktask für Aufträge

Verwenden Sie die Notebooktask zum Bereitstellen von Databricks-Notebooks.

Anforderungen

• Ihr Notizbuch muss sich an einem Ort befinden, auf den der Benutzer zugreifen kann, der den Auftrag konfiguriert.

Konfigurieren einer Notebook-Aufgabe

Note

Die Job-Benutzeroberfläche zeigt Optionen dynamisch basierend auf anderen konfigurierten Einstellungen an.

So beginnen Sie den Ablauf zum Konfigurieren einer Notebook-Aufgabe:

1. Navigieren Sie zur Registerkarte Aufgaben in der Benutzeroberfläche „Jobs“.
2. Klicken Sie auf Aufgabe hinzufügen.
3. Geben Sie einen Namen in das Feld " Vorgangsname " ein.
4. Wählen Sie im Dropdownmenü Typ die Option Notebook aus.

Konfigurieren der Quelle

Wählen Sie im Dropdownmenü " Quelle " einen Speicherort für das Notizbuch mit einer der folgenden Optionen aus.

Arbeitsbereich

Verwenden Sie Arbeitsbereich, um ein im Arbeitsbereich gespeichertes Notebook zu konfigurieren, indem Sie die folgenden Schritte ausführen:

1. Klicken Sie auf das Feld Pfad. Das Dialogfeld Notebook auswählen wird angezeigt.
2. Navigieren Sie zum Notebook, klicken Sie auf sie, um die Datei hervorzuheben und klicken Sie dann auf Bestätigen.

Note

Mit dieser Option können Sie eine Aufgabe für ein Notebook konfigurieren, die in einem Ordner „Databricks Git“ gespeichert ist. Databricks empfiehlt die Verwendung der Git-Anbieter-Option und eines Remote-Git-Repositorys für die Versionsverwaltung von Assets, die mit Jobs geplant sind.

Git-Anbieter

Verwenden Sie Git-Anbieter, um ein Notebook zu konfigurieren, das sich in einem Remote-Git-Repository befindet.

Die von der Benutzeroberfläche angezeigten Optionen hängen davon ab, ob Sie bereits einen Git-Anbieter an anderer Stelle konfiguriert haben. Nur ein Git-Remote-Repository kann für alle Aufgaben in einem Job verwendet werden. Siehe Verwenden von Git mit Lakeflow-Aufträgen.

Important

Notizbücher, die von Lakeflow-Aufträgen erstellt werden und aus Remote-Git-Repositories ausgeführt werden, sind kurzlebig und es kann nicht darauf vertraut werden, dass sie MLflow-Läufe, Experimente oder Modelle nachverfolgen. Verwenden Sie beim Erstellen eines Notizbuchs aus einem Auftrag ein MLflow-Experiment des Arbeitsbereichs (anstelle eines Notizbuch-MLflow-Experiments), und rufen Sie mlflow.set_experiment("/path/to/experiment") im Arbeitsbereichsnotizbuch auf, bevor Sie MLflow-Tracking-Code ausführen. Weitere Informationen finden Sie unter Verhindern von Datenverlust in MLflow-Experimenten.

Das Feld Pfad wird angezeigt, nachdem Sie eine Git-Referenz konfiguriert haben.

Geben Sie den relativen Pfad für Ihr Notebook ein, z. B. etl/bronze/ingest.py.

Important

Wenn Sie den relativen Pfad eingeben, beginnen Sie nicht mit / oder ./. Wenn der absolute Pfad für das Notebook, auf das Sie zugreifen möchten, beispielsweise /etl/bronze/ingest.py ist, geben Sie etl/bronze/ingest.py im Pfad Feld ein.

Konfigurieren von Rechenressourcen und abhängigen Bibliotheken

Note

Sie können ein SQL Warehouse als Berechnung für eine Notizbuchaufgabe nur auswählen, wenn das Notizbuch vollständig in SQL geschrieben wird und SQL als Standardsprache festgelegt wird. Wenn das Notebook eine andere Standardsprache verwendet oder mehrere Sprachen mischt, wählen Sie stattdessen einen Cluster oder eine andere unterstützte Rechenressource aus.

1. Verwenden Sie Compute, um einen Cluster auszuwählen oder zu konfigurieren, der die Logik Ihrem Notebook unterstützt.
2. Wenn Sie Serverless Compute verwenden, installieren Sie Bibliotheken direkt im Notebook, über den Bereich „Umgebung“ oder über %pip install. Siehe Konfigurieren der serverlosen Umgebung.
3. Klicken Sie für alle anderen Rechenkonfigurationen unter Abhängige Bibliotheken auf das Hinzufügen. Der Dialog Abhängige Bibliothek hinzufügen wird angezeigt.
   • Sie können eine vorhandene Bibliothek auswählen oder eine neue Bibliothek hochladen.
   • Sie können nur Bibliotheken verwenden, die an einem Speicherort gespeichert sind, der von Ihren Compute-Konfigurationen unterstützt wird. Siehe Python-Bibliotheksunterstützung.
   • Jede Bibliotheksquelle verfügt über einen anderen Flow zum Auswählen oder Hochladen einer Bibliothek. Siehe Installieren von Bibliotheken.

Abschließen der Job-Konfiguration

1. (Optional) Konfigurieren Sie Parameter als Schlüssel-Wert-Paare, auf die im Notebook mit dbutils.widgets zugegriffen werden kann. Weitere Informationen finden Sie unter Konfigurieren von Aufgabenparametern.
2. (Optional) Informationen zum Konfigurieren von Wiederholungsversuchen, Laufzeit- oder Streaming-Backlog-Schwellenwerten oder Benachrichtigungen finden Sie unter "Erweiterte Aufgabeneinstellungen".
3. Klicken Sie auf Aufgabe speichern.

Informationen zum Bearbeiten, Klonen, Deaktivieren oder Löschen dieser Aufgabe finden Sie unter Konfigurieren und Bearbeiten von Aufgaben in Lakeflow-Aufträgen.

Visuelle Datenvorbereitung

Visuelle Datenvorbereitung in der Dropdownliste für den Aufgaben-Typ erstellt eine Notebookaufgabe für eine Datei zur visuellen Datenvorbereitung. Sie erstellen diese Dateien auf einer visuellen Canvas in Lakeflow Designer, die jeden als Notizbuch mit dem Namen <name>.designer.ipynbspeichert. Um eine als Auftrag auszuführen, fügen Sie eine Notebookaufgabe hinzu, und wählen Sie die zugehörige .designer.ipynb-Datei als Quelle aus. Siehe Lakeflow Designer.

Einschränkungen

Die gesamte Notebookzellenausgabe (die kombinierte Ausgabe aller Notebookzellen) unterliegt einer Größenbeschränkung von 30 MB. Außerdem ist die Ausgabe einzelner Zellen auf 8 MB beschränkt. Wenn die Gesamtzellenausgabe größer als 30 MB ist oder die Ausgabe einer einzelnen Zelle größer als 8 MB ist, wird die Ausführung abgebrochen und als fehlgeschlagen markiert.

Wenn Sie Hilfe benötigen, um die Zellen zu finden, die das Limit (bald) überschreiten, führen Sie das Notebook für einen All-Purpose-Cluster aus, und verwenden Sie diese Technik zur automatischen Notebookspeicherung.