Konfigurieren von Einstellungen für Azure Databricks-Aufträge

Dieser Artikel enthält Details zum Konfigurieren von Azure Databricks-Aufträgen und einzelnen Auftragsaufgaben auf der Benutzeroberfläche für Aufträge. Für weitere Informationen zur Verwendung der Databricks CLI zum Bearbeiten von Auftragseinstellungen führen Sie den CLI-Befehl databricks jobs update -h aus. Informationen zur Verwendung der Auftrags-API finden Sie unter Auftrags-API.

Einige Konfigurationsoptionen sind für den Auftrag verfügbar, andere für einzelne Aufgaben. So kann beispielsweise die maximale Anzahl der gleichzeitigen Läufe nur für den Auftrag festgelegt werden, während die Wiederholungsrichtlinien für jede Aufgabe definiert werden.

Bearbeiten eines Auftrags

So ändern Sie die Konfiguration für einen Auftrag

1. Klicken Sie auf der Seitenleiste auf Workflows.
2. Klicken Sie in der Spalte Name auf den Auftragsnamen.

Im Seitenbereich werden die Auftragsdetails angezeigt. Sie können den Trigger für den Auftrag, die Computekonfiguration, Benachrichtigungen und die maximale Anzahl gleichzeitiger Ausführungen ändern, Schwellenwerte für die Dauer konfigurieren und Tags hinzufügen oder ändern. Wenn die Zugriffssteuerung für Aufträge aktiviert ist, können Sie außerdem die Auftragsberechtigungen bearbeiten.

Hinzufügen von Parametern für alle Auftragsaufgaben

Sie können Parameter für einen Auftrag konfigurieren, der an eine der Aufgaben des Auftrags übergeben wird, die Schlüsselwertparameter akzeptieren, einschließlich Python-Wheel-Dateien, die für die Annahme von Schlüsselwortargumenten konfiguriert sind. Parameter, die auf Auftragsebene festgelegt werden, werden zu konfigurierten Parametern auf Aufgabenebene hinzugefügt. Auftragsparameter, die an Vorgänge übergeben werden, sind in der Aufgabenkonfiguration zusammen mit allen Parametern sichtbar, die für den Vorgang konfiguriert sind.

Sie können Auftragsparameter auch an Vorgänge übergeben, die nicht mit Schlüsselwertparametern wie JAR oder Spark Submit-Aufgaben konfiguriert sind. Um Auftragsparameter an diese Aufgaben zu übergeben, formatieren Sie die Argumente als {{job.parameters.[name]}}, wobei Sie das [name] durch key ersetzen, das den Parameter kennzeichnet.

Auftragsparameter haben Vorrang vor Vorgangsparametern. Wenn ein Auftragsparameter und ein Vorgangsparameter denselben Schlüssel aufweisen, überschreibt der Auftragsparameter den Vorgangsparameter.

Sie können konfigurierte Auftragsparameter außer Kraft setzen oder neue Auftragsparameter hinzufügen, wenn Sie einen Auftrag mit verschiedenen Parametern ausführen oder einen Auftrag reparieren.

Sie können auch kontextbezogene Informationen zu Aufträgen und Aufgaben freigeben, indem Sie eine Reihe dynamischer Wertverweise verwenden.

Um Auftragsparameter hinzuzufügen, klicken Sie auf Parameter bearbeiten im Seitenbereich Auftragsdetails und geben Sie den Schlüssel und den Standardwert für jeden Parameter an. Um eine Liste der verfügbaren dynamischen Wertreferenzen anzuzeigen, klicken Sie auf Dynamische Werte durchsuchen.

Hinzufügen von Tags zu einem Auftrag

Um Ihrem Auftrag Bezeichnungen oder Schlüssel:Wert-Attribute hinzuzufügen, können Sie beim Bearbeiten des Auftrags Tags hinzufügen. Mithilfe von Tags können Sie Aufträge in der Liste Aufträge filtern. Sie können beispielsweise das Tag department verwenden, um alle Aufträge zu filtern, die zu einer bestimmten Abteilung gehören.

Hinweis

Da Auftragstags nicht für das Speichern vertraulicher Informationen wie personenbezogener Informationen oder Kennwörter konzipiert sind, empfiehlt Databricks die Verwendung von Tags nur für nicht vertrauliche Werte.

Tags werden auch an Auftragscluster übermittelt, die beim Ausführen eines Auftrags erstellt werden, sodass Sie die Tags auch für Ihre vorhandene Clusterüberwachung verwenden können.

Um Tags hinzuzufügen oder zu bearbeiten, klicken Sie im Seitenbereich Auftragsdetails auf + Tag. Sie können das Tag als Schlüssel und Wert oder als Bezeichnung hinzufügen. Um eine Bezeichnung hinzuzufügen, geben Sie diese im Feld Schlüssel ein und lassen das Feld Wert leer.

Konfigurieren freigegebener Cluster

Klicken Sie zum Anzeigen der einem Cluster zugeordneten Aufgaben auf die Registerkarte Aufgaben, und zeigen Sie in der Seitenleiste auf den Cluster. Um die Konfiguration des Clusters für alle zugeordneten Aufgaben zu ändern, klicken Sie unterhalb des Clusters auf Konfigurieren. Klicken Sie unterhalb des Clusters auf Austauschen, um einen neuen Cluster für alle zugeordneten Aufgaben zu konfigurieren.

Steuern des Zugriffs auf einen Auftrag

Mit der Zugriffssteuerung für Aufträge können Auftragsbesitzer und Administratoren differenzierte Berechtigungen für Aufträge erteilen. Auftragsbesitzer*innen können auswählen, welche anderen Benutzer*innen oder Gruppen die Auftragsergebnisse anzeigen können. Besitzer können außerdem auswählen, wer ihre Auftragsausführungen verwalten kann (Berechtigungen „Jetzt ausführen“ und „Ausführung abbrechen“).

Weitere Informationen zu den Berechtigungsstufen von Aufträgen finden Sie unter Zugriffssteuerungslisten für Aufträge.

Sie müssen über die Berechtigung KANN VERWALTEN oder IST BESITZER für einen Auftrag verfügen, um dessen Berechtigungen zu verwalten.

1. Wählen Sie auf der Randleiste Auftragsausführungen aus.

2. Wählen Sie den Namen eines Auftrags aus.

3. Wählen Sie im Bereich Auftragsdetails die Option Berechtigungen bearbeiten aus.

4. Wählen Sie unter Berechtigungseinstellungen das Dropdownmenü Benutzer, Gruppe oder Dienstprinzipal auswählen und dann eine*n Benutzer*in, eine Gruppe oder einen Dienstprinzipal aus.

   

5. Klicken Sie auf Hinzufügen.

6. Klicken Sie auf Speichern.

Verwalten des Auftragsbesitzes

Standardmäßig verfügen Ersteller/Erstellerinnen eines Auftrags über die Berechtigung IST BESITZER. Gleichzeitig sind sie in der Einstellung Ausführen als des Auftrags die Standardbenutzer/-benutzerinnen. Aufträge werden mit der Identität der Benutzer*innen in der Einstellung Ausführen als ausgeführt. Weitere Informationen zur Einstellung Ausführen als finden Sie unter Ausführen eines Auftrags als Dienstprinzipal.

Arbeitsbereichsadministratoren können die Rolle des Auftragsbesitzers ändern und sich selbst zuweisen. Wenn der Besitz übertragen wird, erhält der vorherige Besitzer die Berechtigung KANN VERWALTEN.

Hinweis

Wenn die Einstellung RestrictWorkspaceAdmins für einen Arbeitsbereich auf ALLOW ALL festgelegt ist, können Arbeitsbereichsadministratoren einen Auftragsbesitzer in einen beliebigen Benutzer oder Dienstprinzipal in ihrem Arbeitsbereich ändern. Informationen dazu, wie Sie die Rechte von Arbeitsbereichsadministratoren so einschränken, dass sie einen Auftragsbesitzer nur in sich selbst ändern können, finden Sie im Artikel zum Einschränken von Arbeitsbereichsadministratoren.

Konfigurieren der maximalen Anzahl gleichzeitiger Ausführungen

Wählen Sie unter Erweiterte Einstellungen die Option Gleichzeitige Ausführungen bearbeiten aus, um die maximale Anzahl paralleler Ausführungen für diesen Auftrag festzulegen. Azure Databricks überspringt die Ausführung, wenn der Auftrag beim Versuch zum Start einer neuen Ausführung bereits seine maximale Anzahl aktiver Ausführungen erreicht hat. Legen Sie einen höheren Wert als den Standardwert 1 fest, um mehrere Ausführungen desselben Auftrags gleichzeitig durchzuführen. Dies ist beispielsweise nützlich, wenn Sie Ihren Auftrag in regelmäßigen Abständen auslösen und zulassen möchten, dass sich aufeinanderfolgende Ausführungen überschneiden, oder wenn Sie mehrere Ausführungen auslösen möchten, die sich durch ihre Eingabeparameter unterscheiden.

Aktivieren der Warteschlange für Auftragsausführungen

Wenn Sie das Ausführen eines Auftrags in einer Warteschlange aktivieren möchten, damit er später ausgeführt wird, da dies aufgrund von Parallelitätsgrenzwerten nicht sofort möglich ist, wählen Sie unter Erweiterte Einstellungen die Umschaltfläche Warteschlange aus. Weitere Informationen finden Sie unter Was muss ich tun, wenn mein Auftrag aufgrund von Parallelitätsgrenzwerten nicht ausgeführt werden kann?.

Hinweis

Die Warteschlange ist standardmäßig für Aufträge aktiviert, die nach dem 15. April 2024 über die Benutzeroberfläche erstellt wurden.

Konfigurieren einer erwarteten Abschlusszeit oder eines Timeouts für einen Auftrag

Sie können optionale Schwellenwerte für die Dauer eines Auftrags konfigurieren, einschließlich einer erwarteten Abschlusszeit für den Auftrag und einer maximalen Abschlusszeit für den Auftrag. Klicken Sie zum Konfigurieren von Schwellenwerten für die Dauer auf Schwellenwerte für Dauer festlegen.

Um eine erwartete Abschlusszeit für den Auftrag zu konfigurieren, geben Sie die erwartete Dauer in das Feld Warnung ein. Wenn der Auftrag diesen Schwellenwert überschreitet, können Sie Benachrichtigungen für den langsam ausgeführten Auftrag konfigurieren. Weitere Informationen finden Sie unter Konfigurieren von Benachrichtigungen für langsam oder verspätet ausgeführte Aufträge.

Um eine maximale Abschlusszeit für einen Auftrag zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn der Auftrag nicht innerhalb dieses Zeitraums abgeschlossen wird, legt Azure Databricks den Auftragsstatus auf „Zeitüberschreitung“ fest, und der Auftrag wird beendet.

Bearbeiten einer Aufgabe

So legen Sie Konfigurationsoptionen für Aufgaben fest

1. Klicken Sie auf der Seitenleiste auf Workflows.
2. Klicken Sie in der Spalte Name auf den Auftragsnamen.
3. Klicken Sie auf die Registerkarte Aufgaben, und wählen Sie die zu bearbeitende Aufgabe aus.

Definieren von Aufgabenabhängigkeiten

Sie können die Ausführungsreihenfolge von Aufgaben in einem Auftrag mithilfe des Dropdownlistenmenüs Abhängig von definieren. Sie können dieses Feld auf eine oder mehrere Aufgaben im Auftrag festlegen.

Hinweis

Abhängig von wird nicht angezeigt, wenn der Auftrag nur aus einer Aufgabe besteht.

Durch das Konfigurieren von Aufgabenabhängigkeiten wird ein gerichteter azyklischer Graph (DAG) der Aufgabenausführung erstellt, eine gängige Methode zur Darstellung der Ausführungsreihenfolge in Auftragsplanern. Nehmen wir zum Beispiel den folgenden Auftrag, der aus vier Aufgaben besteht:

• Aufgabe1 ist die Stammaufgabe und hängt von keiner anderen Aufgabe ab.
• Aufgabe 2 und Aufgabe 3 hängen davon ab, dass zunächst Aufgabe 1 abgeschlossen wird.
• Aufgabe 4 schließlich hängt davon ab, dass Aufgabe 2 und Aufgabe 3 erfolgreich abgeschlossen werden.

Azure Databricks führt vorgelagerte Aufgaben aus, bevor nachgelagerte Aufgaben ausgeführt werden. Dabei werden so viele Aufgaben wie möglich parallel ausgeführt. Das folgende Diagramm veranschaulicht die Reihenfolge der Verarbeitung für diese Aufgaben:

Konfigurieren eines Clusters für eine Aufgabe

Klicken Sie auf das Dropdownlistenmenü Cluster, um den Cluster zu konfigurieren, in dem eine Aufgabe ausgeführt wird. Sie können einen freigegebenen Auftragscluster bearbeiten, jedoch nicht löschen, wenn er noch von anderen Aufgaben verwendet wird.

Weitere Informationen zum Auswählen und Konfigurieren von Clustern zum Ausführen von Aufgaben finden Sie unter Verwenden von Azure Databricks-Compute mit Ihren Aufträgen.

Konfigurieren abhängiger Bibliotheken

Abhängige Bibliotheken werden im Cluster installiert, bevor die Aufgabe ausgeführt wird. Sie müssen alle Aufgabenabhängigkeiten festlegen, um sicherzustellen, dass sie vor dem Start der Ausführung installiert werden. Befolgen Sie bei der Angabe von Abhängigkeiten die Empfehlungen unter Verwalten von Bibliotheksabhängigkeiten.

Konfigurieren einer erwarteten Abschlusszeit oder eines Timeouts für eine Aufgabe

Sie können optionale Schwellenwerte für die Dauer einer Aufgabe konfigurieren, einschließlich einer erwarteten Abschlusszeit für die Aufgabe und einer maximalen Abschlusszeit für die Aufgabe. Klicken Sie zum Konfigurieren von Schwellenwerten für die Dauer auf Schwellenwert für Dauer.

Geben Sie zum Konfigurieren der erwarteten Abschlusszeit der Aufgabe die Dauer in das Feld Warnung ein. Wenn die Aufgabe diesen Schwellenwert überschreitet, wird ein Ereignis ausgelöst. Sie können dieses Ereignis verwenden, um benachrichtigt zu werden, wenn eine Aufgabe langsam ausgeführt wird. Weitere Informationen finden Sie unter Konfigurieren von Benachrichtigungen für langsam oder verspätet ausgeführte Aufträge.

Um eine maximale Abschlusszeit für eine Aufgabe zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn die Aufgabe nicht innerhalb dieses Zeitraums abgeschlossen wird, legt Azure Databricks den Auftragsstatus auf „Zeitüberschreitung“ fest.

Konfigurieren einer Wiederholungsrichtlinie für eine Aufgabe

Um eine Richtlinie zu konfigurieren, die bestimmt, wann und wie oft fehlerhafte Aufgabenausführungen wiederholt werden, klicken Sie neben Wiederholungen auf + Hinzufügen. Das Wiederholungsintervall wird in Millisekunden zwischen dem Start der fehlgeschlagenen Ausführung und der nachfolgenden Wiederholungsausführung berechnet.

Hinweis

Wenn Sie sowohl Timeout als auch Wiederholungen konfigurieren, gilt das Timeout für jeden Wiederholungsversuch.