Konfigurieren und Bearbeiten von Vorgängen in Lakeflow-Aufträgen

Erstellen, Konfigurieren und Bearbeiten von Aufgaben in einem Lakeflow-Auftrag mithilfe der Arbeitsbereich-UI "Jobs & Pipelines ".

Azure Databricks verwaltet Vorgänge als Komponenten von Lakeflow Jobs. Ein Auftrag umfasst mindestens eine Aufgabe. Sie erstellen einen neuen Auftrag auf der Benutzeroberfläche des Arbeitsbereichs, indem Sie die erste Aufgabe konfigurieren. Informationen zum Konfigurieren eines neuen Auftrags finden Sie unter Konfigurieren und Bearbeiten von Lakeflow-Aufträgen.

Jeder Aufgabe ist eine Compute-Ressource zugeordnet, auf der die Aufgabenlogik ausgeführt wird. Wenn Sie serverlos arbeiten, konfiguriert Azure Databricks Ihre Computeressourcen. Wenn Sie serverlose nicht verwenden, lesen Sie Konfigurieren von Compute für Aufträge.

Azure Databricks verfügt über weitere Einstiegspunkte und Tools für die Aufgabenkonfiguration, einschließlich der folgenden:

Erstellen oder Konfigurieren einer Aufgabe

Um eine vorhandene Aufgabe zu bearbeiten oder eine neue Aufgabe mit der Benutzeroberfläche des Arbeitsbereichs hinzuzufügen, wählen Sie anhand der folgenden Schritte einen vorhandenen Auftrag aus:

  1. Klicken Sie in der Randleiste Ihres Azure Databricks Arbeitsbereichs auf Jobs & Pipelines.
  2. Wählen Sie optional die Filter "Jobs " und "Owned by me" aus .
  3. Klicken Sie auf den Name-Link Ihres Jobs.
  4. Klicken Sie auf die Registerkarte Aufgaben. Das Aufgabendiagramm wird angezeigt.
  5. Um eine Aufgabe zu bearbeiten, klicken Sie auf den Aufgabennamen. Die Aufgabenkonfiguration wird unterhalb des Aufgabendiagramms angezeigt.
  6. So fügen Sie eine Aufgabe hinzu:
    • Wenn der Auftrag noch keine Aufgaben hat, zeigt das Aufgabendiagramm Schaltflächen für aktuelle Vorgangstypen an. Klicken Sie auf die Schaltfläche für ihren Aufgabentyp, oder klicken Sie auf das Plussymbol.Fügen Sie einen anderen Aufgabentyp hinzu, um einen anderen Typ auszuwählen.
    • Wenn der Auftrag bereits über eine oder mehrere Aufgaben verfügt, klicken Sie auf das Plussymbol.Fügen Sie eine Aufgabe im Vorgangsdiagramm hinzu.

Arten von Aufgaben

Konfigurationsoptionen und Anweisungen variieren je nach Aufgabe. Die folgenden Aufgabentypen stehen zur Verfügung:

Klonen einer Aufgabe

Klonen Sie Aufgaben, um alle Konfigurationen einer bestehenden Aufgabe zu kopieren, einschließlich Upstream-Abhängigkeiten.

Um eine Aufgabe zu klonen, gehen Sie folgendermaßen vor:

  1. Wählen Sie die Aufgabe im Aufgabendiagramm aus.
  2. Klicken Sie auf Schaltfläche Aufgabe klonen.
  3. Legen Sie einen Namen für die geklonte Aufgabe fest, und klicken Sie auf Klonen.

Deaktivieren einer Aufgabe

Deaktivieren Sie eine Aufgabe, um sie während der Ausführung zu überspringen, ohne sie aus dem Auftrag zu entfernen. Die Aufgabe behält den Konfigurations- und Ausführungsverlauf bei, sodass Sie sie später erneut aktivieren können, ohne die Aufgabe neu zu erstellen.

Häufige Szenarien zum Deaktivieren einer Aufgabe umfassen Folgendes:

  • Vorübergehendes Ausschließen einer Aufgabe beim Debuggen eines Upstreamproblems, ohne dass die Einstellungen der Aufgabe verloren gehen.
  • Anhalten eines fehlerhaften Vorgangs, damit der Rest des Einzelvorgangs weiterhin im Zeitplan ausgeführt wird.
  • Beibehaltung des gerichteten azyklischen Graphs (DAG) und des Ausführungsverlaufs des Einzelvorgangs, während entschieden wird, ob eine Aufgabe entfernt werden soll.

So deaktivieren Sie eine Aufgabe in einem Auftrag:

  1. Öffnen Sie den Auftrag, und wählen Sie die Aufgabe in der DAG aus.
  2. Klicken Sie auf Großes Kreissymbol, um die Aufgabe zu deaktivieren.

Um eine deaktivierte Aufgabe erneut zu aktivieren, wählen Sie die Aufgabe aus, und klicken Sie auf das Symbol .

Wenn Sie eine Aufgabe für eine einzelne Ausführung überspringen möchten, ohne die Auftragseinstellungen zu ändern, verwenden Sie stattdessen " Auftrag ausführen" mit anderen Einstellungen .

Informationen dazu, wie sich deaktivierte Vorgänge auf nachgelagerte Vorgänge, Reparaturen und Teilläufe auswirken, finden Sie unter "Deaktivierte Vorgänge" in Lakeflow-Aufträgen.

Löschen einer Aufgabe

Um eine Aufgabe zu löschen, gehen Sie folgendermaßen vor:

  1. Wählen Sie die Aufgabe im Aufgabendiagramm aus.
  2. Klicken Sie Papierkorb und wählen Sie Aufgabe löschen aus.

Um die Konfiguration und den Ausführungsverlauf der Aufgabe beizubehalten, anstatt sie zu löschen, deaktivieren Sie die Aufgabe.

Kopieren eines Aufgabenpfads

Bei bestimmten Aufgabentypen, z. B. Notebookaufgaben, können Sie den Pfad zum Quellcode der Aufgabe kopieren:

  1. Klicken Sie auf die Registerkarte Aufgaben.
  2. Wählen Sie die Aufgabe aus, die den zu kopierenden Pfad enthält.
  3. Klicken Sie auf Symbol zum Kopieren von Aufträgen neben dem Aufgabenpfad, um den Pfad in die Zwischenablage zu kopieren.

Erweiterte Aufgabeneinstellungen

Die folgenden erweiterten Einstellungen steuern Wiederholungen für fehlgeschlagene Aufgaben und Timeoutrichtlinien für nicht reagierende Aufgaben.

Hinweis

Sie können Benachrichtigungen auf Aufgaben- oder Auftragsebene festlegen. Weitere Informationen finden Sie unter Hinzufügen von Benachrichtigungen zu einem Auftrag.

Festlegen einer Wiederholungsrichtlinie

Die Standardeinstellung für Aufgabenwiederholungen hängt von der Auftragskonfiguration ab. Bei den meisten Konfigurationen werden in der Standardeinstellung bei Fehlschlagen keine Aufgaben wiederholt.

Serverlose Aufträge optimieren standardmäßig die Wiederholungsversuche. Siehe Konfigurieren der automatischen Optimierung für serverloses Computing, um Wiederholungen zu verbieten

Fortlaufende Aufträge verwenden eine exponentielle Backoff-Wiederholungsrichtlinie. Siehe Fehlerbehandlung für fortlaufende Einzelvorgänge.

Um eine Richtlinie zu konfigurieren, die bestimmt, wann und wie oft fehlgeschlagene Aufgaben erneut ausgeführt werden, klicken Sie auf das Plussymbol.Fügen Sie neben Wiederholungsversuchen hinzu.

Das Wiederholungsintervall wird in Millisekunden zwischen dem Start der fehlgeschlagenen Ausführung und der nachfolgenden Wiederholungsausführung berechnet.

Hinweis

Wenn Sie sowohl Timeout als auch Wiederholungen konfigurieren, gilt das Timeout für jeden Wiederholungsversuch.

Konfigurieren von Schwellenwerten für vorgangsausführungsdauer oder Streaming-Backlogmetriken

Von Bedeutung

Der Streaming-Einblick für Lakeflow-Aufträge befindet sich in der öffentlichen Vorschau.

Sie können optionale Schwellenwerte für die Dauer der Aufgabenausführung oder Streaming-Backlogmetriken konfigurieren. Um die Schwellenwerte für Dauer oder Streamingmetrik zu konfigurieren, klicken Sie im Aufgabenkonfigurationsbereich auf Metrische Schwellenwerte.

Um Schwellenwerte für die Vorgangsdauer zu konfigurieren, einschließlich erwarteter und maximaler Abschlusszeiten für den Vorgang, wählen Sie im Dropdown-Menü "Metrik" die Option "Laufzeit" aus. Geben Sie im Feld "Warnung " eine Dauer ein, um die erwartete Fertigstellungszeit der Vorgänge zu konfigurieren. Wenn die Ausführung der Aufgabe diesen Schwellenwert überschreitet, wird ein Ereignis ausgelöst. Um eine maximale Abschlusszeit für eine Aufgabe zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn der Vorgang in diesem Zeitraum nicht abgeschlossen wird, legt Azure Databricks den Status auf "Timed Out" fest.

Um einen Schwellenwert für eine Streaming-Backlog-Metrik zu konfigurieren, wählen Sie die Metrik im Dropdownmenü Metrik aus, und geben Sie einen Wert für den Schwellenwert ein. Informationen zu den spezifischen Metriken, die von einer Streamingquelle unterstützt werden, finden Sie unter Anzeigen von Metriken für Streamingaufgaben.

Geben Sie im Feld "Warnung " eine Dauer ein, um die erwartete Fertigstellungszeit des Vorgangs zu konfigurieren. Wenn die Aufgabe diesen Schwellenwert überschreitet, wird ein Ereignis ausgelöst. Sie können dieses Ereignis verwenden, um benachrichtigt zu werden, wenn eine Aufgabe langsam ausgeführt wird. Siehe Konfigurieren von Benachrichtigungen für langsame Aufträge.

Um eine maximale Abschlusszeit für eine Aufgabe zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn der Vorgang in diesem Zeitraum nicht abgeschlossen wird, legt Azure Databricks den Status auf "Timed Out" fest.

Wenn ein Ereignis ausgelöst wird, weil ein Schwellenwert überschritten wird, können Sie das Ereignis verwenden, um eine Benachrichtigung zu senden. Siehe Konfigurieren von Benachrichtigungen für langsame Aufträge.

  • Last updated on