Automatisieren von Aufträgen mit Zeitplänen und Triggern

Konfigurieren Sie Lakeflow-Aufträge so, dass sie in einer der folgenden Situationen automatisch ausgelöst werden:

  • Nach einem zeitbasierten Plan
  • Zur Aktualisierung von Quelltabellen
  • Beim Eintreffen von Dateien an einen Unity-Katalogspeicherort
  • Erstellen oder Aktualisieren eines Unity-Katalogmodells
  • Ununterbrochen

Sie können die Ausführung von Einzelvorgängen auch manuell oder über externe Orchestrierungswerkzeuge auslösen.

Auftragspläne und Trigger

Triggertyp Verhalten
Geplant Löst die Ausführung eines Einzelvorgangs nach einem zeitbasierten Plan aus. Siehe Ausführen von Jobs nach einem Zeitplan.
Tabellenaktualisierung Löst die Ausführung eines Einzelvorgangs aus, wenn Quelltabellen aktualisiert werden. Siehe Triggeraufträge, wenn Quelltabellen aktualisiert werden.
Empfang der Datei Startet einen Joblauf, wenn neue Dateien an einem überwachten Unity Catalog-Speicherort ankommen. Weitere Informationen finden Sie unter Auslösen von Aufträgen beim Eintreffen neuer Dateien.
Modellaktualisierung Löst einen Auftrag aus, der ausgeführt wird, wenn ein Unity-Katalogmodell erstellt wird, eine Modellversion bereit ist oder ein Modellalias festgelegt ist (Beta). Siehe Triggeraufträge, wenn Modelle aktualisiert werden.
Fortlaufend Um den Job immer laufen zu lassen, lösen Sie eine weitere Jobausführung aus, sobald eine Jobausführung abgeschlossen ist oder fehlschlägt. Weitere Informationen finden Sie unter Fortlaufendes Ausführen von Jobs.
Keine (manuell) Ausführungen werden manuell mit der Schaltfläche Jetzt ausführen oder programmgesteuert mit anderen Orchestrierungstools ausgelöst. Siehe Auslösen der Ausführung eines Einzelvorgangs

Standardmäßig kann nur eine einzelne Ausführung eines Jobs gleichzeitig aktiv sein. Es ist jedoch möglich, diesen Grenzwert in den erweiterten Einstellungen zu erhöhen. Ausführungen werden übersprungen, wenn sie die konfigurierte maximale Parallelität für einen Auftrag überschreiten. Siehe Konfigurieren der maximalen Anzahl gleichzeitiger Ausführungen.

Konfigurieren Sie einen Trigger für einen Einzelvorgang

  1. Öffnen Sie den Auftrag, für den Sie einen Trigger konfigurieren möchten.

  2. Scrollen Sie im Bereich "Auftragsdetails " nach unten zum Abschnitt "Zeitplan und Trigger" , und klicken Sie dann auf "Trigger hinzufügen".

  3. Wählen Sie in "Zeitpläne & Trigger" den Typ des Triggers aus, den Sie konfigurieren möchten: "Geplant", "Tabellenaktualisierung", " Dateiankunft", "Modellaktualisierung" oder "Fortlaufend".

    Basierend auf dem Triggertyp stehen auch andere Optionen zum Konfigurieren zur Verfügung.

  4. Klicken Sie auf Speichern. Nach dem Speichern wird der Auftrag automatisch basierend auf dem konfigurierten Trigger ausgeführt.

Hinweis

Wenn eine oder mehrere Tasks in einem Auftrag mit mehreren Tasks nicht erfolgreich sind, können Sie die Teilmenge von nicht erfolgreichen Tasks erneut ausführen. Weitere Informationen finden Sie unter Erneutes Ausführen fehlgeschlagener und übersprungener Aufgaben.

Verwalten eines vorhandenen Triggers

Wenn Sie einen Trigger bearbeiten, anhalten, fortsetzen oder entfernen möchten, verwenden Sie den Abschnitt "Zeitplan und Trigger" des Bereichs " Auftragsdetails ". Diese Steuerelemente werden nur für Aufträge angezeigt, für die ein Trigger konfiguriert ist.

  • Klicken Sie zum Ändern des Triggers auf "Bearbeiten".
  • Klicken Sie auf Pausieren, um einen aktiven Trigger anzuhalten. Alle derzeit aktiven Läufe werden fortgesetzt, aber der Trigger startet keine neuen Läufe mehr. Um den Auslöser fortzusetzen, klicken Sie auf "Fortsetzen"; das konfigurierte Verhalten wird im selben zuvor konfigurierten Zeitplan fortgesetzt.
  • Klicken Sie auf Löschen, um den Auslöser aus dem Job zu entfernen.

Beim Erstellen oder Bearbeiten eines Triggers können Sie auch im Dialogfeld "Zeitpläne und Trigger" zwischen "Aktiv" und "Angehalten" umschalten, um den Triggerstatus zu steuern.

Hinweis

Wenn gerade eine Ausführung aktiv ist, wenn ein fortlaufender Trigger wieder aufgenommen wird, wartet der Job Scheduler, bis diese Ausführung abgeschlossen ist, bevor eine neue Ausführung ausgelöst wird.