Fügen Sie SQL-Bedingungen zu Job-Triggern hinzu

Verwenden Sie eine SQL-Bedingung, um Ihre Daten zu überprüfen, bevor ein ausgelöster Job-Run beginnt. Wenn der Trigger ausgelöst wird, führt Azure Databricks eine gespeicherte SQL-Abfrage auf einem von Ihnen gewählten SQL-Warehouse aus. Der Run beginnt nur, wenn das Abfrageergebnis die Bedingung erfüllt. Zum Beispiel kann ein Job nur ausgeführt werden, wenn eine Upstream-Tabelle vollständig geladen wurde oder eine Datenqualitätsprüfung bestanden ist, ohne eine separate Checker-Aufgabe zum Job hinzuzufügen.

Important

Dieses Feature befindet sich in der Betaversion. Um es zu verwenden, muss ein Workspace-Administrator SQL-Bedingungen für Trigger auf der Seite Previews aktivieren. Siehe Manage Azure Databricks Previews.

Requirements

  • Sie müssen für den Auftrag über CAN MANAGE verfügen, um seine Trigger zu konfigurieren.
  • Du brauchst eine gespeicherte Abfrage , die keine Query-Parameter verwendet. Du musst Zugriff auf die Abfrage haben und sie im von dir ausgewählten SQL-Warehouse ausführen können.
  • Die Run-as-Identität des Auftrags muss in der Lage sein, die gespeicherte Abfrage zu öffnen, über die Berechtigung CAN USE für das SQL-Warehouse zu verfügen und Lesezugriff auf jede Tabelle zu haben, aus der die Abfrage liest. Die Bedingungsabfrage wird unter dieser Identität ausgeführt.

Wie SQL-Bedingungen funktionieren

Der Auslöser entscheidet, wann überprüft wird. Die SQL-Bedingung entscheidet, ob ein Run gestartet wird. Nachdem der Trigger ausgelöst wurde, führt Azure Databricks die Abfrage im Nur-Lese-Modus aus. Ein Run startet erst, wenn sowohl der Trigger als auch die SQL-Bedingung erfüllt sind.

Man kann eine SQL-Bedingung zu einem geplanten, Tabellenaktualisierung, Dateieingang, Modellupdate oder Auftragsabschluss-Trigger hinzufügen. Kontinuierliche Trigger unterstützen keine SQL-Bedingungen.

Wähle, wie Azure Databricks das Abfrageergebnis bewertet:

Bedingungstyp API-Wert Startet einen Lauf, wenn Abfrageanforderungen
Abfrage liefert Zeilen zurück QUERY_RETURNS_ROWS Das Ergebnis enthält mindestens eine Zeile. None. Keine Zeilen bedeuten, dass die Bedingung nicht erfüllt ist.
Änderungen des Ergebniswerts RESULT_VALUE_CHANGES Das Ergebnis unterscheidet sich vom Wert der vorherigen Prüfung. Muss genau eine Zeile und eine Spalte zurückgeben. Der Wert muss 1 MiB oder kleiner betragen.

Bei Änderungen des Ergebniswerts führt Azure Databricks die Abfrage direkt nach dem Speichern des Triggers im Hintergrund aus und speichert das Ergebnis als Basis. Diese Prüfung startet keine Ausführung. Spätere Prüfungen starten einen Durchlauf, wenn das Ergebnis vom gespeicherten Wert abweicht. Das Ändern der Abfrage, des SQL-Warehouses oder des Bedingungstyps am Trigger setzt die Baseline zurück, und Azure Databricks speichert auf dieselbe Weise eine neue. Das Pausieren des Triggers oder das Ändern anderer Trigger-Einstellungen kann ihn ebenfalls zurücksetzen. Das Bearbeiten des Textes der gespeicherten Abfrage setzt sie nicht zurück.

Jede Überprüfung funktioniert wie folgt:

  • Eine Prüfung, einschließlich des SQL-Warehouse-Starts, läuft nach 5 Minuten ab. Wenn bei einem Check eine Zeitüberschreitung auftritt, beginnt kein Lauf, und der Trigger überprüft bei der nächsten Bewertung erneut.
  • Ein Trigger führt höchstens eine Prüfung gleichzeitig aus. Wenn der Trigger fällig ist, während eine Prüfung noch läuft, überspringt Azure Databricks diese Auswertung, anstatt sie in die Warteschlange zu stellen.
  • Wenn die Abfrage mehr als eine Anweisung hat, wird nur das Ergebnis der letzten Anweisung verwendet.
  • SQL-Bedingungen gelten nur für Läufe, die vom Trigger gestartet werden. Jetzt ausführen und andere manuelle Durchläufe prüfen die SQL-Bedingung nicht.

Tip

Für Abfrage gibt Zeilen zurück stellen Sie sicher, dass die Abfrage null Zeilen zurückgibt, wenn die Daten nicht bereit sind. Eine Abfrage wie SELECT count(*) > 100 FROM main.sales.orders liefert eine Zeile zurück, selbst wenn die Anzahl 100 oder weniger beträgt, sodass die Bedingung erfüllt ist. Filtern Sie mit WHERE oder HAVING stattdessen:

SELECT 1
FROM main.sales.orders
WHERE order_date = current_date()
HAVING count(*) > 100

Füge einem Trigger eine SQL-Bedingung hinzu

  1. In der Seitenleiste des Arbeitsbereichs klicke auf Jobs & Pipelines und öffne dann den Job.
  2. In Schedules & Triggers klickst du auf Trigger hinzufügen oder bearbeitest einen bestehenden Trigger.
  3. Wählen Sie den Trigger-Typ und konfigurieren Sie den Trigger.
  4. Erweitern Sie Erweitert, und klicken Sie dann auf SQL-Bedingung hinzufügen.
  5. Wähle die SQL-Abfrage und das SQL-Warehouse aus.
  6. Unter Triggern wenn wählen Sie Abfrage gibt Zeilen zurück oder Ergebniswert ändert sich aus.
  7. Klicke auf Speichern.

Testtrigger prüft, ob der Job die gespeicherte Abfrage verwenden kann. Sie bestätigt, dass die Abfrage existiert, nicht im Papierkorb liegt und keine Parameter hat, aber sie führt die Abfrage nicht aus. Um das Abfrageergebnis zu sehen, führe die Abfrage im SQL-Editor aus.

Um eine Bedingung zu entfernen, bearbeiten Sie den Trigger, erweitern Sie Erweitert und klicken Sie auf SQL-Bedingung entfernen.

Konfigurieren Sie mithilfe der API, der CLI oder von Bundles

Setze sql_condition mit sql_query_id, warehouse_id, und trigger_mode. Für einen geplanten Trigger, der einen Cron-Ausdruck verwendet, setzen Sie ihn auf schedule. Für andere Triggertypen setze es auf trigger, neben den Triggertyp-Einstellungen. Mit der Multiple Triggers Beta lege sie für jeden Eintrag in triggers fest.

REST API

Speichern Sie diese Anfrage als update-job.json und senden Sie sie an POST /api/2.2/jobs/update in der Jobs-API. Ersetze die IDs durch die IDs deines Jobs, deiner gespeicherten Abfrage und deines SQL-Warehouses.

{
  "job_id": 9001,
  "new_settings": {
    "trigger": {
      "pause_status": "UNPAUSED",
      "table_update": {
        "table_names": ["main.sales.orders"],
        "condition": "ANY_UPDATED"
      },
      "sql_condition": {
        "sql_query_id": "fe25e731-92f2-4838-9fb2-1ca364320a3d",
        "warehouse_id": "5d409943fcd32c6f",
        "trigger_mode": "QUERY_RETURNS_ROWS"
      }
    }
  }
}

CLI

Speichern Sie den Request-Body im REST-API-Tab als update-job.json, und führen Sie dann aus:

databricks api post /api/2.2/jobs/update --json @update-job.json

Bundles

Für deklarative Automatisierungspakete fügen Sie eine bestehende Jobressource zusammen mit deren Aufgaben folgende Einstellungen hinzu:

resources:
  jobs:
    orders_report:
      trigger:
        pause_status: UNPAUSED
        periodic:
          interval: 1
          unit: DAYS
        sql_condition:
          sql_query_id: fe25e731-92f2-4838-9fb2-1ca364320a3d
          warehouse_id: 5d409943fcd32c6f
          trigger_mode: RESULT_VALUE_CHANGES

Bundles können keine gespeicherten Abfragen erstellen. Erstelle die Abfrage zuerst im Arbeitsbereich und verweise dann auf ihre ID.

Ein sql_condition, das du an jobs/update sendest, ersetzt das aktuelle als Ganzes, also beziehe alle seine Felder ein. Wenn du sql_condition auslässt, bleibt der aktuelle Zustand bestehen. Um mehrere Trigger zu aktualisieren, siehe Mehrere Trigger zu einem Job hinzufügen.

Überwachung von SQL-Bedingungsprüfungen

  • Für geplante Trigger zeigt der Triggerstatus auf der Jobseite an, ob die letzte SQL-Bedingungsprüfung erfüllt war. Klicken Sie auf Abfrageausführungsdetails, um die Anweisung im Abfrageverlauf zu öffnen.
  • Um die letzte Prüfung zu lesen, die fehlerfrei ausgeführt wurde, rufen Sie die Get Job-API mit include_trigger_state=true auf und lesen Sie trigger_state.sql_condition. Das Feld latest_condition_evaluation_satisfied zeigt, ob diese Prüfung die Bedingung erfüllt hat, und latest_condition_evaluation_sql_statement_id identifiziert die zugehörige Anweisung im Abfrageverlauf. Eine fehlgeschlagene Prüfung ändert diese Felder nicht. Zu Multiple Triggers lesen Sie trigger_details[].state.sql_condition.
  • Für jeden Lauf, den eine SQL-Bedingung gestartet hat, zeigt das Feld Gestartet in der Runs-Liste und auf der Run-Details-Seite ein SQL-Tag. Klicken Sie darauf, dann klicken Sie auf Abfrageausführungsdetails, um die Prüfung dieses Durchlaufs im Abfrageverlauf zu öffnen.
  • Wenn eine Überprüfung aus einem Grund fehlschlägt, den du beheben kannst, erscheint der Fehler im Trigger-Status auf der Job-Seite. Azure Databricks sendet den Fehler auch an die Fehlerbenachrichtigungen des Auftrags, einschließlich E-Mail-Empfänger und Webhook-Zielen. Sie bekommen eine Benachrichtigung, wenn eine Überwachungsbedingung zu versagen beginnt, nicht für jede fehlgeschlagene Prüfung. Der Fehler bleibt bis zur nächsten erfolgreichen Prüfung erhalten. Weitere Informationen finden Sie unter Hinzufügen von Benachrichtigungen zu einem Auftrag.

Jeder Check läuft als SQL-Anweisung auf deinem SQL-Warehouse. Um die Prüfungen im Laufe der Zeit zu überprüfen, fragen Sie die Systemtabelle für den Abfrageverlauf für das Warehouse ab.

Troubleshooting

Thema Action
Der Job läuft jedes Mal, wenn der Trigger ausgelöst wird Für Abfrage gibt Zeilen zurück ändern Sie die Abfrage so, dass sie null Zeilen zurückgibt, wenn die Daten nicht bereit sind.
Ergebniswertänderung startet niemals eine Ausführung Die Basislinie ist das Abfrageergebnis zum Zeitpunkt des Speicherns des Triggers. Eine Ausführung beginnt erst, nachdem das Abfrageergebnis nicht mehr diesem Wert entspricht.
Die Überprüfung läuft ab Mach die Abfrage schneller oder nutze ein serverloses SQL-Warehouse, das schneller startet.
SQL-Bedingung hinzufügen erscheint nicht Erweitern Sie "Erweitert". Wenn der Button immer noch fehlt, bitte einen Workspace-Administrator, SQL-Bedingungen für Trigger zu aktivieren.

Limitations

  • Jeder Trigger unterstützt eine SQL-Bedingung.
  • Kontinuierliche Trigger unterstützen keine SQL-Bedingungen.
  • Condition-Abfragen laufen nur auf SQL-Warehouses, im Nur-Lesemodus.
  • Eine Prüfung, einschließlich des SQL-Warehouse-Starts, läuft nach 5 Minuten ab.
  • Ein Trigger speichert nur seine letzte Überprüfung, nicht die vollständige Historie jeder Überprüfung. Um frühere Prüfungen zu sehen, verwenden Sie das SQL-Tag bei Ausführungen, bei deren Ausführung die Bedingung gestartet wurde, oder den Abfrageverlauf.
  • Prüfungen laufen auf deinem SQL-Warehouse und werden als SQL-Warehouse-Nutzung abgerechnet. Eine Prüfung kann ein angehaltenes Warehouse starten.
  • Trigger mit SQL-Bedingungen zählen zum Arbeitsbereichslimit von 12.000 aktiven Triggern.