dbt-Plattformaufgabe für Einzelvorgänge

Important

Dieses Feature befindet sich in der Public Preview.

Verwenden Sie die Dbt-Plattformaufgabe, um vorhandene Dbt-Plattformaufträge direkt aus Azure Databricks zu koordinieren und zu überwachen. Auswählen und Auslösen von DBT-Aufträgen, Festlegen von Optionen für die automatische Wiederholung für Fehler und Überwachen der Ausführung.

Unterschiede zwischen dbt-Plattform und dbt-Aufgaben

Jobs bieten zwei Arten von Aufgaben für dbt-Projekte. Wählen Sie die richtige, basierend auf der Stelle, an der Ihr dbt-Projekt verwaltet wird:

dbt platform task: Verwenden Sie dies, um bestehende dbt-Plattform-Jobs zu orchestrieren. Sie stellt eine Verbindung mit der dbt-Plattform-API und löst dort eine Ausführung aus. Wählen Sie diese Option aus, wenn Sie die Orchestrierung in Azure Databricks zentralisieren möchten, während alle Dbt-Plattformvorteile wie Überwachung und Planung beibehalten werden.

dbt-Aufgabe: Verwenden Sie dies, um dbt-Kernprojekte auf einem Azure Databricks-Cluster mit Code von Git auszuführen. Wählen Sie diese Option aus, wenn Sie die vollständige Kontrolle über die Ausführungsumgebung benötigen und abhängigkeiten vollständig in Azure Databricks verwalten möchten. Siehe DBT-Task für Aufträge.

Anforderungen

Um die Dbt-Plattformaufgabe zu verwenden, müssen Sie die folgenden Voraussetzungen erfüllen:

• Ein Arbeitsbereichsadministrator muss die Vorschau aktivieren. Siehe Manage Azure Databricks Previews.
• Sie müssen über CREATE CONNECTION Berechtigungen für den Metaspeicher des Unity-Katalogs in Ihrem Arbeitsbereich verfügen.
• Zugriff auf ein vorhandenes dbt-Projekt mit einem definierten Auftrag auf der dbt-Plattform. Weitere Informationen finden Sie unter Jobs auf der dbt-Plattform in der dbt-Dokumentation.
• Berechtigungen zum Generieren eines Diensttokens in der dbt-Plattform. Weitere Informationen finden Sie unter Dienstkontotoken.

Note

Für Sicherheit und Betriebsstabilität empfiehlt Databricks, ein Dienstkontotoken und kein persönliches Zugriffstoken zu generieren. Dienstkontotoken sind nicht an einen einzelnen Benutzer gebunden und können problemlos auf die Bereitstellung der mindest erforderlichen Berechtigungen eingestellt werden.

dbt-Plattforminformationen sammeln

Um dbt in Azure Databricks zu integrieren, benötigen Sie die folgenden drei Details:

• Ihre DBT-Plattform-Konto-ID.
• Ein API-Schlüssel, der in der dbt-Plattform generiert wird.
• Ihre Host-URL für die dbt-Plattformbereitstellung.

In den folgenden Abschnitten wird beschrieben, wie Sie diese erforderlichen Informationen finden.

Abrufen Ihrer Konto-ID

So rufen Sie Ihre Konto-ID ab:

1. Melden Sie sich bei der dbt-Plattform an.
2. Navigieren Sie zu ">".
3. Rufen Sie die Konto-ID aus dem URL-Suffix ab, das sich im folgenden Format befindet: https://cloud.getdbt.com/settings/accounts/{account_id}.

Holen Sie sich Ihren API-Schlüssel

So rufen Sie Ihren API-Schlüssel ab:

1. Melden Sie sich bei der dbt-Plattform an.
2. Navigieren Sie zu Einstellungen>Profileinstellungen>Ihr Profil>API-Zugriff>API-Schlüssel.

Host-URL

Ihre Host-URL hängt von Ihrem Standort und Ihrer Mandantschaft ab. Weitere Informationen finden Sie in der Dbt-Dokumentation unter "Access", "Regionen" und "IP-Adressen ", um die URL für Ihre Region zu finden.

Identifizieren Sie Ihre Region und Ihren Mandanten (mehrere Mandanten oder zellenbasiert). Verwenden Sie die Access-URL-Spalte , um Ihre Host-URL abzurufen.

Mietvertragsart	Region (Beispiel)	Beispiel für die Host-URL
Mehrinstanzenfähig	North America	https://cloud.getdbt.com
Zellenbasiert	Nordamerika (us-east-1)	https://12345.us1.dbt.com (verwenden 12345 als Konto-ID)

dbt-Plattformverbindungseinrichtung

Führen Sie die folgenden Schritte aus, um Ihre dbt-Plattformverbindung in Azure Databricks einzurichten.

1. Klicken Sie auf Katalog in der Randleiste.
2. Klicken Sie auf das im Schemabrowser. Klicken Sie dann auf "Verbindung erstellen". Das Verbindungsformular einrichten wird geöffnet.
3. Geben Sie die folgenden Informationen ein, und klicken Sie dann auf Weiter:
   • Geben Sie unter "Verbindungsname" einen Namen ein.
   • Wählen Sie für den Verbindungstypdbt-Plattform aus.
4. Geben Sie Ihre DBT-Plattformhost-URL in das Textfeld "Host " ein. Fügen Sie keinen nachgestellten Schrägstrich (/) ein.
5. Geben Sie Ihre DBT-Plattformkonto-ID und das API-Token ein, das Sie in einem vorherigen Schritt gesammelt haben.
6. Klicken Sie auf "Verbindung erstellen" , um die Verbindungsdetails zu bestätigen.
7. (Optional) Gewähren Sie anderen Benutzern Berechtigungen für die Verwendung der Verbindung:
   • Wählen Sie im Dropdownmenü "Prinzipale " die Benutzer-IDs und -Gruppen aus, für die Sie Berechtigungen erteilen möchten.
   • Wählen Sie die Berechtigungen aus, die Sie erteilen möchten.
   • Klicken Sie auf Confirm (Bestätigen).

Weitere Informationen zum Anzeigen, Bearbeiten oder Löschen von Unity-Katalogverbindungen finden Sie unter Unity-Katalogverbindungen.

Einen neuen Job mit einer dbt-Plattform-Aufgabe erstellen

1. Klicken Sie in Ihrem Arbeitsbereich auf Aufträge & Pipelines in der Randleiste.
2. Klicken Sie auf "Erstellen" und dann auf "Auftrag". Der neue Auftrag wird automatisch mit einem zugeordneten Zeitstempel benannt.
3. (Optional) Klicken Sie auf den Auftragsnamen, und geben Sie einen neuen Namen ein, um ihn zu bearbeiten.
4. Klicken Sie auf "Weitere Aufgabentyp hinzufügen". Suchen Sie nach dbt platform und klicken Sie auf die Kachel, um sie auszuwählen.
5. Geben Sie einen Auftragsnamen ein.
6. Verwenden Sie das Dropdownmenü für die Dbt-Plattformverbindung , um die zuvor erstellte Verbindung auszuwählen.
7. Verwenden Sie das Dropdownmenü "dbt platform job " zum Auswählen des dbt-Plattformauftrags, den Sie koordinieren möchten.
8. (Optional) Informationen zum Konfigurieren von Wiederholungsversuchen, Laufzeit- oder Streaming-Backlog-Schwellenwerten oder Benachrichtigungen finden Sie unter "Erweiterte Aufgabeneinstellungen".
9. Klicken Sie auf Aufgabe speichern.
10. (Optional) Klicken Sie auf "Jetzt ausführen ", um Ihren Auftrag manuell zu testen.

Informationen zum Bearbeiten, Klonen, Deaktivieren oder Löschen dieser Aufgabe finden Sie unter Konfigurieren und Bearbeiten von Aufgaben in Lakeflow-Aufträgen.

Festlegen eines Zeitplans oder Triggers

Sie können Aufträge so konfigurieren, dass sie automatisch nach einem zeitbasierten Zeitplan oder der Ankunft neuer Daten ausgelöst werden. Weitere Informationen zu den verfügbaren Optionen finden Sie unter Automatisieren von Aufträgen mit Zeitplänen und Triggern.

Note

Fortlaufende Trigger werden für dbt-Plattformaufträge nicht unterstützt.

Überwachungsläufe

Sie können Lakeflow-Aufträge in der Azure Databricks-Benutzeroberfläche überwachen. Für dbt-Plattformaufträge können Sie auch einen Link öffnen, der auf die Auftragsausführungsdetails auf der dbt-Plattform verweist.

Überwachen eines Durchlaufs:

1. Klicken Sie auf Einzelvorgänge & Pipelines in der Arbeitsbereichsseitenleiste.

2. (Optional) Wählen Sie die Filter "Jobs" und "Im Besitz von mir" aus.

3. Klicken Sie auf den Name-Link Ihres Jobs.

   Die "Läufe"-Registerkarte erscheint und zeigt Matrix- und Listenansichten aktiver und abgeschlossener Läufe an.

4. Klicken Sie in der Listenansicht der Ausführungen auf den Link für die Ausführung in der Spalte Startzeit. Der dbt-Plattform-Jobstatus wird angezeigt.

5. Klicken Sie auf "In dbt anzeigen ", um die Auftragsausführungsdetails auf der dbt-Plattform anzuzeigen.