Tutorial: Einrichten von dbt für Fabric Data Warehouse

  • Artikel

Gilt für: Warehouse in Microsoft Fabric

In diesem Tutorial wird erläutert, wie Sie dbt einrichten und Ihr erstes Projekt in Fabric Warehouse bereitstellen.

Einführung

Das open-Source-Framework dbt (Data Build Tool) vereinfacht Datentransformations- und Analysetechnik. Es konzentriert sich auf SQL-basierte Transformationen innerhalb der Analyseebene, wobei SQL als Code behandelt wird. dbt unterstützt Versionskontrolle, Modularisierung, Tests und Dokumentation.

Der dbt-Adapter für Microsoft Fabric kann zum Erstellen von dbt-Projekten verwendet werden, die dann in einem Fabric Synapse-Data Warehouse bereitgestellt werden können.

Sie können die Zielplattform für das dbt-Projekt auch ändern, indem Sie beispielsweise einfach den Adapter ändern. Ein Projekt, das für Dedizierter SQL-Pool in Azure Synapse erstellt wurde, kann in wenigen Sekunden auf ein Fabric Synapse-Data Warehouse aktualisiert werden.

Voraussetzungen für den dbt-Adapter für Microsoft Fabric

Folgen Sie dieser Liste zum Installieren und Einrichten der dbt-Voraussetzungen:

  1. Python, Version 3.7 (oder höher).

  2. Der Microsoft ODBC Driver for SQL Server.

  3. Neueste Version des dbt-fabric-Adapters aus dem PyPI (Python-Paketindex)-Repository mit pip install dbt-fabric.

    pip install dbt-fabric

    Hinweis

    Wenn Sie pip install dbt-fabric in pip install dbt-synapse ändern und die folgenden Anleitungen nutzen, können Sie den dbt-Adapter für den dedizierten Synapse-SQL-Pool installieren.

  4. Vergewissern Sie sich mithilfe des Befehls pip list, dass dbt-fabric und dessen Abhängigkeiten installiert sind:

    pip list

    Von diesem Befehl sollte eine lange Liste der Pakete und aktuellen Versionen zurückgegeben werden.

  5. Erstellen Sie ein Warehouse, sofern Sie noch keins haben. Sie können die Testkapazität für diese Übung nutzen: Registrieren Sie sich für die kostenlose Microsoft Fabric-Testversion, erstellen Sie einen Arbeitsbereich, und erstellen Sie dann ein Warehouse.

Erste Schritte mit dem dbt-fabric-Adapter

In diesem Tutorial wird Visual Studio Code verwendet, aber Sie können auch das von Ihnen bevorzugte Tool verwenden.

  1. Klonen Sie das dbt-Demoprojekt jaffle_shop auf Ihren Computer.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Öffnen Sie den Projektordner jaffle_shop in Visual Studio Code.

    Screenshot from the Visual Studio Code, showing the open project.

  3. Sie können die Registrierung überspringen, wenn Sie ein Warehouse bereits erstellt haben.

  4. Erstellen Sie die Datei profiles.yml. Fügen Sie die folgende Konfiguration zu profiles.yml hinzu. Diese Datei konfiguriert die Verbindung mit Ihrem Warehouse in Microsoft Fabric mithilfe des dbt-fabric-Adapters.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Hinweis

    Ändern Sie bei Bedarf den Wert für type von fabric in synapse, um den Datenbankadapter auf Azure Synapse Analytics umzuschalten. Die Datenplattform eines beliebigen vorhandenen dbt-Projekts kann durch Ändern des Datenbankadapters aktualisiert werden. Weitere Informationen finden Sie in der dbt-Liste der unterstützten Datenplattformen.

  5. Authentifizieren Sie sich im Visual Studio Code-Terminal bei Azure.

    • Führen Sie im Visual Studio Code-Terminal az login aus, wenn Sie die Azure CLI-Authentifizierung nutzen.
    • Informationen zum Dienstprinzipal oder einer anderen Microsoft Entra-ID-Authentifizierung (früher Azure Active Directory) in Microsoft Fabric finden Sie unter dbt (Data Build Tool) Setup und dbt-Ressourcenkonfigurationen.

  6. Jetzt können Sie die Konnektivität testen. Führen Sie zum Testen der Konnektivität mit Ihrem Warehouse im Visual Studio Code-Terminal dbt debug aus.

    dbt debug

    Screenshot from the Visual Studio Code, showing the dbt debug command.

    Wenn alle Überprüfungen bestanden wurden, bedeutet dies, dass Sie Ihr Warehouse mithilfe des dbt-fabric-Adapters über das dbt-Projekt jaffle_shop verbinden können.

  7. Jetzt ist es Zeit zu testen, ob der Adapter funktioniert oder nicht. Führen Sie zuerst dbt seed aus, um Beispieldaten in das Warehouse einzufügen.

    Screenshot from the Visual Studio Code, showing a dbt seed command.

  8. Führen Sie dbt run aus, um Daten anhand einiger Tests zu überprüfen.

    dbt run

    Screenshot from the Visual Studio Code, showing a dbt run command.

  9. Führen Sie dbt test aus, um die im dbt-Demoprojekt definierten Modelle auszuführen.

    dbt test

    Screenshot from the Visual Studio Code, showing a dbt test command.

Sie haben jetzt ein dbt-Projekt in Synapse Data Warehouse in Fabric bereitgestellt.

Verschieben zwischen verschiedenen Warehouses

Das Verschieben des dbt-Projekts zwischen verschiedenen Warehouses ist einfach. Ein dbt-Projekt in einem beliebigen unterstützten Warehouse kann mit dem folgenden dreistufigen Prozess schnell migriert werden:

  1. Installieren Sie den neuen Adapter. Weitere Informationen und vollständige Installationsanleitungen finden Sie unter dbt-Adapter.

  2. Aktualisieren Sie die Eigenschaft type in der Datei profiles.yml.

  3. Erstellen Sie das Projekt.

Überlegungen

Wichtige Punkte, die bei der Verwendung des dbt-fabric-Adapters berücksichtigt werden müssen:

  • Sehen Sie sich die aktuellen Einschränkungen in Microsoft Fabric-Data Warehousing an.

  • Fabric unterstützt die Microsoft Entra ID-Authentifizierung (früher Azure Active Directory) für Benutzerprinzipale, Benutzeridentitäten und Dienstprinzipale. Der empfohlene Authentifizierungsmodus zum interaktiven Arbeiten im Warehouse ist CLI (Befehlszeilenschnittstellen) und die Verwendung von Dienstprinzipalen für die Automatisierung.

  • Überprüfen Sie die T-SQL (Transact-SQL)-Befehle, die in Synapse Data Warehouse in Microsoft Fabric nicht unterstützt werden.

  • Einige T-SQL-Befehle werden von dbt-fabric-Adapter über die Befehle Create Table as Select (CTAS), DROP und CREATE unterstützt, wie z. B. ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Informationen zu den unterstützten und nicht unterstützten Datentypen finden Sie unter Nicht unterstützte Datentypen.

  • Sie können Probleme auf dem dbt-fabric-Adapter protokollieren, indem Sie Probleme · microsoft/dbt-fabric · GitHub besuchen.

Zugehöriger Inhalt