Zelfstudie: Dbt instellen voor Fabric Data Warehouse

2024-10-25

Van toepassing op:✅ Warehouse in Microsoft Fabric

In deze zelfstudie wordt u begeleid bij het instellen van dbt en het implementeren van uw eerste project in een Fabric Warehouse.

Inleiding

Het opensource-framework dbt (Data Build Tool) vereenvoudigt de gegevenstransformatie en analyse-engineering. Het richt zich op op SQL gebaseerde transformaties binnen de analyselaag, waarbij SQL als code wordt behandeld. dbt ondersteunt versiebeheer, modularisatie, testen en documentatie.

De dbt-adapter voor Microsoft Fabric kan worden gebruikt om dbt-projecten te maken, die vervolgens kunnen worden geïmplementeerd in een Fabric Data Warehouse.

U kunt ook het doelplatform voor het dbt-project wijzigen door bijvoorbeeld de adapter te wijzigen. een project dat is gebouwd voor een toegewezen SQL-pool van Azure Synapse, kan binnen enkele seconden worden bijgewerkt naar een Fabric Data Warehouse.

Vereisten voor de dbt-adapter voor Microsoft Fabric

Volg deze lijst om de dbt-vereisten te installeren en in te stellen:

Python-versie 3.7 (of hoger).
Het Microsoft ODBC-stuurprogramma voor SQL Server.
De nieuwste versie van de dbt-fabric-adapter uit de PyPI-opslagplaats (Python Package Index) met behulp van pip install dbt-fabric.
```
pip install dbt-fabric
```
Notitie

Door pip install dbt-fabric te wijzigen naar pip install dbt-synapse en de volgende instructies te gebruiken, kunt u de dbt-adapter voor de toegewezen SQL-pool van Synapse installeren.
Controleer of dbt-fabric en de bijbehorende afhankelijkheden zijn geïnstalleerd met behulp van de pip list opdracht:
```
pip list
```
Een lange lijst van de pakketten en de huidige versies moet door dit commando worden geretourneerd.
Als u er nog geen hebt, maakt u een magazijn. U kunt de proefcapaciteit voor deze oefening gebruiken: u registreren voor de gratis proefversie van Microsoft Fabric, een werkruimte maken en vervolgens een magazijn maken.

Aan de slag met dbt-fabric-adapter

In deze zelfstudie wordt Visual Studio Code gebruikt, maar u kunt uw favoriete hulpprogramma van uw keuze gebruiken.

Kloon het jaffle_shop demo dbt-project naar uw computer.
- U kunt een opslagplaats klonen met het ingebouwde broncodebeheer van Visual Studio Code.
- U kunt bijvoorbeeld ook de git clone opdracht gebruiken:
```
git clone https://github.com/dbt-labs/jaffle-shop-classic.git
```
Open de jaffle_shop projectmap in Visual Studio Code.
U kunt de registratie overslaan als u al een magazijn hebt gemaakt.
Maak een profiles.yml-bestand. Voeg de volgende configuratie toe aan profiles.yml. Dit bestand configureert de verbinding met uw magazijn in Microsoft Fabric met behulp van de dbt-fabric-adapter.
```
config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric
```
Notitie

Wijzig de type van fabric naar synapse om indien gewenst de databaseadapter naar Azure Synapse Analytics om te schakelen. Het gegevensplatform van een bestaand dbt-project kan worden bijgewerkt door de databaseadapter te wijzigen. Zie de dbt-lijst met ondersteunde gegevensplatforms voor meer informatie.
Verifieer uzelf bij Azure in de Visual Studio Code-terminal.
- Voer az login uit in de Visual Studio Code terminal als u Azure CLI-verificatie gebruikt.
- Raadpleeg dbt (Data Build Tool) setup en dbt-resourceconfiguraties voor service principals of andere authenticatie van Microsoft Entra ID (voorheen Azure Active Directory) in Microsoft Fabric. Zie Microsoft Entra-verificatie als alternatief voor SQL-verificatie in Microsoft Fabric voor meer informatie.
Nu bent u klaar om de connectiviteit te testen. Als u de connectiviteit met uw magazijn wilt testen, voert u deze uit dbt debug in de Visual Studio Code-terminal.
```
dbt debug
```
Alle controles zijn geslaagd, wat betekent dat u uw magazijn kunt verbinden met behulp van de dbt-fabric-adapter vanuit het jaffle_shop dbt-project.
Nu is het tijd om te testen of de adapter werkt of niet. Voer eerst dbt seed uit om voorbeeldgegevens in het datawarehouse in te voegen.
Voer dbt run deze opdracht uit om de modellen uit te voeren die zijn gedefinieerd in het demo dbt-project.
```
dbt run
```
Voer deze opdracht uit dbt test om gegevens te valideren voor sommige tests.
```
dbt test
```

U hebt nu een dbt-project geïmplementeerd in Fabric Data Warehouse.

Schakelen tussen verschillende magazijnen

Het dbt-project wordt eenvoudig verplaatst tussen verschillende magazijnen. Een dbt-project op elk ondersteund magazijn kan snel worden gemigreerd met dit proces van drie stappen:

Installeer de nieuwe adapter. Zie dbt-adapters voor meer informatie en volledige installatie-instructies.
Werk de type eigenschap in het profiles.yml bestand bij.
Maak het project.

dbt in Fabric Data Factory

Wanneer dbt is geïntegreerd met Apache Airflow, wordt een populair systeem voor werkstroombeheer een krachtig hulpmiddel voor het organiseren van gegevenstransformaties. Met de mogelijkheden voor planning en taakbeheer van Airflow kunnen gegevensteams dbt-uitvoeringen automatiseren. Het zorgt voor regelmatige updates van gegevens en onderhoudt een consistente stroom van hoogwaardige gegevens voor analyse en rapportage. Deze gecombineerde benadering, met behulp van de expertise van dbt op het gebied van transformatie met het werkstroombeheer van Airflow, levert efficiënte en robuuste gegevenspijplijnen, wat uiteindelijk leidt tot snellere en inzichtelijkere beslissingen op basis van gegevens.

Apache Airflow is een opensource-platform dat wordt gebruikt voor het programmatisch maken, plannen en bewaken van complexe gegevenswerkstromen. Hiermee kunt u een set taken, operatoren genoemd, definiëren die kunnen worden gecombineerd tot omgeleide acyclische grafieken (DAG's) om gegevenspijplijnen weer te geven.

Zie Gegevens transformeren met behulp van dbt met Data Factory in Microsoft Fabric voor meer informatie over het operationeel maken van dbt met uw magazijn.

Overwegingen

Belangrijke aandachtspunten bij het gebruik van dbt-fabric-adapter:

Bekijk de huidige beperkingen in datawarehousing van Microsoft Fabric.
Fabric biedt ondersteuning voor Microsoft Entra ID-verificatie (voorheen Azure Active Directory) voor gebruikersprincipals, gebruikersidentiteiten en serviceprincipals. De aanbevolen verificatiemodus voor interactief werken in een warehouse is CLI (opdrachtregelinterfaces) en gebruik service-principals voor automatisering.
Controleer de T-SQL-opdrachten (Transact-SQL) die niet worden ondersteund in Fabric Data Warehouse.
Sommige T-SQL-opdrachten worden ondersteund door dbt-fabric-adapter met behulp van Create Table as Select (CTAS), DROPen CREATE opdrachten, zoals ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, . sp_rename
Bekijk niet-ondersteunde gegevenstypen voor meer informatie over de ondersteunde en niet-ondersteunde gegevenstypen.
U kunt problemen registreren op de dbt-fabric-adapter op GitHub door de pagina Issues · microsoft/dbt-fabric · GitHub te bezoeken.

Volgende stap

Gegevens transformeren met dbt met Data Factory in Microsoft Fabric

Delen via