Selvstudium: Konfigurer databaset til Fabric Data Warehouse

Gælder for:✅ Warehouse i Microsoft Fabric

Dette selvstudium hjælper dig med at konfigurere dbt og udrulle dit første projekt til et Fabric Warehouse.

Introduktion

Open source-strukturen med databaset (Data Build Tool) forenkler datatransformation og analysekonstruktion. Den fokuserer på SQL-baserede transformationer i analyselaget og behandler SQL som kode. dbt understøtter versionsstyring, modularisering, test og dokumentation.

Dbt-adapteren til Microsoft Fabric kan bruges til at oprette dbt-projekter, som derefter kan udrulles til et Fabric Data Warehouse.

Du kan også ændre målplatformen for dbt-projektet ved f.eks. blot at ændre adapteren. et projekt, der er bygget til Azure Synapse-dedikeret SQL-pulje , kan opgraderes på få sekunder til et Fabric Data Warehouse.

Forudsætninger for dbt-adapteren til Microsoft Fabric

Følg denne liste for at installere og konfigurere dbt-forudsætningerne:

1. Python version 3.7 (eller nyere).

2. Microsoft ODBC-driveren til SQL Server.

3. Seneste version af dbt-fabric-adapteren fra PyPI-lageret (Python Package Index) ved hjælp af pip install dbt-fabric.

   pip install dbt-fabric
   

   Bemærk

   Ved at skifte pip install dbt-fabric til pip install dbt-synapse og bruge følgende instruktioner kan du installere dbt-adapteren til Synapse-dedikeret SQL-gruppe.

4. Sørg for at kontrollere, at dbt-fabric og dens afhængigheder er installeret ved hjælp pip list af kommandoen:

   pip list
   

   Der skal returneres en lang liste over pakkerne og de aktuelle versioner fra denne kommando.

5. Hvis du ikke allerede har en, skal du oprette et lager. Du kan bruge prøvekapaciteten til denne øvelse: Tilmeld dig den gratis prøveversion af Microsoft Fabric, opret et arbejdsområde, og opret derefter et lager.

Kom i gang med dbt-fabric adapter

I dette selvstudium bruges Visual Studio Code, men du kan bruge dit foretrukne værktøj efter eget valg.

1. Klon det jaffle_shop demo dbt-projekt på computeren.

   • Du kan klone et lager med Visual Studio Code's indbyggede versionsstyring.
   • Eller du kan f.eks. bruge kommandoen git clone :

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. jaffle_shop Åbn projektmappen i Visual Studio Code.

   

3. Du kan springe tilmeldingen over, hvis du allerede har oprettet et lager.

4. Opret en profiles.yml fil. Føj følgende konfiguration til profiles.yml. Denne fil konfigurerer forbindelsen til dit lager i Microsoft Fabric ved hjælp af dbt-fabric-adapteren.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Bemærk

   type Skift fra fabric til for synapse at skifte databaseadapteren til Azure Synapse Analytics, hvis det er nødvendigt. Dataplatformen for et eksisterende dbt-projekt kan opdateres ved at ændre databaseadapteren. Du kan få flere oplysninger på dbt-listen over understøttede dataplatforme.

5. Godkend dig selv til Azure i Visual Studio Code-terminalen.

   • Kør az login i Visual Studio Code-terminalen, hvis du bruger Azure CLI-godkendelse.
   • Hvis du vil have tjenesteprincipal eller anden Microsoft Entra ID-godkendelse (tidligere Azure Active Directory) i Microsoft Fabric, skal du se konfigurationer af dbt (Data Build Tool) og dbt Resource Configurations. Du kan få flere oplysninger under Microsoft Entra-godkendelse som et alternativ til SQL-godkendelse i Microsoft Fabric.

6. Nu er du klar til at teste forbindelsen. Hvis du vil teste forbindelsen til dit lager, skal du køre dbt debug i Visual Studio Code-terminalen.

   dbt debug
   

   

   Alle kontroller overføres, hvilket betyder, at du kan forbinde dit lager ved hjælp af dbt-fabric-adapteren jaffle_shop fra dbt-projektet.

7. Nu er det tid til at teste, om adapteren fungerer eller ej. dbt seed Kør først for at indsætte eksempeldata i lageret.

   

8. Kør dbt run for at validere data i forhold til nogle test.

   dbt run
   

   

9. Kør dbt test for at køre de modeller, der er defineret i demo dbt-projektet.

   dbt test
   

   

Du har nu udrullet et dbt-projekt til Fabric Data Warehouse.

Flyt mellem forskellige lagre

Det er nemt at flytte dbt-projektet mellem forskellige lagre. Et dbt-projekt på et hvilket som helst understøttet lager kan hurtigt overføres med denne proces med tre trin:

1. Installér det nye kort. Du kan finde flere oplysninger og komplette installationsvejledninger under dbt-adaptere.

2. Opdater egenskaben type i profiles.yml filen.

3. Opbyg projektet.

dbt i Fabric Data Factory

Når dbt er integreret med Apache Airflow, et populært arbejdsprocesstyringssystem, bliver den et effektivt værktøj til orkestrering af datatransformationer. Airflows planlægnings- og opgavestyringsfunktioner gør det muligt for datateams at automatisere dbt-kørsler. Det sikrer regelmæssige dataopdateringer og vedligeholder et ensartet flow af data af høj kvalitet til analyse og rapportering. Denne kombinerede tilgang, der bruger dbt's transformationsekspertise med Airflows arbejdsprocesstyring, leverer effektive og robuste datapipelines, hvilket i sidste ende fører til hurtigere og mere indsigtsfulde datadrevne beslutninger.

Apache Airflow er en åben kildekodeplatform, der bruges til programmeringsmæssigt at oprette, planlægge og overvåge komplekse dataarbejdsprocesser. Det giver dig mulighed for at definere et sæt opgaver, kaldet operatorer, der kan kombineres i styrede acycliske grafer (DAG'er) for at repræsentere datapipelines.

Du kan få flere oplysninger om drift af dbt med dit lager under Transformér data ved hjælp af dbt med Data Factory i Microsoft Fabric.

Overvejelser

Vigtige ting, du skal overveje, når du bruger dbt-fabric-adapter:

• Gennemse de aktuelle begrænsninger i Microsoft Fabric-datawarehousing.

• Fabric understøtter Microsoft Entra ID-godkendelse (tidligere Azure Active Directory) for brugerprincipaler, brugeridentiteter og tjenesteprincipaler. Den anbefalede godkendelsestilstand til interaktivt arbejde på lageret er kommandolinjegrænseflader og brug tjenesteprincipaler til automatisering.

• Gennemse T-SQL-kommandoerne (Transact-SQL), der ikke understøttes i Fabric Data Warehouse.

• Nogle T-SQL-kommandoer understøttes af dbt-fabric-adapteren ved hjælp af Create Table as Select (CTAS), DROPog CREATE kommandoer, f.eks ALTER TABLE ADD/ALTER/DROP COLUMN. , MERGE, TRUNCATE, sp_rename.

• Gennemse ikke-understøttede datatyper for at få mere at vide om de understøttede og ikke-understøttede datatyper.

• Du kan logge problemer på dbt-fabric-adapteren på GitHub ved at gå til Problemer · microsoft/dbt-fabric · GitHub.

Næste trin

Transformér data ved hjælp af dbt med Data Factory i Microsoft Fabric

Relateret indhold

• Hvad er datawarehousing i Microsoft Fabric?
• Selvstudium: Opret et lager i Microsoft Fabric
• Selvstudium: Transformér data ved hjælp af en lagret procedure
• Kildekontrol med lager