Självstudie: Konfigurera dbt för Fabric Data Warehouse

Gäller för:✅ Warehouse i Microsoft Fabric

Den här självstudien vägleder dig genom att konfigurera dbt och distribuera ditt första projekt till ett infrastrukturlager.

Introduktion

Dbt-ramverket (Data Build Tool) med öppen källkod förenklar datatransformeringen och analystekniken. Den fokuserar på SQL-baserade transformeringar i analysskiktet och behandlar SQL som kod. dbt stöder versionskontroll, modularisering, testning och dokumentation.

Dbt-adaptern för Microsoft Fabric kan användas för att skapa dbt-projekt, som sedan kan distribueras till ett Fabric Synapse Data Warehouse.

Du kan också ändra målplattformen för dbt-projektet genom att helt enkelt ändra adaptern, till exempel. Ett projekt som skapats för azure Synapse-dedikerad SQL-pool kan uppgraderas på några sekunder till ett Fabric Synapse Data Warehouse.

Krav för dbt-adaptern för Microsoft Fabric

Följ den här listan för att installera och konfigurera kraven för dbt:

1. Python version 3.7 (eller senare).

2. Microsoft ODBC-drivrutinen för SQL Server.

3. Den senaste versionen av dbt-fabric-adaptern från PyPI-lagringsplatsen (Python Package Index) med .pip install dbt-fabric

   pip install dbt-fabric
   

   Kommentar

   Genom att ändra pip install dbt-fabric till pip install dbt-synapse och använda följande instruktioner kan du installera dbt-adaptern för synapse-dedikerad SQL-pool.

4. Kontrollera att dbt-fabric och dess beroenden har installerats med hjälp pip list av kommandot :

   pip list
   

   En lång lista över paketen och de aktuella versionerna ska returneras från det här kommandot.

5. Om du inte redan har ett skapar du ett lager. Du kan använda utvärderingskapaciteten för den här övningen: registrera dig för den kostnadsfria utvärderingsversionen av Microsoft Fabric, skapa en arbetsyta och sedan skapa ett lager.

Kom igång med dbt-fabric-adaptern

I den här självstudien används Visual Studio Code, men du kan använda önskat verktyg.

1. Klona jaffle_shop demo dbt-projektet på datorn.

   • Du kan klona en lagringsplats med Visual Studio Codes inbyggda källkontroll.
   • Du kan till exempel använda git clone kommandot:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. Öppna projektmappen jaffle_shop i Visual Studio Code.

   

3. Du kan hoppa över registreringen om du redan har skapat ett lager.

4. Skapa en profiles.yml-fil. Lägg till följande konfiguration i profiles.yml. Den här filen konfigurerar anslutningen till ditt lager i Microsoft Fabric med hjälp av dbt-fabric-adaptern.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Kommentar

   type Ändra från fabric till för synapse att växla databaskortet till Azure Synapse Analytics, om så önskas. Alla befintliga dbt-projekts dataplattform kan uppdateras genom att ändra databaskortet. Mer information finns i dbt-listan över dataplattformar som stöds.

5. Autentisera dig själv till Azure i Visual Studio Code-terminalen.

   • Kör az login i Visual Studio Code-terminalen om du använder Azure CLI-autentisering.
   • För tjänstens huvudnamn eller annan Microsoft Entra-ID(tidigare Azure Active Directory)-autentisering i Microsoft Fabric, se dbt-konfiguration (Data Build Tool) och dbt-resurskonfigurationer. Mer information finns i Microsoft Entra-autentisering som ett alternativ till SQL-autentisering i Microsoft Fabric.

6. Nu är du redo att testa anslutningen. Om du vill testa anslutningen till ditt lager kör du dbt debug i Visual Studio Code-terminalen.

   dbt debug
   

   

   Alla kontroller skickas, vilket innebär att du kan ansluta ditt lager med hjälp av dbt-fabric-adaptern jaffle_shop från dbt-projektet.

7. Nu är det dags att testa om adaptern fungerar eller inte. Kör dbt seed först för att infoga exempeldata i lagret.

   

8. Kör dbt run för att verifiera data mot vissa tester.

   dbt run
   

   

9. Kör dbt test för att köra de modeller som definierats i demo dbt-projektet.

   dbt test
   

   

Nu har du distribuerat ett dbt-projekt till Synapse Data Warehouse i Fabric.

Flytta mellan olika lager

Det är enkelt att flytta dbt-projektet mellan olika lager. Ett dbt-projekt på alla lager som stöds kan snabbt migreras med den här trestegsprocessen:

1. Installera det nya adaptern. Mer information och fullständiga installationsinstruktioner finns i dbt-kort.

2. Uppdatera egenskapen type i profiles.yml filen.

3. Bygga projektet.

Att tänka på

Viktiga saker att tänka på när du använder dbt-fabric-adapter:

• Granska de aktuella begränsningarna i Microsoft Fabric-datalager.

• Fabric stöder Microsoft Entra ID-autentisering (tidigare Azure Active Directory) för användarhuvudnamn, användaridentiteter och tjänstens huvudnamn. Det rekommenderade autentiseringsläget för interaktivt arbete på lager är CLI (kommandoradsgränssnitt) och använder tjänstens huvudnamn för automatisering.

• Granska de T-SQL-kommandon (Transact-SQL) som inte stöds i Synapse Data Warehouse i Microsoft Fabric.

• Vissa T-SQL-kommandon stöds av dbt-fabric-kort med hjälp av Create Table as Select (CTAS), DROPoch CREATE kommandon, till exempel ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

• Läs Datatyper som inte stöds för att lära dig mer om de datatyper som stöds och som inte stöds.

• Du kan logga problem på dbt-fabric-adaptern genom att besöka Ärenden · microsoft/dbt-fabric · GitHub.

Relaterat innehåll

• Vad är datalagerhantering i Microsoft Fabric?
• Självstudie: Skapa ett lager i Microsoft Fabric
• Självstudie: Transformera data med en lagrad procedur
• Källkontroll med lager