Opplæring: Konfigurere dbt for Fabric Data Warehouse

Artikkel
08/02/2023

Gjelder for: Lager i Microsoft Fabric

Denne opplæringen veileder deg gjennom hvordan du konfigurerer dbt og distribuerer ditt første prosjekt til et Azure Fabric Synapse Warehouse.

Viktig

Microsoft Fabric er i forhåndsversjon.

Innledning

dbt (Data Build Tool) er et rammeverk med åpen kildekode som forenkler datatransformasjon og analyseteknikk. Den fokuserer på SQL-baserte transformasjoner i analyselaget, og behandler SQL som kode. dbt støtter versjonskontroll, modulærisering, testing og dokumentasjon.

DBT-adapteren for Microsoft Fabric kan brukes til å lage dbt-prosjekter, som deretter kan distribueres til en Fabric Synapse-Data Warehouse.

Du kan også endre målplattformen for dbt-prosjektet ved ganske enkelt å endre adapteren, for eksempel Et prosjekt bygget for Azure Synapse dedikert SQL-basseng kan oppgraderes på noen få sekunder til en Fabric Synapse-Data Warehouse.

Forutsetninger for dbt-adapteren for Microsoft Fabric

Følg denne listen for å installere og konfigurere forutsetningene for dbt:

Python-versjon 3.7 (eller nyere).
Microsoft ODBC-driveren for SQL Server.
Nyeste versjon av dbt-fabric-adapteren fra PyPI-repositoriet (Python Package Index) ved hjelp av pip install dbt-fabric.
```
pip install dbt-fabric
```
Obs!

Ved å endre pip install dbt-fabric til pip install dbt-synapse og bruke følgende instruksjoner, kan du installere dbt-adapteren for Synapse dedikert SQL-utvalg.
Sørg for å bekrefte at dbt-fabric og dets avhengigheter er installert ved hjelp pip list av kommandoen:
```
pip list
```
En lang liste over pakker og gjeldende versjoner bør returneres fra denne kommandoen.
Opprett et lager hvis du ikke allerede har gjort det. Du kan bruke prøvekapasiteten for denne øvelsen: registrer deg for den gratis prøveversjonen av Microsoft Fabric, opprett et arbeidsområde, og opprett deretter et lager.

Kom i gang med dbt-fabric adapter

Denne opplæringen bruker Visual Studio Code, men du kan bruke det foretrukne verktøyet du ønsker.

Klon demoprosjektet fra https://github.com/dbt-labs/jaffle_shop maskinen.
- Du kan klone et repo med Visual Studio Codes innebygde kildekontroll.
- Eller du kan for eksempel bruke git clone kommandoen:
```
git clone https://github.com/dbt-labs/jaffle_shop.git
```
jaffle_shop Åpne prosjektmappen i Visual Studio Code.
Du kan hoppe over registreringen hvis du allerede har opprettet et lager.
Opprett en profiles.yml fil. Legg til følgende konfigurasjon i profiles.yml. Denne filen konfigurerer tilkoblingen til lageret i Microsoft Fabric ved hjelp av dbt-fabric-adapteren.
```
config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your sql endpoint here>
      schema: dbo
      threads: 4
      type: fabric
```
Obs!

type Endre fra fabric til for å synapse bytte databaseadapteren til Azure Synapse Analytics, hvis ønskelig. Dataplattformen til et eksisterende dbt-prosjekt kan oppdateres ved å endre databaseadapteren. Hvis du vil ha mer informasjon, kan du se listen over dataplattformer som støttes.
Godkjenn deg mot Azure i Visual Studio Code-terminalen.
- Kjør az login i Visual Studio Code-terminalen hvis du bruker Azure CLI-godkjenning.
- For tjenestekontohaver eller annen Azure Active Directory-godkjenning til Synapse Data Warehouse i Microsoft Fabric, kan du se dbt (Data Build Tool) oppsett og dbt Resource Configurations.
Nå er du klar til å teste tilkoblingen. Kjør dbt debug i Visual Studio Code-terminalen for å teste tilkoblingen til lageret.
```
dbt debug
```
Alle kontroller blir sendt, noe som betyr at du kan koble til lageret ved hjelp av dbt-fabric adapter fra jaffle_shop dbt-prosjektet.
Nå er det på tide å teste om adapteren fungerer eller ikke. Kjør først dbt seed for å sette inn eksempeldata i lageret.
Kjør dbt test for å kjøre modellene som er definert i demonstrasjonsprosjektet.
```
dbt test
```
Kjør dbt run for å validere data mot noen tester.
```
dbt run
```

Det var det! Du har nå distribuert et dbt-prosjekt til Synapse Data Warehouse i Fabric.

Flytte mellom ulike lagre

Det er enkelt å flytte prosjektet mellom ulike lagre. Et prosjekt på et hvilket som helst støttet lager kan raskt overføres med denne tretrinnsprosessen:

Installer den nye adapteren. Hvis du vil ha mer informasjon og fullstendige installasjonsinstruksjoner, kan du se dbt-adaptere.
type Oppdater egenskapen i profiles.yml filen.
Bygg prosjektet.

Viktige faktorer

Viktige ting å vurdere når du bruker dbt-fabric adapter:

Se gjennom gjeldende begrensninger i Microsoft Fabric-datalageret.
Fabric støtter Azure Active Directory (Azure AD)-godkjenning for brukerkontohavere, brukeridentiteter og tjenestekontohavere. Den anbefalte godkjenningsmodusen for interaktivt arbeid på lageret er CLI (kommandolinjegrensesnitt) og bruker tjenestekontohavere for automatisering.
Se gjennom kommandoene for T-SQL (Transact-SQL) som ikke støttes i Synapse Data Warehouse i Microsoft Fabric.
Noen T-SQL-kommandoer, for eksempel ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_renamestøttes av dbt-fabric-adapter ved hjelp av Create Table as Select (CTAS) DROP og CREATE kommandoer.
Se gjennom datatyper som ikke støttes , for å lære om datatypene som støttes og ikke støttes.
Du kan logge problemer på dbt-fabric adapter ved å besøke Problemer · microsoft / dbt-stoff · GitHub.