Opetusohjelma: Fabric-tietovaraston dbt:n määrittäminen

Koskee:✅ Microsoft Fabric -varasto

Tämä opetusohjelma opastaa sinua dbt:n määrittämisessä ja ensimmäisen projektisi käyttöönotossa Fabric Warehousessa.

Esittely

Avoimen lähdekoodin dbt (Data Build Tool) -sovelluskehys yksinkertaistaa tietojen muuntamista ja analytiikan suunnittelua. Se keskittyy SQL-pohjaisiin muunnoksiin analytiikkatasolla ja käsittelee SQL:ää koodina. dbt tukee versionhallintaa, modulaarista testausta ja dokumentaatiota.

Microsoft Fabric -tietokannan sovittimen avulla voidaan luoda dbt-projekteja, jotka voidaan sitten ottaa käyttöön Fabric Synapse -tietovarastossa.

Voit myös muuttaa dbt-projektin kohdeympäristöä vaihtamalla esimerkiksi sovitinta. erillisen SQL-varannon Azure Synapse luotu projekti voidaan päivittää muutamassa sekunnissa Fabric Synapse Data Warehouseksi.

Microsoft Fabric -dbt-sovittimen edellytykset

Asenna ja määritä dbt-edellytykset noudattamalla tätä luetteloa:

1. Python-versio 3.7 (tai uudempi)

2. Microsoft ODBC Driver for SQL Server.

3. Dbt-fabric-sovittimen uusin versio PyPI (Python Package Index) -säilöstä käyttämällä -säilöäpip install dbt-fabric.

   pip install dbt-fabric
   

   Muistiinpano

   Vaihtamalla pip install dbt-fabric pip install dbt-synapse kohtaan ja noudattamalla seuraavia ohjeita voit asentaa Synapse-varatun SQL-varannon dbt-sovittimen.

4. Varmista, että dbt-fabric ja sen riippuvuudet on asennettu komennolla pip list :

   pip list
   

   Tästä komennosta on palautettava pitkä luettelo paketeista ja nykyisistä versioista.

5. Jos sinulla ei vielä ole sellaista, luo Varasto. Voit käyttää kokeilukapasiteettia tässä harjoituksessa: rekisteröidy ilmaiseen Microsoft Fabric -kokeiluversioon, luo työtila ja luo sitten varasto.

Dbt-fabric-sovittimen käytön aloittaminen

Tässä opetusohjelmassa käytetään Visual Studio Codea, mutta voit käyttää haluamaasi työkalua.

1. Kloonaa jaffle_shop esittelydbt -projekti tietokoneeseesi.

   • Voit kloonata säilön Visual Studio Coden sisäisellä lähdeohjausobjektilla.
   • Voit myös käyttää -komentoa git clone :

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. jaffle_shop Avaa projektikansio Visual Studio Codessa.

   

3. Voit ohittaa rekisteröitymisen, jos olet jo luonut Warehousen.

4. profiles.yml Luo tiedosto. Lisää seuraava määritys kohteeseen profiles.yml. Tämä tiedosto määrittää yhteyden Microsoft Fabric varastoosi dbt-fabric-sovittimen avulla.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Muistiinpano

   Vaihda arvo arvolla type fabric arvoon synapse tietokantasovitin ja vaihda se tarvittaessa Azure Synapse Analyticsiin. Minkä tahansa olemassa olevan dbt-projektin tietoympäristön voi päivittää muuttamalla tietokannan sovitinta. Lisätietoja on dbt-luettelossa tuetuista tietoympäristöistä.

5. Todenna itsesi Azureen Visual Studio Code -päätteessä.

   • Suorita az login Visual Studio Code -päätteessä, jos käytät Azure-komentorivikäyttöliittymän todennusta.
   • Jos kyseessä on palvelun päänimi tai muu Microsoft Entra -tunnus (aiemmin Azure Active Directory) -todennus Microsoft Fabricissa, katso dbt (tietojen koontityökalun) asennus ja resurssimääritykset. Jos haluat lisätietoja, katso Microsoft Entra -todentaminen vaihtoehtona SQL-todennukselle Microsoft Fabricissa.

6. Nyt olet valmis testaamaan yhteyksiä. Jos haluat testata yhdistettävyyttä varastoosi, suorita dbt debug Visual Studio Code -päätteessä.

   dbt debug
   

   

   Kaikki tarkastukset välitetään, mikä tarkoittaa sitä, että voit yhdistää varastosi Dbt-Fabric-sovittimen avulla dbt-projektista jaffle_shop .

7. Seuraavaksi on aika testata, toimiiko sovitin vai ei. dbt seed Suorita ensin mallitietojen lisääminen varastoon.

   

8. Suorita dbt run , jotta voit vahvistaa tiedot joissakin testeissä.

   dbt run
   

   

9. Suorita dbt test suorittaaksesi mallit, jotka on määritetty esittely-dbt-projektissa.

   dbt test
   

   

Olet nyt ottanut käyttöön dbt-projektin Synapse Data Warehouseen Fabricissa.

Siirry eri varastoista toiseen

Dbt-projektin siirtäminen eri varastojen välillä on yksinkertaista. Minkä tahansa tuetun varaston dbt-projekti voidaan siirtää nopeasti tämän kolmivaiheisen prosessin avulla:

1. Asenna uusi sovitin. Katso lisätietoja ja täydelliset asennusohjeet artikkelista Sovittimet.

2. type Päivitä -ominaisuus tiedostossaprofiles.yml.

3. Muodosta projekti.

dbt in Fabric Data Factory

Dbt on integroitu suositun työnkulun hallintajärjestelmän Apache Airflow'n kanssa, ja siitä tulee tehokas työkalu tietojen muunnosten järjestämiseen. Airflow'n ajoitus- ja tehtävienhallintaominaisuuksien avulla tietotiimit voivat automatisoida dbt-suorituksia. Se varmistaa säännölliset tietopäivitykset ja ylläpitää yhdenmukaista korkealaatuisten tietojen kulkua analysointia ja raportointia varten. Tämä yhdistetty lähestymistapa, jossa hyödynnetään Dbt:n muunnososaamista Airflow'n työnkulun hallinnan ansiosta, tarjoaa tehokkaita ja tehokkaita tietoputkia, mikä johtaa lopulta nopeampiin ja merkityksellisempiin tietoihin perustuviin päätöksiin.

Apache Airflow on avoimen lähdekoodin ympäristö, jolla voit ohjelmallisesti luoda, ajoittaa ja valvoa monimutkaisia tietotyönkulkuja. Sen avulla voit määrittää joukon tehtäviä, joita kutsutaan operaattoreiksi ja jotka voidaan yhdistää suunnattuihin asyklisiin kuvaajiin (DAG), jotka edustavat tietoputkia.

Lisätietoja tietokannan operationalisoimiseksi varaston avulla on kohdassa Tietojen muuntaminen tietokannalla Data Factoryn avulla Microsoft Fabricissa.

Huomioitavia seikkoja

Dbt-Fabric-sovittimen käytössä on otettava huomioon seuraavat tärkeät seikat:

• Tutustu Microsoft Fabric -tietovaraston tämänhetkisiin rajoituksiin.

• Fabric tukee Microsoft Entra ID:n (aiemmin Azure Active Directory) todentamista päänimille, käyttäjätieduksille ja palvelun päänimille. Suositeltu todennustila varaston vuorovaikutteiseen työskentelyyn on komentorivikäyttöliittymät ja palvelun päänimien käyttö automatisoinnissa.

• Tarkista T-SQL (Transact-SQL) -komennot, joita ei tueta Synapse Data Warehousessa Microsoft Fabricissa.

• Dbt-fabric-sovitin tukee joitakin T-SQL-komentoja (Create Table as SelectCTAS), DROPja CREATE komentoja, kuten ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE. sp_rename

• Tutustu tietotyyppeihin , joita ei tueta, ja tutustu tuettuihin tietotyyppeihin, joita ei tueta.

• Voit kirjata ongelmia GitHubin dbt-fabric-sovittimessa valitsemalla Ongelmat · microsoft/dbt-fabric · GitHubissa.

Seuraava vaihe

Tietojen muuntaminen dbt:n avulla Data Factoryn avulla Microsoft Fabricissa

Liittyvä sisältö

• Mitä on tietovarastointi Microsoft Fabricissa?
• Opetusohjelma: Luo varasto Microsoft Fabricissa
• Opetusohjelma: Tietojen muuntaminen tallennettua toimintosarjaa käyttämällä
• Lähteen hallinta Warehousen avulla