Útmutató: A dbt beállítása a Fabric Data Warehouse-hoz

A következőre vonatkozik:✅ Warehouse a Microsoft Fabricben

Ez az oktatóanyag végigvezeti a dbt beállításán és az első projekt Fabric Warehouse-on való üzembe helyezésén.

Bevezetés

A dbt (Data Build Tool) nyílt forráskódú keretrendszer leegyszerűsíti az adatátalakítást és az elemzési tervezést. Az elemzési rétegen belüli SQL-alapú átalakításokra összpontosít, és kódként kezeli az SQL-t. A dbt támogatja a verziókövetést, a modularizálást, a tesztelést és a dokumentációt.

A Microsoft Fabric adatbázis-adapterével dbt-projektek hozhatók létre, amelyek aztán üzembe helyezhetők egy Fabric-adattárházban.

A dbt-projekt célplatformjának módosításához például egyszerűen módosítsa az adaptert; Az Azure Synapse dedikált SQL-készletéhez készült projekt néhány másodperc alatt frissíthető Fabric Data Warehouse-ra.

A Microsoft Fabric dbt-adapterének előfeltételei

Kövesse ezt a listát a dbt előfeltételeinek telepítéséhez és beállításához:

1. A Python 3.7-es (vagy újabb) verziója.

2. Az SQL Serverhez készült Microsoft ODBC-illesztőprogram.

3. A dbt-fabric adapter legújabb verziója a PyPI (Python csomagindex) adattárból származik, pip install dbt-fabric használatával.

   pip install dbt-fabric
   

   Feljegyzés

   Az pip install dbt-fabricpip install dbt-synapse értékre történő megváltoztatásával és az alábbi utasítások használatával telepítheti a dedikált Synapse SQL tároló adatbázis-adapterét.

4. Győződjön meg arról, hogy a dbt-fabric és függőségei telepítve vannak a parancs használatával pip list :

   pip list
   

   A parancsból a csomagok és az aktuális verziók hosszú listáját kell visszaadni.

5. Ha még nem rendelkezik ilyenrel, hozzon létre egy raktárat. Ehhez a gyakorlathoz használhatja a próbakapacitást: regisztráljon a Microsoft Fabric ingyenes próbaverziójára, hozzon létre egy munkaterületet, majd hozzon létre egy raktárat.

A dbt-fabric adapter használatának első lépései

Ez az oktatóanyag a Visual Studio Code-ot használja, de használhatja a kívánt eszközt.

1. Klónozza a jaffle_shop demó dbt-projektet a gépére.

   • A Visual Studio Code beépített forrásvezérlőjével klónozhat adattárat.
   • Vagy használhatja például a git clone következő parancsot:

   git clone https://github.com/dbt-labs/jaffle-shop-classic.git
   

2. Nyissa meg a jaffle_shop projektmappát a Visual Studio Code-ban.

   

3. Ha már létrehozott egy Raktárt, kihagyhatja a regisztrációt.

4. Hozzon létre egy profiles.yml fájlt. Adja hozzá a következő konfigurációt profiles.yml-hez. Ez a fájl a dbt-fabric adapterrel konfigurálja a kapcsolatot a Microsoft Fabricben lévő raktárral.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Feljegyzés

   Ha szeretné, módosítsa az type-t fabric-ről synapse-re az adatbázis-adapter Azure Synapse Analyticsre való átváltásához. Az adatbázis-adapter módosításával bármely meglévő DBT-projekt adatplatformja frissíthető. További információkért tekintse meg a támogatott adatplatformok adatbázis-listáját.

5. Hitelesítse magát az Azure-ban a Visual Studio Code termináljában.

   • Futtassa a(z) az login parancsot a Visual Studio Code terminálban, ha Azure CLI-hitelesítést használ.
   • Szolgáltatásnév vagy más Microsoft Entra-azonosító (korábbi nevén Azure Active Directory)-hitelesítés a Microsoft Fabricben, tekintse meg a DBT (Data Build Tool) beállítását és a DBT-erőforráskonfigurációkat. További információ: Microsoft Entra-hitelesítés az SQL-hitelesítés alternatívaként a Microsoft Fabricben.

6. Most már készen áll a kapcsolat tesztelésére. A raktárhoz való kapcsolódás teszteléséhez futtassa dbt debug a Visual Studio Code terminálját.

   dbt debug
   

   

   Minden ellenőrzés sikeres, ami azt jelenti, hogy a dbt-fabric adapterrel csatlakoztathatja a raktárát a jaffle_shop dbt projektből.

7. Most ideje tesztelni, hogy az adapter működik-e vagy sem. Először futtassa dbt seed parancsot, hogy mintaadatokat illesszen be a raktárba.

   

8. Futtassa dbt run a demo dbt projektben definiált modelleket.

   dbt run
   

   

9. Futtassa a dbt test-t az adatok érvényesítéséhez bizonyos tesztek alapján.

   dbt test
   

   

Most üzembe helyezett egy dbt-projektet a Fabric Data Warehouse-ba.

Váltás különböző raktárak között

Egyszerűen áthelyezheti a dbt-projektet a különböző raktárak között. A támogatott raktárak adatbázisprojektje gyorsan migrálható ezzel a három lépéssel:

1. Telepítse az új adaptert. További információkért és a teljes telepítési utasításokért tekintse meg a dbt-adaptereket.

2. Frissítse a type tulajdonságot a profiles.yml fájlban.

3. Készítse el a projektet.

dbt a Fabric Data Factoryben

Ha integrálva van az Apache Airflow-nal, amely egy népszerű munkafolyamat-felügyeleti rendszer, a DBT hatékony eszköz lesz az adatátalakítások vezénylése érdekében. Az Airflow ütemezési és feladatkezelési képességei lehetővé teszik, hogy az adatcsoportok automatizálják a dbt-futtatásokat. Biztosítja a rendszeres adatfrissítéseket, és konzisztens módon biztosítja a kiváló minőségű adatok elemzését és jelentéskészítését. Ez az egyesített megközelítés, amely a DBT átalakítási szakértelmét használja az Airflow munkafolyamat-kezelésével, hatékony és robusztus folyamatokat biztosít, amelyek végső soron gyorsabb és éleslátóbb adatvezérelt döntéseket eredményeznek.

Az Apache Airflow egy nyílt forráskódú platform, amellyel programozott módon hozhat létre, ütemezhet és figyelhet összetett adat-munkafolyamatokat. Lehetővé teszi a folyamatok ábrázolására irányított aciklikus gráfokba (DAG-k) kombinálható feladatok, úgynevezett operátorok definiálását.

További információért arról, hogyan lehet a dbt-t működtetni a raktárával, lásd : Adatok átalakítása a dbt és a Data Factory használatával a Microsoft Fabricben.

Megfontolások

Fontos szempontok a dbt-fabric adapter használatakor:

• Nézd át a jelenlegi korlátozásokat Microsoft Fabric Data Warehouse-ben.

• A Fabric támogatja a Microsoft Entra ID (korábbi nevén Azure Active Directory) hitelesítést a felhasználói tagok, a felhasználói identitások és a szolgáltatásnevek esetében. A raktáron való interaktív munkavégzéshez ajánlott hitelesítési mód a parancssori felületek használata, és az automatizáláshoz szolgáltatási felhasználói fiókok alkalmazása.

• Tekintse át a Fabric Data Warehouse-ban nem támogatott T-SQL (Transact-SQL) parancsokat .

• Egyes T-SQL parancsokat a dbt-fabric adapter támogat, mint például a Create Table as Select (CTAS), DROP, és a CREATE parancsok, valamint a ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename parancsokat.

• A nem támogatott adattípusok áttekintésével megismerheti a támogatott és a nem támogatott adattípusokat.

• A GitHubon a dbt-fabric adapterhez kapcsolódva jelenthet be problémákat az Issues · microsoft/dbt-fabric · GitHub részben.

Következő lépés

Adatok átalakítása a Dbt és a Data Factory használatával a Microsoft Fabricben

Kapcsolódó tartalom

• Mi az a Fabric Data Warehouse?
• Oktatóanyag: Raktár létrehozása a Microsoft Fabricben
• Oktatóanyag: Adatok átalakítása tárolt eljárással