Kurz: Nastavení dbt pro datový sklad Fabric

Platí pro: Warehouse v Microsoft Fabric

Tento kurz vás provede nastavením dbt a nasazením prvního projektu do skladu Fabric.

Úvod

Open source architektura dbt (Data Build Tool) zjednodušuje transformaci a analýzu dat. Zaměřuje se na transformace založené na SQL v rámci analytické vrstvy a zpracovává SQL jako kód. dbt podporuje správu verzí, modularizaci, testování a dokumentaci.

Adaptér dbt pro Microsoft Fabric lze použít k vytvoření projektů dbt, které je pak možné nasadit do datového skladu Synapse Fabric.

Cílovou platformu pro projekt dbt můžete také změnit jednoduše změnou adaptéru, například; Projekt vytvořený pro vyhrazený fond SQL Azure Synapse je možné během několika sekund upgradovat na datový sklad Synapse Fabric.

Požadavky na adaptér dbt pro Microsoft Fabric

Podle tohoto seznamu nainstalujte a nastavte požadavky dbt:

1. Python verze 3.7 (nebo vyšší)

2. Ovladač Microsoft ODBC pro SQL Server.

3. Nejnovější verze adaptéru dbt-fabric z úložiště PyPI (Python Package Index) pomocí pip install dbt-fabric.

   pip install dbt-fabric
   

   Poznámka:

   pip install dbt-fabric Změnou na pip install dbt-synapse a pomocí následujících pokynů můžete nainstalovat adaptér dbt pro vyhrazený fond SYNApse SQL.

4. Pomocí příkazu ověřte, že jsou nainstalovány pip list dbt-fabric a jeho závislosti:

   pip list
   

   Z tohoto příkazu by se měl vrátit dlouhý seznam balíčků a aktuálních verzí.

5. Pokud ho ještě nemáte, vytvořte sklad. Pro toto cvičení můžete použít zkušební kapacitu: zaregistrujte si bezplatnou zkušební verzi Microsoft Fabric, vytvořte pracovní prostor a pak vytvořte sklad.

Začínáme s adaptérem dbt-fabric

Tento kurz používá Visual Studio Code, ale můžete použít preferovaný nástroj podle svého výběru.

1. Naklonujte projekt dbt ukázky jaffle_shop do počítače.

   • Úložiště můžete naklonovat pomocí integrované správy zdrojového kódu editoru Visual Studio Code.
   • Nebo můžete použít git clone příkaz:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. Otevřete složku projektu v editoru jaffle_shop Visual Studio Code.

   

3. Registraci můžete přeskočit, pokud jste už vytvořili sklad.

4. Vytvořte soubor profiles.yml. Přidejte do souboru profiles.yml. Tento soubor nakonfiguruje připojení k vašemu skladu v Microsoft Fabric pomocí adaptéru dbt-fabric.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Poznámka:

   type fabric synapse V případě potřeby přepněte adaptér databáze na Azure Synapse Analytics. Datovou platformu libovolného existujícího projektu dbt je možné aktualizovat změnou adaptéru databáze. Další informace najdete v seznamu dbt podporovaných datových platforem.

5. Ověřte se v Azure v terminálu editoru Visual Studio Code.

   • Pokud používáte ověřování Azure CLI, spusťte az login ho v terminálu editoru Visual Studio Code.
   • Informace o instančním objektu nebo jiném ověřování Microsoft Entra ID (dříve Azure Active Directory) v Microsoft Fabric najdete v nastavení dbt (nástroj pro sestavení dat) a konfiguraci prostředků dbt.

6. Teď jste připraveni otestovat připojení. Pokud chcete otestovat připojení k vašemu skladu, spusťte dbt debug ho v terminálu editoru Visual Studio Code.

   dbt debug
   

   

   Všechny kontroly jsou úspěšné, což znamená, že můžete připojit sklad pomocí adaptéru jaffle_shop dbt-fabric z projektu dbt.

7. Teď je čas otestovat, jestli adaptér funguje nebo ne. Nejprve spusťte dbt seed vložení ukázkových dat do skladu.

   

8. Spuštěním ověřte dbt run data v některých testech.

   dbt run
   

   

9. Spuštěním spusťte dbt test modely definované v ukázkovém projektu dbt.

   dbt test
   

   

Nyní jste nasadili projekt dbt do datového skladu Synapse v prostředcích infrastruktury.

Přechod mezi různými sklady

Je to jednoduché přesunutí projektu dbt mezi různými sklady. Pomocí tohoto tří kroků je možné rychle migrovat projekt dbt v libovolném podporovaném skladu:

1. Nainstalujte nový adaptér. Další informace a úplné pokyny k instalaci najdete v tématu adaptéry dbt.

2. Aktualizujte type vlastnost v profiles.yml souboru.

3. Sestavte projekt.

Důležité informace

Důležité informace, které je potřeba vzít v úvahu při použití adaptéru dbt-fabric:

• Projděte si aktuální omezení datových skladů Microsoft Fabric.

• Prostředky infrastruktury podporují ověřování Microsoft Entra ID (dříve Azure Active Directory) pro objekty zabezpečení uživatele, identity uživatelů a instanční objekty. Doporučený režim ověřování pro interaktivní práci na skladu je rozhraní příkazového řádku (rozhraní příkazového řádku) a použití instančních objektů pro automatizaci.

• Projděte si příkazy T-SQL (Transact-SQL) nepodporované ve službě Synapse Data Warehouse v Microsoft Fabric.

• Některé příkazy T-SQL podporují adaptér dbt-fabric pomocí Create Table as Select (CTAS) DROPa CREATE příkazy, například ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

• Projděte si nepodporované datové typy a seznamte se s podporovanými a nepodporovanými datovými typy.

• Problémy s adaptérem dbt-fabric můžete protokolovat tak , že navštívíte problémy · microsoft/dbt-fabric · GitHub.

Související obsah

• Co jsou datové sklady v Microsoft Fabric?
• Kurz: Vytvoření skladu v Microsoft Fabric
• Kurz: Transformace dat pomocí uložené procedury