Kurz: Nastavení dbt pro datový sklad Fabric

platí pro:✅ Warehouse v Microsoft Fabric

Tento kurz vás provede nastavením dbt a nasazením prvního projektu do skladu Fabric.

Introduction

Open source architektura dbt (Data Build Tool) zjednodušuje transformaci a analýzu dat. Zaměřuje se na transformace založené na SQL v rámci analytické vrstvy a zpracovává SQL jako kód. dbt podporuje správu verzí, modularizaci, testování a dokumentaci.

Adaptér dbt pro Microsoft Fabric lze použít k vytvoření projektů dbt, které je pak možné nasadit do datového skladu Fabric.

Cílovou platformu pro projekt dbt můžete také změnit jednoduše změnou adaptéru, například projekt vytvořený pro dedikovaný SQL pool Azure Synapse lze během několika sekund upgradovat na Fabric Data Warehouse.

Požadavky na adaptér dbt pro Microsoft Fabric

Podle tohoto seznamu nainstalujte a nastavte požadavky dbt:

  1. Python verze 3.7 (nebo vyšší)

  2. Ovladač Microsoft ODBC pro SQL Server.

  3. Nejnovější verze adaptéru dbt-fabric z úložiště PyPI (Python Package Index) pomocí pip install dbt-fabric.

    pip install dbt-fabric

    Poznámka

    Změnou pip install dbt-fabric na pip install dbt-synapse a použitím následujících pokynů můžete nainstalovat adaptér dbt pro vyhrazený fond Synapse SQL.

  4. Ověřte, že jsou pomocí příkazu pip list nainstalovány dbt-fabric a jeho závislosti.

    pip list

    Z tohoto příkazu by se měl vrátit dlouhý seznam balíčků a aktuálních verzí.

  5. Pokud ho ještě nemáte, vytvořte sklad. Pro toto cvičení můžete použít zkušební kapacitu: zaregistrujte si bezplatnou zkušební verzi Microsoft Fabric, vytvořte pracovní prostor a pak vytvořte sklad.

Začínáme s adaptérem dbt-fabric

Tento kurz používá Visual Studio Code, ale můžete použít preferovaný nástroj podle svého výběru.

  1. Naklonujte vzorový dbt projekt jaffle_shop do vašeho počítače.

    git clone https://github.com/dbt-labs/jaffle-shop-classic.git

  2. Otevřete složku projektu v editoru jaffle_shop Visual Studio Code.

    Snímek obrazovky z editoru Visual Studio Code zobrazující otevřený projekt

  3. Registraci můžete přeskočit, pokud jste už vytvořili sklad.

  4. Vytvořte soubor profiles.yml. Přidejte následující konfiguraci do profiles.yml. Tento soubor nakonfiguruje připojení k vašemu skladu v Microsoft Fabric pomocí adaptéru dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Poznámka

    Změňte položku type z fabric na synapse a přepněte adaptér databáze na Azure Synapse Analytics, pokud si přejete. Datovou platformu libovolného existujícího projektu dbt je možné aktualizovat změnou adaptéru databáze. Další informace najdete v seznamu dbt podporovaných datových platforem.

  5. Ověřte se v Azure v terminálu editoru Visual Studio Code.

  6. Teď jste připraveni otestovat připojení. Pokud chcete otestovat připojení k vašemu skladu, spusťte dbt debug ho v terminálu editoru Visual Studio Code.

    dbt debug

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro ladění dbt

    Všechny kontroly jsou úspěšné, což znamená, že můžete připojit sklad pomocí adaptéru jaffle_shop dbt-fabric z projektu dbt.

  7. Teď je čas otestovat, jestli adaptér funguje nebo ne. Nejprve spusťte dbt seed k vložení ukázkových dat do skladu.

    Snímek obrazovky z editoru Visual Studio Code zobrazující počáteční příkaz dbt

  8. Spusťte dbt run, abyste spustili modely definované v ukázkovém projektu dbt.

    dbt run

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro spuštění dbt

  9. Spusťte dbt test pro ověření dat pomocí některých testů.

    dbt test

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz dbt test

Nyní jste nasadili projekt dbt do datového skladu Fabric.

Přechod mezi různými sklady

Je to jednoduché přesunutí projektu dbt mezi různými sklady. Pomocí tohoto tří kroků je možné rychle migrovat projekt dbt v libovolném podporovaném skladu:

  1. Nainstalujte nový adaptér. Další informace a úplné pokyny k instalaci najdete v tématu adaptéry dbt.

  2. Aktualizujte type vlastnost v profiles.yml souboru.

  3. Zkompilujte projekt.

dbt ve službě Fabric Data Factory

Při integraci s Apache Airflow, oblíbeným systémem pro správu pracovních postupů, se dbt stává výkonným nástrojem pro orchestraci transformací dat. Funkce plánování a správy úkolů airflow umožňují datovým týmům automatizovat běhy dbt. Zajišťuje pravidelné aktualizace dat a udržuje konzistentní tok vysoce kvalitních dat pro analýzu a reporting. Tento kombinovaný přístup, využívající odborné znalosti transformace dbt se správou pracovních postupů Airflow, přináší efektivní a robustní datové pipeliny, což vede k rychlejším a lépe informovaným rozhodnutím založeným na datech.

Apache Airflow je opensourcová platforma používaná k programovému vytváření, plánování a monitorování složitých datových pracovních postupů. Umožňuje definovat sadu úloh označovaných jako operátory, které se dají kombinovat do směrovaných acyklických grafů (DAG), které představují kanály.

Další informace o zprovoznění dbt s vaším skladem najdete v tématu Transformace dat pomocí dbt se službou Data Factory v Microsoft Fabric.

Úvahy

Důležité informace, které je potřeba vzít v úvahu při použití adaptéru dbt-fabric:

  • Projděte si aktuální omezení datových skladů Microsoft Fabric.

  • Fabric podporuje ověřování Microsoft Entra ID (dříve Azure Active Directory) pro hlavní objekty uživatelů, identity uživatelů a služební hlavní objekty. Doporučený režim ověřování pro interaktivní práci v datovém skladišti je rozhraní příkazového řádku (CLI) a použití servisních principálů pro automatizaci.

  • Projděte si příkazy T-SQL (Transact-SQL), které nejsou v Datovém skladu Fabric podporované.

  • Některé příkazy T-SQL jsou podporovány adaptérem dbt-fabric pomocí Create Table as Select (CTAS), DROP, a CREATE příkazu, například ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Projděte si nepodporované datové typy a seznamte se s podporovanými a nepodporovanými datovými typy.

  • Problémy s adaptérem dbt-fabric na GitHubu můžete protokolovat tak, že navštívíte problémy · microsoft/dbt-fabric · GitHub.

Další krok

Zpracování dat s využitím dbt a Data Factory v Microsoft Fabric

Související obsah

  • Last updated on