Condividi tramite


Esercitazione: Configurare dbt per Fabric Data Warehouse

si applica a:✅ Magazzino di dati in Microsoft Fabric

Questa esercitazione ti guida nella configurazione di dbt e nella distribuzione del tuo primo progetto in una Fabric Warehouse.

Introduction

Il framework open source dbt (Strumento di compilazione dati) semplifica la trasformazione dei dati e la progettazione dell'analisi. Si concentra sulle trasformazioni basate su SQL all'interno del livello di analisi, considerando SQL come codice. dbt supporta il controllo della versione, la modularizzazione, il test e la documentazione.

L'adapter dbt per Microsoft Fabric può essere usato per creare progetti dbt, che possono quindi essere distribuiti in un data warehouse di Fabric.

È anche possibile modificare la piattaforma di destinazione per il progetto dbt semplicemente modificando l'adattatore, ad esempio; Un progetto creato per il pool SQL dedicato di Azure Synapse può essere aggiornato in pochi secondi a un'istanza di Fabric Data Warehouse.

Prerequisiti per l'adapter dbt per Microsoft Fabric

Seguire questo elenco per installare e configurare i prerequisiti dbt:

  1. Python versione 3.7 (o successiva).

  2. Microsoft ODBC Driver per SQL Server.

  3. Versione più recente dell'adattatore dbt-fabric dal repository PyPI (Indice pacchetti Python) utilizzando pip install dbt-fabric.

    pip install dbt-fabric
    

    Note

    Cambiare pip install dbt-fabric in pip install dbt-synapse e, utilizzando le istruzioni seguenti, è possibile installare l'adapter dbt per il pool SQL dedicato di Synapse.

  4. Assicurarsi di verificare che dbt-fabric e le relative dipendenze siano installati tramite il pip list comando :

    pip list
    

    Un lungo elenco dei pacchetti e delle versioni correnti deve essere restituito da questo comando.

  5. Se non ne hai già uno, crea un magazzino. È possibile usare la capacità di valutazione per questo esercizio: iscriversi alla versione di valutazione gratuita di Microsoft Fabric, creare un'area di lavoro e quindi creare un magazzino.

Introduzione all'adapter dbt-fabric

Questa esercitazione usa Visual Studio Code, ma è possibile usare lo strumento di vostra scelta.

  1. Clonare il progetto demo dbt jaffle_shop nel computer.

    git clone https://github.com/dbt-labs/jaffle-shop-classic.git
    
  2. Aprire la cartella del jaffle_shop progetto in Visual Studio Code.

    Screenshot di Visual Studio Code che mostra il progetto aperto.

  3. Se è già stato creato un warehouse, è possibile ignorare l'iscrizione.

  4. Creare un file profiles.yml. Aggiungere la configurazione seguente a profiles.yml. Questo file configura la connessione al warehouse in Microsoft Fabric usando l'adapter dbt-fabric.

    config:
      partial_parse: true
    jaffle_shop:
      target: fabric-dev
      outputs:    
        fabric-dev:
          authentication: CLI
          database: <put the database name here>
          driver: ODBC Driver 18 for SQL Server
          host: <enter your SQL analytics endpoint here>
          schema: dbo
          threads: 4
          type: fabric
    

    Note

    Modificare il type da fabric a synapse per passare l'adattatore di database ad Azure Synapse Analytics, se desiderato. È possibile aggiornare qualsiasi piattaforma dati del progetto dbt esistente modificando l'adattatore di database. Per altre informazioni, vedere l'elenco dbt delle piattaforme dati supportate.

  5. Eseguire l'autenticazione in Azure nel terminale di Visual Studio Code.

  6. A questo momento si è pronti per testare la connettività. Per testare la connettività al warehouse, eseguire dbt debug nel terminale di Visual Studio Code.

    dbt debug
    

    Screenshot di Visual Studio Code che mostra il comando dbt debug.

    Tutti i controlli sono superati, il che significa che è possibile connettere il magazzino usando l'adattatore dbt-fabric dal progetto dbt jaffle_shop.

  7. È ora possibile verificare se l'adattatore funziona o meno. Eseguire prima dbt seed per inserire dati di esempio nel magazzino.

    Screenshot da Visual Studio Code che mostra il comando dbt seed.

  8. Eseguire dbt run per eseguire i modelli definiti nel progetto demo dbt.

    dbt run
    

    Screenshot di Visual Studio Code che mostra un comando dbt run.

  9. Eseguire dbt test per convalidare i dati in base ad alcuni test.

    dbt test
    

    Screenshot di Visual Studio Code che mostra il comando di test dbt.

È stato ora distribuito un progetto dbt in Fabric Data Warehouse.

Spostarsi tra magazzini diversi

È semplice spostare il progetto dbt tra magazzini diversi. È possibile eseguire rapidamente la migrazione di un progetto dbt in qualsiasi warehouse supportato con questo processo in tre passaggi:

  1. Installare la nuova scheda. Per altre informazioni e istruzioni di installazione complete, vedere adapter dbt.

  2. Aggiornare la type proprietà nel profiles.yml file.

  3. Costruisci il progetto.

dbt in Fabric Data Factory

Se integrato con Apache Airflow, un sistema di gestione dei flussi di lavoro diffuso, dbt diventa uno strumento potente per orchestrare le trasformazioni dei dati. Le funzionalità di pianificazione e gestione delle attività di Airflow consentono ai team di dati di automatizzare le esecuzioni dbt. Garantisce aggiornamenti regolari dei dati e mantiene un flusso coerente di dati di alta qualità per l'analisi e la creazione di report. Questo approccio combinato, usando l'esperienza di trasformazione di dbt con la gestione del flusso di lavoro di Airflow, offre pipeline efficienti e affidabili, portando infine a decisioni più rapide e dettagliate basate sui dati.

Apache Airflow è una piattaforma open source usata per creare, pianificare e monitorare flussi di lavoro di dati complessi a livello di codice. Consente di definire un set di attività, denominate operatori, che possono essere combinati in grafici aciclici diretti (DAG) per rappresentare le pipeline.

Per altre informazioni sull'operazionalizzazione di dbt con il warehouse, vedere Trasformare i dati usando dbt con Data Factory in Microsoft Fabric.

Considerations

Aspetti importanti da considerare quando si usa l'adapter dbt-fabric:

  • Esaminare le limitazioni correnti del data warehousing di Microsoft Fabric.

  • Fabric supporta l'autenticazione di Microsoft Entra ID (in precedenza Azure Active Directory) per le entità utente, le identità utente e le entità servizio. La modalità di autenticazione consigliata per lavorare in modo interattivo nel data warehouse è l'uso di CLI (interfaccia della riga di comando) e delle entità servizio per l'automazione.

  • Esaminare i comandi T-SQL (Transact-SQL) non supportati nel Fabric Data Warehouse.

  • Alcuni comandi T-SQL sono supportati dall'adapter dbt-fabric usando Create Table as Select (CTAS), DROPe CREATE comandi, ad esempio ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, . sp_rename

  • Vedere Tipi di dati non supportati per informazioni sui tipi di dati supportati e non supportati.

  • È possibile registrare i problemi nell'adapter dbt-fabric in GitHub visitando Problemi · microsoft/dbt-fabric · GitHub.

Passo successivo