Condividi tramite

Esercitazione: Configurare dbt per Fabric Data Warehouse

  • Articolo

Si applica a: Warehouse in Microsoft Fabric

Questa esercitazione illustra come configurare dbt e distribuire il primo progetto in un'istanza di Fabric Warehouse.

Introduzione

Il framework open source dbt (Strumento di compilazione dati) semplifica la trasformazione dei dati e la progettazione dell'analisi. Si concentra sulle trasformazioni basate su SQL all'interno del livello di analisi, considerando SQL come codice. dbt supporta il controllo della versione, la modularizzazione, il test e la documentazione.

L'adapter dbt per Microsoft Fabric può essere usato per creare progetti dbt, che possono quindi essere distribuiti in un'istanza di Fabric Synapse Data Warehouse.

È anche possibile modificare la piattaforma di destinazione per il progetto dbt semplicemente modificando l'adattatore, ad esempio; Un progetto creato per il pool SQL dedicato di Azure Synapse può essere aggiornato in pochi secondi a un'istanza di Fabric Synapse Data Warehouse.

Prerequisiti per l'adapter dbt per Microsoft Fabric

Seguire questo elenco per installare e configurare i prerequisiti dbt:

  1. Python versione 3.7 (o successiva).

  2. Microsoft ODBC Driver per SQL Server.

  3. Versione più recente dell'adapter dbt-fabric dal repository PyPI (Indice pacchetti Python) usando pip install dbt-fabric.

    pip install dbt-fabric

    Nota

    Se si passa pip install dbt-fabric a pip install dbt-synapse e usando le istruzioni seguenti, è possibile installare l'adapter dbt per il pool SQL dedicato di Synapse.

  4. Assicurarsi di verificare che dbt-fabric e le relative dipendenze siano installati tramite il pip list comando :

    pip list

    Un lungo elenco dei pacchetti e delle versioni correnti deve essere restituito da questo comando.

  5. Se non è già disponibile, creare un warehouse. È possibile usare la capacità di valutazione per questo esercizio: iscriversi alla versione di valutazione gratuita di Microsoft Fabric, creare un'area di lavoro e quindi creare un magazzino.

Introduzione all'adapter dbt-fabric

Questa esercitazione usa Visual Studio Code, ma è possibile usare lo strumento preferito preferito.

  1. Clonare il progetto demo dbt jaffle_shop nel computer.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Aprire la cartella del jaffle_shop progetto in Visual Studio Code.

    Screenshot di Visual Studio Code che mostra il progetto aperto.

  3. Se è già stato creato un warehouse, è possibile ignorare l'iscrizione.

  4. Creare un file profiles.yml . Aggiungere la configurazione seguente a profiles.yml. Questo file configura la connessione al warehouse in Microsoft Fabric usando l'adapter dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Nota

    Modificare da fabric a synapse per passare l'adattatore type di database ad Azure Synapse Analytics, se necessario. È possibile aggiornare qualsiasi piattaforma dati del progetto dbt esistente modificando l'adattatore di database. Per altre informazioni, vedere l'elenco dbt delle piattaforme dati supportate.

  5. Eseguire l'autenticazione in Azure nel terminale di Visual Studio Code.

    • Eseguire az login nel terminale di Visual Studio Code se si usa l'autenticazione dell'interfaccia della riga di comando di Azure.
    • Per l'entità servizio o un altro ID Microsoft Entra (in precedenza Azure Active Directory) autenticazione in Microsoft Fabric, fare riferimento alla configurazione di dbt (Strumento di compilazione dati) e alle configurazioni delle risorse dbt.

  6. A questo momento si è pronti per testare la connettività. Per testare la connettività al warehouse, eseguire dbt debug nel terminale di Visual Studio Code.

    dbt debug

    Screenshot di Visual Studio Code che mostra il comando dbt debug.

    Tutti i controlli vengono passati, il che significa che è possibile connettere il warehouse usando l'adattatore dbt-fabric dal jaffle_shop progetto dbt.

  7. È ora possibile verificare se l'adattatore funziona o meno. Prima esecuzione dbt seed per inserire dati di esempio nel warehouse.

    Screenshot di Visual Studio Code che mostra un comando dbt seed.

  8. Eseguire dbt run per convalidare i dati in base ad alcuni test.

    dbt run

    Screenshot di Visual Studio Code che mostra un comando dbt run.

  9. Eseguire dbt test per eseguire i modelli definiti nel progetto demo dbt.

    dbt test

    Screenshot di Visual Studio Code che mostra un comando dbt test.

È stato ora distribuito un progetto dbt in Synapse Data Warehouse in Fabric.

Spostarsi tra magazzini diversi

È semplice spostare il progetto dbt tra magazzini diversi. È possibile eseguire rapidamente la migrazione di un progetto dbt in qualsiasi warehouse supportato con questo processo in tre passaggi:

  1. Installare la nuova scheda. Per altre informazioni e istruzioni di installazione complete, vedere adapter dbt.

  2. Aggiornare la type proprietà nel profiles.yml file.

  3. Compilare il progetto.

Considerazioni

Aspetti importanti da considerare quando si usa l'adapter dbt-fabric:

  • Esaminare le limitazioni correnti del data warehousing di Microsoft Fabric.

  • Fabric supporta l'autenticazione di Microsoft Entra ID (in precedenza Azure Active Directory) per le entità utente, le identità utente e le entità servizio. La modalità di autenticazione consigliata per lavorare in modo interattivo nel warehouse è l'interfaccia della riga di comando (interfacce della riga di comando) e l'uso delle entità servizio per l'automazione.

  • Esaminare i comandi T-SQL (Transact-SQL) non supportati in Synapse Data Warehouse in Microsoft Fabric.

  • Alcuni comandi T-SQL sono supportati dall'adapter dbt-fabric usando Create Table as Select (CTAS), DROPe CREATE comandi, ad esempio ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, . sp_rename

  • Vedere Tipi di dati non supportati per informazioni sui tipi di dati supportati e non supportati.

  • È possibile registrare i problemi nell'adapter dbt-fabric visitando Problemi · microsoft/dbt-fabric · GitHub.

Contenuto correlato