Esercitazione: Configurare dbt per Fabric Data Warehouse

  • Articolo

Si applica a: Warehouse in Microsoft Fabric

Questa esercitazione illustra come configurare dbt e distribuire il primo progetto in un magazzino di Azure Fabric Synapse.

Importante

Microsoft Fabric è in anteprima.

Introduzione

dbt (Strumento di compilazione dati) è un framework open source che semplifica la trasformazione dei dati e la progettazione dell'analisi. Si concentra sulle trasformazioni basate su SQL all'interno del livello di analisi, trattando SQL come codice. dbt supporta il controllo della versione, la modularizzazione, il test e la documentazione.

L'adapter dbt per Microsoft Fabric può essere usato per creare progetti dbt, che possono quindi essere distribuiti in un Data Warehouse di Fabric Synapse.

È anche possibile modificare la piattaforma di destinazione per il progetto dbt modificando semplicemente l'adattatore, ad esempio; un progetto compilato per Azure Synapse pool SQL dedicato può essere aggiornato in pochi secondi a un Data Warehouse fabric Synapse.

Prerequisiti per l'adapter dbt per Microsoft Fabric

Seguire questo elenco per installare e configurare i prerequisiti dbt:

  1. Python versione 3.7 (o successiva).

  2. Microsoft ODBC Driver per SQL Server.

  3. Versione più recente dell'adapter dbt-fabric dal repository PyPI (Python Package Index) usando pip install dbt-fabric.

    pip install dbt-fabric

    Nota

    Se si passa a e si usano le istruzioni seguenti, è possibile installare l'adapter dbt per il pool SQL dedicato di Synapse.pip install dbt-synapsepip install dbt-fabric

  4. Assicurarsi di verificare che dbt-fabric e le relative dipendenze siano installati tramite pip list il comando:

    pip list

    Un elenco lungo dei pacchetti e delle versioni correnti deve essere restituito da questo comando.

  5. Creare un magazzino se non è già stato fatto. È possibile usare la capacità di valutazione per questo esercizio: iscriversi alla versione di valutazione gratuita di Microsoft Fabric, creare un'area di lavoro e quindi creare un magazzino.

Introduzione all'adapter dbt-fabric

Questa esercitazione usa Visual Studio Code, ma è possibile usare lo strumento preferito a scelta.

  1. Clonare il progetto demo dbt dal https://github.com/dbt-labs/jaffle_shop computer.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Aprire la cartella del jaffle_shop progetto in Visual Studio Code.

    Screenshot di Visual Studio Code che mostra il progetto aperto.

  3. È possibile ignorare l'iscrizione se è già stato creato un warehouse.

  4. Creare un file profiles.yml . Aggiungere la configurazione seguente a profiles.yml. Questo file configura la connessione al magazzino in Microsoft Fabric usando l'adattatore dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your sql endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Nota

    Modificare l'oggetto type da fabric a synapse per passare alla scheda di database in Azure Synapse Analytics, se necessario. È possibile aggiornare qualsiasi piattaforma dati del progetto dbt esistente modificando l'adapter di database. Per altre informazioni, vedere l'elenco dbt delle piattaforme dati supportate.

  5. Eseguire l'autenticazione in Azure nel terminale di Visual Studio Code.

    • Eseguire az login nel terminale di Visual Studio Code se si usa l'autenticazione dell'interfaccia della riga di comando di Azure.
    • Per l'entità servizio o altre autenticazione di Azure Active Directory in Synapse Data Warehouse in Microsoft Fabric, vedere dbt (Strumento di compilazione dati) e dbt Resource Configurations.For Service Principal or other Azure Active Directory authentication to Synapse Data Warehouse in Microsoft Fabric, fare riferimento a dbt (Data Build Tool) setup and dbt Resource Configurations.

  6. A questo momento è possibile testare la connettività. Eseguire dbt debug nel terminale di Visual Studio Code per testare la connettività al magazzino.

    dbt debug

    Screenshot di Visual Studio Code che mostra il comando di debug dbt.

    Tutti i controlli vengono passati, il che significa che è possibile connettere il magazzino usando l'adattatore dbt-fabric dal progetto dbt jaffle_shop dbt.

  7. È ora possibile testare se l'adattatore funziona o meno. Prima esecuzione dbt seed per inserire i dati di esempio nel warehouse.

    Screenshot di Visual Studio Code che mostra un comando di inizializzazione dbt.

  8. Eseguire dbt test per eseguire i modelli definiti nel progetto demo dbt.

    dbt test

    Screenshot di Visual Studio Code che mostra un comando di test dbt.

  9. Eseguire dbt run per convalidare i dati in alcuni test.

    dbt run

    Screenshot di Visual Studio Code che mostra un comando di esecuzione dbt.

L'operazione è terminata. È stato ora distribuito un progetto dbt in Synapse Data Warehouse in Fabric.

Spostarsi tra magazzini diversi

È semplice spostare il progetto dbt tra diversi warehouse. È possibile eseguire rapidamente la migrazione di un progetto dbt in qualsiasi warehouse supportato con questo processo di tre passaggi:

  1. Installare la nuova scheda. Per altre informazioni e istruzioni di installazione complete, vedere schede dbt.

  2. Aggiornare la type proprietà nel profiles.yml file.

  3. Compilare il progetto.

Considerazioni

Aspetti importanti da considerare quando si usa l'adattatore dbt-fabric:

  • Esaminare le limitazioni correnti in Microsoft Fabric data warehousing.

  • Fabric supporta l'autenticazione di Azure Active Directory (Azure AD) per entità utente, identità utente e entità servizio. La modalità di autenticazione consigliata per lavorare in modo interattivo sul warehouse è l'interfaccia della riga di comando (interfacce della riga di comando) e usare le entità servizio per l'automazione.

  • Esaminare i comandi T-SQL (Transact-SQL) non supportati in Synapse Data Warehouse in Microsoft Fabric.

  • Alcuni comandi T-SQL, ad esempio ALTER TABLE ADD/ALTER/DROP COLUMN, MERGEsp_renameTRUNCATEsono supportati dall'adapter dbt-fabric usando Create Table as Select (CTAS) DROP e CREATE i comandi.

  • Esaminare i tipi di dati non supportati per informazioni sui tipi di dati supportati e non supportati.

  • È possibile registrare problemi nella scheda dbt-fabric visitando Problemi · microsoft/dbt-fabric · GitHub.

Passaggi successivi