Partilhar via

Tutorial: Configurar o dbt para o Fabric Data Warehouse

  • Artigo

Aplica-se a: Armazém no Microsoft Fabric

Este tutorial orienta você na configuração do dbt e na implantação do seu primeiro projeto em um Fabric Warehouse.

Introdução

A estrutura de código aberto dbt (Data Build Tool) simplifica a transformação de dados e a engenharia de análise. Ele se concentra em transformações baseadas em SQL dentro da camada de análise, tratando SQL como código. O DBT suporta controle de versão, modularização, testes e documentação.

O adaptador dbt para Microsoft Fabric pode ser usado para criar projetos dbt, que podem ser implantados em um Fabric Synapse Data Warehouse.

Você também pode alterar a plataforma de destino para o projeto dbt simplesmente alterando o adaptador, por exemplo; um projeto criado para o pool SQL dedicado do Azure Synapse pode ser atualizado em poucos segundos para um Fabric Synapse Data Warehouse.

Pré-requisitos para o adaptador dbt para Microsoft Fabric

Siga esta lista para instalar e configurar os pré-requisitos dbt:

  1. Python versão 3.7 (ou superior).

  2. O driver ODBC da Microsoft para SQL Server.

  3. Versão mais recente do adaptador dbt-fabric do repositório PyPI (Python Package Index) usando pip install dbt-fabric.

    pip install dbt-fabric

    Nota

    Alterando pip install dbt-fabric e pip install dbt-synapse usando as instruções a seguir, você pode instalar o adaptador dbt para o pool SQL dedicado Synapse.

  4. Certifique-se de verificar se dbt-fabric e suas dependências estão instalados usando o pip list comando:

    pip list

    Uma longa lista dos pacotes e versões atuais deve ser retornada a partir deste comando.

  5. Se ainda não tiver um, crie um Armazém. Você pode usar a capacidade de avaliação para este exercício: inscreva-se na avaliação gratuita do Microsoft Fabric, crie um espaço de trabalho e, em seguida , crie um depósito.

Introdução ao adaptador dbt-fabric

Este tutorial usa o Visual Studio Code, mas você pode usar sua ferramenta preferida de sua escolha.

  1. Clone o projeto dbt de demonstração jaffle_shop em sua máquina.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Abra a pasta do jaffle_shop projeto no Visual Studio Code.

    Captura de tela do Visual Studio Code, mostrando o projeto aberto.

  3. Pode ignorar a inscrição se já tiver criado um Armazém.

  4. Crie um ficheiro profiles.yml. Adicione a seguinte configuração ao profiles.yml. Esse arquivo configura a conexão com seu depósito no Microsoft Fabric usando o adaptador dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Nota

    Altere o type de para synapse para alternar o adaptador de fabric banco de dados para o Azure Synapse Analytics, se desejado. Qualquer plataforma de dados existente do projeto dbt pode ser atualizada alterando o adaptador de banco de dados. Para obter mais informações, consulte a lista dbt de plataformas de dados suportadas.

  5. Autentique-se no Azure no terminal do Visual Studio Code.

    • Execute az login no terminal de código do Visual Studio se você estiver usando a autenticação da CLI do Azure.
    • Para obter a autenticação da Entidade de Serviço ou outra autenticação do Microsoft Entra ID (anteriormente Azure Ative Directory) no Microsoft Fabric, consulte a configuração dbt (Data Build Tool) e as Configurações de Recursos dbt.

  6. Agora você está pronto para testar a conectividade. Para testar a conectividade com seu depósito, execute dbt debug no terminal do Visual Studio Code.

    dbt debug

    Captura de tela do Visual Studio Code, mostrando o comando dbt debug.

    Todas as verificações são passadas, o que significa que você pode conectar seu armazém usando o adaptador dbt-fabric do jaffle_shop projeto dbt.

  7. Agora, é hora de testar se o adaptador está funcionando ou não. Primeira execução dbt seed para inserir dados de amostra no armazém.

    Captura de tela do Visual Studio Code, mostrando um comando dbt seed.

  8. Execute dbt run para validar dados em relação a alguns testes.

    dbt run

    Captura de tela do Visual Studio Code, mostrando um comando dbt run.

  9. Execute dbt test para executar os modelos definidos no projeto dbt de demonstração.

    dbt test

    Captura de tela do Visual Studio Code, mostrando um comando dbt test.

Agora você implantou um projeto dbt no Synapse Data Warehouse no Fabric.

Deslocar-se entre armazéns diferentes

É simples mover o projeto dbt entre diferentes armazéns. Um projeto dbt em qualquer armazém suportado pode ser migrado rapidamente com este processo de três etapas:

  1. Instale o novo adaptador. Para obter mais informações e instruções de instalação completas, consulte dbt adapters.

  2. Atualize a type profiles.yml propriedade no arquivo.

  3. Compilar o projeto.

Considerações

Coisas importantes a considerar ao usar o adaptador dbt-fabric:

  • Analise as limitações atuais no armazenamento de dados do Microsoft Fabric.

  • O Fabric dá suporte à autenticação Microsoft Entra ID (anteriormente Azure Ative Directory) para entidades de usuário, identidades de usuário e entidades de serviço. O modo de autenticação recomendado para trabalhar interativamente no armazém é CLI (interfaces de linha de comando) e usar entidades de serviço para automação.

  • Analise os comandos T-SQL (Transact-SQL) não suportados no Synapse Data Warehouse no Microsoft Fabric.

  • Alguns comandos T-SQL são suportados pelo adaptador dbt-fabric usando Create Table as Select (CTAS), DROPe CREATE comandos, como ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, , TRUNCATEsp_rename.

  • Reveja os tipos de dados sem suporte para saber mais sobre os tipos de dados suportados e não suportados.

  • Você pode registrar problemas no adaptador dbt-fabric visitando Problemas · microsoft/dbt-fabric · GitHub.

Conteúdos relacionados