trabalho de dbt no Microsoft Fabric (versão prévia)

Observação

Esse recurso está na versão prévia.

O trabalho dbt no Fabric traz o poder do dbt (Ferramenta de Construção de Dados) diretamente para a experiência do Fabric. Você pode transformar dados com SQL em um ambiente familiar e unificado. Compilar, testar e implantar modelos dbt na parte superior do data warehouse do Fabric ou em outros armazéns com suporte— não é necessário instalar ferramentas locais ou gerenciar a orquestração externa.

Você pode desenvolver e gerenciar totalmente a lógica de transformação no Fabric. Crie seus modelos, defina dependências e execute testes em um só lugar enquanto usa a segurança e a governança de nível empresarial do Fabric.

O Fabric integra-se ao dbt Core para fornecer:

  • Configuração sem código para implantação e ajuste
  • Agendamento e monitoramento nativos para manter os fluxos de trabalho confiáveis e transparentes
  • Insights visuais sobre execuções de dbt, testes e linhagem de dados — tudo dentro do mesmo ambiente de trabalho dos seus pipelines e relatórios

Essa abordagem combina a flexibilidade do desenvolvimento em primeiro código com a simplicidade da orquestração de baixo código para que as equipes de análise e engenharia possam colaborar e dimensionar transformações em toda a organização.

Como habilitar a visualização de trabalhos de dbt

  1. Vá para o portal de administração no Fabric.

  2. Em Configurações do inquilino, habilite o recurso de trabalhos do dbt (em prévia) para sua organização ou grupos de segurança específicos.

    Captura de tela da interface do usuário do Fabric com as configurações de locatário para habilitar a tarefa dbt.

Permissões e acesso necessários

  • No workspace do Fabric, você precisa de uma função de Colaborador ou superior para criar ou gerenciar trabalhos de dbt.
  • Para o Fabric Data Warehouse de destino, você precisa de permissões de leitura/gravação para executar transformações de dbt.
  • Você precisa de acesso de compilação e leitura/gravação a conjuntos de dados vinculados e conexões.

Adaptadores e ambientes de execução compatíveis

Você pode conectar um trabalho dbt a várias fontes de dados usando adaptadores com suporte. Um adaptador é um conector que permite que o dbt trabalhe com uma plataforma de dados específica manipulando conexões, executando transformações SQL e gerenciando comportamentos específicos da plataforma.

No Fabric, um ambiente de execução de trabalhos do dbt é um ambiente de execução gerenciado que oferece uma maneira consistente e segura de executar trabalhos do dbt. Ele simplifica a execução ao oferecer um ambiente versionado que inclui funcionalidades do dbt, garantindo confiabilidade e desempenho em várias cargas de trabalho. Atualmente, quando você cria um trabalho dbt, ele usa o dbt job runtime V1.0 por padrão.

A tabela a seguir mostra os adaptadores com suporte em trabalhos de dbt, juntamente com as versões de runtime e adaptador disponíveis no ambiente de execução gerenciada.

Nome do adaptador Pacote de Adaptadores Versão do adaptador versão de runtime da tarefa do dbt Versão do dbt core suportada Versão do Python
Armazém de Dados Fabric dbt-fabric 1.10.0 1.0 1.11 3.12
Casa do Lago Fabric DBT-FABRICSPARK 1.12.2 1.0 1.11 3.12
Banco de Dados SQL do Azure dbt-sqlserver 1.9.1 1.0 1.11 3.12
Banco de dados PostgreSQL DBT-postgres 1.10.0 1.0 1.11 3.12
Snowflake DBT-Floco de Neve 1.11.5 1.0 1.11 3.12

Observação

Essa matriz reflete as versões disponíveis no runtime de trabalho dbt gerenciado por Fabric.

A V1.0 é a versão mais recente do tempo de execução do trabalho dbt no Fabric.

As versões do adaptador e as versões dbt são atualizadas regularmente para incluir novos recursos, melhorias de desempenho e atualizações de compatibilidade de plataforma. Para a configuração e a configuração inicial do adaptador, consulte Configurar um trabalho dbt.

Limitações

  • Sem cache de build: atualmente, a versão prévia só dá suporte à compilação e à execução de um projeto recém-criado da origem. Artefatos do dbt gerados em execuções anteriores não estão disponíveis para recompilação.
  • Restrições do adaptador: alguns adaptadores de parceiros ainda não têm suporte no Fabric. Consulte os adaptadores com suporte atuais.