Configurar um trabalho de dbt no Microsoft Fabric

Ao criar ou editar um trabalho dbt, selecione o botão de configurações do dbt para abrir a página de configuração do perfil. Aqui, você define como sua tarefa dbt se conecta ao armazém de dados. Você também pode alterar o adaptador se necessário e definir configurações avançadas para ajustar o comportamento de execução.

Estrutura do projeto e configurações de trabalho

Cada trabalho de dbt no Fabric inclui guias principais para ajudar a gerenciar seu projeto:

  • Explorer: exibir e organizar arquivos como modelos, sementes e configurações YAML.
  • Configurações: ajuste as configurações do adaptador, como esquema, conexão e simultaneidade.
  • Painel de Saída: exibir logs de execução, saída do trabalho e mensagens de erro em tempo real.

O projeto segue um layout de dbt padrão:

my-dbt_project/ 
├── dbt_project.yml     # Project configuration 
├── models/             # SQL models for transformations 
│   ├── staging/ 
│   ├── marts/ 
│   └── analytics/ 
├── schema.yml          # Model tests, descriptions, and metadata 
└── seeds/              # Optional CSV data sources 
  • dbt_project.yml define configurações no nível do projeto, como caminhos de modelo e configurações.
  • models/ contém seus arquivos SQL, cada um representando um modelo baseado em dados de origem.
  • schema.yml armazena testes, documentação e relações.
  • seeds/ permite que você carregue CSVs para usar como dados de referência estáticos.

Definir configurações de perfil

Use configurações de dbt para definir ou examinar seu perfil dbt:

  • Adaptador: DataWarehouse (padrão no Fabric)
  • Nome da conexão: por exemplo, dbtsampledemowarehouse
  • Esquema (obrigatório): por exemplo, jaffle_shop_demo
  • Dados de semente: opcionalmente, habilite o carregamento de CSVs de /seeds como tabelas gerenciadas
  1. Abra o trabalho dbt e selecione as configurações de dbt.

  2. Confirme o adaptador (o padrão é DataWarehouse).

  3. Verifique o nome da conexão.

  4. Insira esquema (por exemplo, jaffle_shop_demo).

  5. (Optional) Selecione o Seed data se você quiser carregar CSVs no dbt seed ou no dbt build.

  6. Selecione Aplicar.

    Captura de tela da interface do usuário do Fabric com as configurações do adaptador de perfil de trabalho dbt.

Trocar adaptador

O controle do adaptador de alteração no canto superior esquerdo da página de configurações do dbt permite alterar o adaptador dbt usado pelo perfil do trabalho.

Quando usar isso

  • Sua conexão de workspace é alterada (por exemplo, mudando para um Data Warehouse diferente do Fabric da Microsoft).
  • Você está criando demonstrações que contrastam adaptadores (por exemplo, um caminho futuro para o PostgreSQL), ou clonou uma tarefa e precisa direcioná-la para um novo destino.
  • Você está padronizando esquemas em ambientes (desenvolvimento → teste → produção) e precisa de uma conexão diferente em segundo plano.

O que muda quando você alterna

  • O adaptador e a conexão que suportam o perfil.
  • Campos dependentes (por exemplo, Esquema) podem precisar de revalidação.
  • O comportamento de runtime deve se alinhar com o dialeto SQL do adaptador e as funcionalidades.

Autenticação do adaptador

Cada adaptador dá suporte a métodos de autenticação diferentes com base nos recursos da plataforma de destino. A tabela a seguir mostra os tipos de autenticação com suporte para cada adaptador.

Adapter Tipos de autenticação com suporte Versão do adaptador
Banco de Dados SQL do Azure Básico, Principal de Serviço (SPN) 1.9.1
Armazém de Dados Fabric Microsoft Entra (OAuth) 1.10.0
Casa do Lago Fabric Microsoft Entra (OAuth) 1.12.2
Banco de dados PostgreSQL autenticação Básica 1.10.0
Snowflake Autenticação Snowflake 1.11.5

Para versões do adaptador e detalhes do runtime, consulte adaptadores com suporte e runtime.

Configurações avançadas

Depois de configurar o perfil do trabalho do dbt, selecione Configurações Avançadas para ajustar a execução e o comportamento de execução. O painel Configurações Avançadas é dividido em duas guias:

Configurações gerais

Aqui você pode ajustar as opções de execução no nível do projeto:

  • Threads: defina o número de threads paralelos para execução de dbt (por exemplo, 4 para cargas de trabalho médias).
  • Falha rapidamente: se habilitado, o dbt será interrompido imediatamente se algum recurso não for compilado.
  • Atualização completa: força o dbt a recompilar todos os modelos do zero, ignorando a lógica incremental.
  1. Selecione Configurações Avançadas>Gerais.

  2. Defina o número desejado de threads.

  3. (Opcional) Habilitar Falha rápida ou atualização completa , conforme necessário.

  4. Selecione Aplicar para salvar.

    Captura de tela da interface do usuário do Fabric com as configurações gerais do trabalho dbt.

Executar configurações

A guia configurações de execução permite controlar quais modelos são executados e como selecioná-los. Há duas configurações:

Modo de execução

  • Execute somente modelos selecionados: escolha modelos específicos para incluir na execução (por exemplo, pedidos, stg_customers e assim por diante).

  • Executar com seletores avançados: use seletores de dbt para controle granular (uniões, interseções, exclusões).

    Captura de tela da interface do usuário do Fabric com as configurações de execução avançadas do trabalho dbt.

Configuração avançada do seletor

Os seletores permitem que você direcione partes do pipeline para iteração mais rápida durante o desenvolvimento ou teste.

  1. Selecione Configurações Avançadas>configurações de execução.
  2. Escolha o modo de execução:
    • Para execuções simples, selecione modelos na árvore.
    • Para execuções avançadas, configure seletores para execução direcionada.
  3. Selecione Aplicar para salvar.

Você pode executar ou excluir seletivamente modelos específicos usando seletores.

Por exemplo:

dbt run --select my_model 
dbt build --select staging.* 
dbt build --exclude deprecated_models 

Crie seletores personalizados especificando:

  • Seletor: nomeie o seletor.

  • Selecione: Especificar recursos (modelos, marcas, pacotes).

  • Excluir: listar recursos para ignorar.

    Captura de tela da interface do usuário do Fabric com as configurações de execução do seletor avançado do trabalho dbt.