Melhores práticas para o agente de engenharia de dados Fabric (Project Osmos) - prévia

Use estas melhores práticas para definir resultados completos, proteger os dados do lakehouse, tornar as reexecuções previsíveis e exigir evidências mensuráveis de sucesso nas tarefas do agente de engenharia de dados do Fabric (Project Osmos).

Important

O agente de engenharia de dados (Project Osmos) está em versão prévia. Os recursos de pré-visualização são lançados com capacidades limitadas e estão sujeitos a termos suplementares de pré-visualização separados. Eles não são destinados a uso em produção, não estão sujeitos a acordos de nível de serviço e podem estar disponíveis apenas em regiões selecionadas. Para obter mais informações, consulte as informações da prévia do Microsoft Fabric.

Defina o resultado completo de um projeto

A habilidade define o resultado do projeto da seguinte forma:

Descreva toda a tarefa completa de engenharia de dados de ponta a ponta. O agente de engenharia de dados recebe isso como um único projeto.

Defina o resultado completo, e não apenas a primeira etapa de implementação. Inclua estes cinco elementos:

Elemento Pergunta a ser respondida Example
Objetivo Qual resultado deve existir quando a tarefa for concluída? Crie uma tabela mensal de gastos com fornecedores.
Sources Quais dados a tarefa deve usar? Leia arquivos CSV de faturas e a tabela Delta de Fornecedores.
Transformations A que regras a tarefa deve se aplicar? Padronizar IDs de fornecedores, rejeitar datas inválidas, fazer a junção de fornecedores e agregar os gastos mensais.
Outputs O que a tarefa deve criar ou atualizar? Escreva monthly_supplier_spend e salve o caderno de transformação.
Validation Como o agente de engenharia de dados deve provar sucesso? Reconcilie os totais de faturas, verifique chaves duplicadas e reporte linhas rejeitadas.

Use este modelo:

<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.

Estabeleça limites explícitos

Indique quais fontes o agente de engenharia de dados pode ler, para quais destinos pode escrever e quais artefatos existentes deve preservar. Identifique quaisquer restrições de esquema, retenção, processamento regional ou regra de negócio que afetem a tarefa.

As permissões do Fabric e do OneLake continuam sendo o limite de autorização. Não inclua credenciais, tokens de acesso, cabeçalhos de autorização ou dados sensíveis em um resultado do Project.

Escreva um resultado específico do Project

Os exemplos de resultados do Project a seguir combinam um objetivo, fontes, transformações, resultados, restrições e critérios de validação.

Exploração de dados

Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.

Ingestão de arquivos

Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.

Transformação de dados

Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.

Remediação da qualidade dos dados

Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.

Modernização do esquema

Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.

Carga incremental

Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.

Arquitetura Medallion

Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.

Escolha um padrão de escrita seguro

Ao criar uma tarefa, selecione um padrão de escrita que corresponda ao impacto e à reversibilidade da tarefa:

  • Clonar e promover: Teste as alterações em uma cópia antes de mover o resultado validado para o local definitivo.
  • Tabela de preparação: Escreva os resultados separadamente para revisão ou uma etapa controlada de promoção.
  • Itere no lugar: Modifique o alvo diretamente. Use apenas quando você entende o plano de risco e recuperação.
  • Eliminação de duplicatas na reexecução: Use uma chave de negócio estável para evitar registros duplicados.
  • Esquema bloqueado: Rejeitar mudanças inesperadas no esquema.
  • Esquema de alargamento de tipos: Permitir alargamento compatível enquanto previne mudanças arbitrárias.

As permissões do Fabric continuam sendo a fronteira rígida de autorização. Não confie apenas no resultado do Project para proteger dados críticos.

Torne as reexecuções previsíveis

Diga ao agente de engenharia de dados como lidar com dados que ele processou anteriormente. Use chaves de negócio estáveis e especifique se uma reexecução deve falhar, adicione novos dados, desduplique registros, mesture alterações ou substitua o destino.

Para tarefas incrementais, peça contagens de registros inseridos, atualizados, inalterados e rejeitados. Preserve os dados de origem e as saídas verificadas, a menos que a substituição seja uma parte explícita do resultado solicitado.

Conteúdo relacionado

  • Última atualização em