Comece com o agente de engenharia de dados Fabric (Project Osmos) (prévia)

Neste guia de início rápido, você instala a skill do agente de engenharia de dados do Fabric (Project Osmos) para GitHub Copilot CLI, Claude Code ou Codex, cria uma tarefa para um lakehouse do Fabric e abre essa tarefa no Fabric.

Neste guia de início rápido, você:

  • Verifique o Fabric e os pré-requisitos locais
  • Instale o plug-in Skills for Fabric, que inclui a habilidade do agente de engenharia de dados (Project Osmos)
  • Crie uma tarefa que implemente uma arquitetura Medallion para varejo
  • Revise as configurações de operação
  • Monitore a atividade na sua casa no lago Fabric

Important

O agente de engenharia de dados (Project Osmos) está em versão prévia. Os recursos de pré-visualização são lançados com capacidades limitadas e estão sujeitos a termos suplementares de pré-visualização separados. Eles não são destinados a uso em produção, não estão sujeitos a acordos de nível de serviço e podem estar disponíveis apenas em regiões selecionadas. Para obter mais informações, consulte as informações da prévia do Microsoft Fabric.

Pré-requisitos

Confirme esses requisitos antes de começar:

  • Um espaço de trabalho Fabric atribuído a uma capacidade Fabric elegível. SKUs de teste Fabric não são suportados.
  • Uma casa no lago naquele espaço de trabalho
  • Permissão de Colaborador ou superior no espaço de trabalho
  • Ative as seguintes configurações de inquilino para sua conta e capacidade:
    • Os usuários podem usar Copilot e outros recursos alimentados por Azure OpenAI
    • Os usuários podem usar Copilot, AI Agents e outras experiências de IA alimentadas pelo OpenAI como um Subprocessador Microsoft (fortemente recomendado para melhor desempenho, mas não obrigatório)
  • As seguintes configurações do locatário se aplicam apenas se sua capacidade estiver em uma região na qual a OpenAI não está disponível:
    • Os dados enviados para a OpenAI como um Subprocessador da Microsoft podem ser processados fora da região geográfica da sua capacidade, do limite de conformidade ou da instância nacional de nuvem
    • Os dados enviados ao Azure OpenAI podem ser armazenados fora da região geográfica, do limite de conformidade ou da instância de nuvem nacional da sua capacidade
  • Nas configurações de Capacidade, ativar a transformação de dados por IA é recomendada, mas não obrigatória
  • CLI do Azure
  • Um agente local apoiado:

Para orientações de configuração, veja Habilitar e configurar o Copilot no Microsoft Fabric.

Instale a habilidade do agente de engenharia de dados (Project Osmos)

A habilidade agente de engenharia de dados (Project Osmos) está incluída na coleção Skills for Fabric.

  1. Faça login no Azure com uma identidade que possa acessar o workspace e o lakehouse de destino:

    az login

    Se você tiver acesso a múltiplos locatários do Microsoft Entra, faça login no tenant que contém seu espaço de trabalho Fabric.

  2. Depois, use os comandos do seu agente local para adicionar o marketplace Skills for Fabric e instalar a coleção Fabric.

    Inicie a linha de comando do GitHub Copilot:

    copilot

    Execute estes comandos dentro da CLI do GitHub Copilot:

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Reinicie a CLI do GitHub Copilot para que as novas habilidades sejam carregadas.

    /quit

  2. Verifique a instalação. Inicie novamente a CLI do GitHub Copilot e execute:

    /skills

Confirme que o Project Osmos, mostrado como project-osmos, está disponível.

Use o agente de engenharia de dados (Project Osmos)

Descreva o resultado completo de engenharia de dados que você quer que o agente de engenharia de dados (Project Osmos) entregue. Inclua o espaço de trabalho, o lakehouse, os dados de origem, as transformações, os resultados esperados e os requisitos de validação:

Descreva toda a tarefa completa de engenharia de dados de ponta a ponta. O agente de engenharia de dados (Project Osmos) o recebe como um único projeto.

Inclua:

  • Fontes: Tabelas, pastas, arquivos, cadernos ou recursos do OneLake
  • Transformações: Limpeza, junções, filtros, cálculos ou alterações no esquema
  • Resultados: Tabelas, cadernos, arquivos ou resumos
  • Validação: Contagens de linhas, verificações nulas, singularidade, conciliação ou regras de negócio

Fontes e saídas não se limitam ao espaço de trabalho onde você criou a tarefa. Se você tiver permissão para acessar um recurso, a tarefa pode acessar o recurso em seu nome.

Por exemplo:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Seu agente local identifica o espaço de trabalho e o lakehouse, coleta todas as opções necessárias de segurança e de saída e cria uma tarefa remota do Project Osmos. Ele fornece um link de tarefa Fabric para monitoramento do progresso.

Você não precisa encontrar os IDs do workspace ou os do lakehouse, nem dividir o trabalho em etapas mais simples. Especifique seus nomes ou forneça uma URL do Fabric lakehouse e envie o resultado completo como uma única tarefa. O Project Osmos cuida do planejamento, sequenciamento e validação.

Revise as configurações da tarefa

Antes da execução começar, o agente de engenharia de dados (Project Osmos) classifica a tarefa e recomenda as configurações.

Setting Pergunta sobre a revisão
Limite de permissão Quais recursos nomeados a tarefa deve tratar como somente leitura ou graváveis?
Padrão de segurança As escritas devem usar staging, clone-and-promote, ou iteração direta?
Promover o passo Como a saída em etapas verificada deve se tornar a saída final?
Semântica de reruns Se uma reexecução falhar, acrescentar, eliminar duplicatas ou substituir os dados existentes?
Evolução do esquema O esquema de saída pode mudar, e sob quais restrições?
Formato do artefato O Project Osmos deve salvar um caderno ou outro artefato?
Destino do artefato Onde os artefatos gerados devem ser armazenados?
Esforço de raciocínio Quão extensivamente o Project Osmos deve explorar opções de implementação?

Você pode mudar qualquer uma das configurações recomendadas.

Important

O limite de permissões norteia a tarefa, mas as permissões do Fabric e do OneLake continuam sendo o limite de aplicação. Proteja recursos sensíveis com permissões da plataforma.

Monitore a tarefa

Após aceitar as configurações, o agente de engenharia de dados Fabric (Project Osmos) executa a tarefa com agentes especializados no SparkCore, retorna um ID de tarefa e abre uma página de lakehouse no Fabric que inclui:

  • Detalhes do questionário de admissão
  • Especificação
  • Status atual
  • Atividade do agente

Como a tarefa roda no Fabric no SparkCore em vez da sua máquina local, ela continua quando seu computador está desligado. Para monitorar o progresso, selecione sua casa do lago no Fabric e depois selecione a tarefa no explorador da casa do lago. Você também pode perguntar ao seu agente local o status da tarefa.

Diretrizes de uso

  • Use o Project Osmos por meio de um agente local como GitHub Copilot CLI, Claude Code ou Codex. Interação direta com o Project Osmos pelo Copilot no portal Fabric atualmente não é suportada.
  • Especifique o espaço de trabalho e o lakehouse desejados pelo nome ou forneça uma URL do lakehouse no Fabric. Você não precisa encontrar os documentos sozinho.
  • Use o Project Osmos para engenharia de dados completa que envolva casas de lago, OneLake, Spark, cadernos e mesas.
  • Peça ao seu agente local para verificar o status de uma tarefa remota, enviar instruções de acompanhamento, cancelar a tarefa ou excluí-la.
  • Para continuar trabalhando com uma tarefa existente, forneça o ID da tarefa ou o link da tarefa do Fabric.
  • Revise as opções propostas de execução e segurança antes de permitir mudanças em dados importantes ou de produção.

Crie sua primeira tarefa

Este exemplo requer apenas uma casa de lago vazia. O Project Osmos cria os dados da amostra e todos os artefatos necessários, então você pode usar o produto sem preparar a casa do lago antes.

Use o Project Osmos para criar uma pequena arquitetura medalhão de varejo. Primeiro, peça ao seu corretor local para usar o Project Osmos:

Create a Project Osmos task

Depois de identificar sua casa do lago pelo nome ou URL, você é solicitado a definir um resultado para o seu projeto. Insira o seguinte:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Envie o prompt completo como uma única tarefa. O Project Osmos planeja e sequencia o trabalho, cria os dados de exemplo, tabelas e cadernos, roda os cadernos no SparkCore e verifica os resultados.

Quando a tarefa terminar, revise estes artefatos:

  • Tabelas de clientes em bronze, produtos e vendas que preservam os dados de origem da amostra
  • Tabelas prateadas com tipos de dados padronizados, chaves válidas e registros limpos
  • Tabelas douradas com vendas diárias e resumos de vendas em nível de cliente
  • Três cadernos que documentam e executam o movimento entre camadas
  • Resultados de validação para contagens de linhas, chaves, relacionamentos e totais de receita

Exemplos adicionais de resultados de projetos para casos de uso complexos

O Project Osmos foi projetado para resultados completos de engenharia de dados, incluindo trabalhos que exigem conhecimento de aplicações empresariais, descoberta de lakehouses, experimentos de implementação e validação. Uma solicitação enviada ao GitHub Copilot sem o Project Osmos pode produzir um caderno ou esboço de código plausível, mas não usa o fluxo de trabalho do Project Osmos para inspecionar o lakehouse ao vivo, comparar opções de implementação, rodar o código no Fabric SparkCore e continuar refinando a solução com base nos resultados reais.

Crie um modelo de ciclo de vida do cliente Dynamics 365

Este resultado conciso do project pede ao Project Osmos que descubra os dados disponíveis de aplicação:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Como o Project Osmos pode lidar com isso: O Project Osmos explora o lakehouse para determinar quais aplicativos do Dynamics 365 e tabelas do Dataverse estão disponíveis. Ele identifica estruturas como contas, contatos, leads, oportunidades, atividades, casos, pedidos e faturas; mapeia seus relacionamentos e valores de status; e avalia como representar a jornada do cliente desde a aquisição até vendas e serviço. Ele executa código do SparkCore para validar a cobertura dos relacionamentos, clientes duplicados, atividades órfãs, totais do pipeline, reconciliação de pedidos e faturas e cálculos do estágio do ciclo de vida.

Por que o Project Osmos é mais adequado: Sem o Project Osmos, o GitHub Copilot depende de você para identificar as tabelas relevantes do Dynamics 365 e Dataverse, explicar seus relacionamentos e valores do conjunto de opções, e executar cada revisão. O Project Osmos pode partir do resultado, investigar a casa do lago e refinar a implementação com base em resultados medidos.

Modele dados SAP de pedido para caixa

Este resultado conciso do projeto pede ao Project Osmos que determine como os dados do SAP são representados no seu lakehouse e crie um modelo útil de pedido ao recebimento:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Como o Project Osmos pode abordar isso: O Project Osmos explora o lakehouse para identificar os dados disponíveis no SAP sobre pedidos de venda, entregas, faturamento, clientes e fluxo de documentos. Ele busca estruturas como VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 e VBFA, ou vistas extraídas equivalentes. Ele examina esquemas e valores de amostra, determina se a extração se assemelha às estruturas do SAP S/4HANA ou do SAP ECC e testa junções alternativas e a lógica do fluxo de documentos. Em seguida, ele constrói tabelas e cadernos selecionados e executa verificações do SparkCore para chaves de negócios duplicadas, links de documentos faltantes, incompatibilidades de quantidade e reconciliação entre pedido e fatura.

Por que o Project Osmos é mais adequado: O GitHub Copilot usado sem o Project Osmos exigiria que você localizasse as tabelas relevantes, explicasse as relações do SAP, forneça esquemas, executasse o código gerado e retornasse erros ou resultados para cada revisão. O Project Osmos realiza essa descoberta e execução como parte de uma tarefa persistente do Fabric que é executada de forma autônoma no SparkCore.

Reconciliar finanças do NetSuite

Este resultado detalhado do project fornece as regras de negócio, deixando os detalhes da implementação para o Project Osmos:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Como o Project Osmos poderia abordar isso: O Project Osmos inspeciona como as transações do NetSuite, as linhas de transação, as contas, as subsidiárias, os períodos contábeis, as moedas e os livros contábeis são representados no lakehouse. Ele avalia opções de postagem, consolidação, eliminação e conversão de moeda e utiliza resultados em etapas para comparar resultados. Ele executa os notebooks no SparkCore e valida o equilíbrio do diário, a completude do documento, a cobertura do mapeamento e os totais da origem à saída antes de produzir as tabelas finais.

Por que o Project Osmos é mais adequado: A geração de código, por si só, pode codificar junções e cálculos, mas não consegue determinar com confiabilidade como uma extração específica do NetSuite representa lançamentos, livros contábeis, eliminações e taxas de câmbio, nem provar que o resultado pode ser reconciliado sem um ciclo iterativo de execução e validação.

Crie o pipeline do Salesforce e as métricas de previsão

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Como o Project Osmos pode abordá-lo: Project Osmos mapeia objetos disponíveis do Salesforce e extrai dados de conta, oportunidade, histórico de oportunidades, OpportunityLineItem, Produto2, usuário e previsão. Ele compara abordagens de estado atual, baseadas em histórico e snapshots periódicos, e testa como a extração representa moeda, exclusões, mudanças de proprietário e transições de estágio. Ele executa implementações candidatas no SparkCore e compara totais de pipelines, taxas de conversão, resultados de previsão e snapshots históricos.

Por que o Project Osmos é mais adequado: Esse resultado exige mais do que um Spark sintaticamente correto. O Project Osmos combina raciocínio de domínio Salesforce com inspeção de dados em tempo real, execução repetida e reconciliação para encontrar uma implementação que funcione com a estratégia real de extração e histórico do cliente.

Modernizar um gasoduto existente para uma casa no lago

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Como o Project Osmos poderia abordar isso: O Project Osmos inspeciona os notebooks, as tabelas, os esquemas e os padrões de dados atuais; compara as opções de marca d’água, mesclagem e rastreamento de alterações; e testa o comportamento em caso de falha e de reexecução. Ele executa ambas as implementações no SparkCore contra alvos em etapas e compara contagens de linhas, chaves duplicadas, tratamento de atualizações tardias, compatibilidade de esquemas e totais de saída.

Por que o Project Osmos é mais adequado: Agentes de codificação usados sozinhos podem sugerir um padrão incremental, mas você deve fornecer o contexto de implementação e executar cada teste. O Project Osmos avalia o lakehouse existente e valida arquiteturas alternativas antes de recomendar e implementar a abordagem mais segura.

Atualização de habilidades do Fabric

No GitHub Copilot CLI ou Claude Code, atualize a coleção Fabric instalada:

/plugin update fabric-skills@fabric-collection

Para o Codex, execute codex plugin marketplace upgrade fabric-collection, e então execute codex plugin add fabric-skills@fabric-collection.

Limitações atuais

  • O agente de engenharia de dados (Project Osmos) atualmente não está disponível para ambientes de trabalho que possuem a proteção de acesso de saída ativada.

Conteúdo relacionado

  • Última atualização em