Comece com o agente de engenharia de dados Fabric (Project Osmos) (pré-visualização)

Neste quickstart, instalas a competência do agente de engenharia de dados Fabric (Project Osmos) para GitHub Copilot CLI, Claude Code ou Codex, crias uma tarefa para um lago Fabric e abres a tarefa no Fabric.

Neste guia de início rápido, você irá:

  • Confirme o Fabric e os pré-requisitos locais
  • Instale o suplemento Skills for Fabric, que inclui a competência do agente de engenharia de dados (Project Osmos)
  • Crie uma tarefa que implemente uma arquitetura de medalhão de retalho
  • Reveja as definições de funcionamento
  • Monitorize a tarefa na sua casa do lago Fabric

Importante

O agente de engenharia de dados (Project Osmos) está em versão preliminar. As funcionalidades de pré-visualização são lançadas com capacidades limitadas e estão sujeitas a termos suplementares de pré-visualização separados. Não são destinados a uso em produção, não estão sujeitos a acordos de nível de serviço e podem estar disponíveis apenas em regiões selecionadas. Para mais informações, consulte informação de pré-visualização do Microsoft Fabric.

Pré-requisitos

Confirme estes requisitos antes de começar:

  • Um espaço de trabalho Fabric atribuído a uma capacidade Fabric elegível. Os SKUs de teste Fabric não são suportados.
  • Uma casa no lago nesse espaço de trabalho
  • Permissão de colaborador ou superior no espaço de trabalho
  • Ative as seguintes definições de inquilino para a sua conta e capacidade:
    • Os utilizadores podem usar o Copilot e outras funcionalidades alimentadas pelo Azure OpenAI
    • Os utilizadores podem usar o Copilot, AI Agents e outras experiências de IA alimentadas pelo OpenAI como Subprocessador Microsoft (fortemente recomendado para melhor desempenho, mas não obrigatório)
  • As seguintes definições de inquilino aplicam-se apenas se a sua capacidade estiver numa região onde o OpenAI não está disponível:
    • Os dados enviados para a OpenAI como Subprocessador Microsoft podem ser processados fora da região geográfica da sua capacidade, do limite de conformidade ou da instância nacional de nuvem
    • Os dados enviados para o Azure OpenAI podem ser armazenados fora da região geográfica da sua capacidade, limite de conformidade ou instância de nuvem nacional
  • Nas definições de Capacidade, é recomendado ativar a transformação de dados por IA , mas não é obrigatório
  • CLI do Azure
  • Um agente local apoiado:

Para orientações de configuração, consulte Ativar e configurar o Copilot no Microsoft Fabric.

Instale a habilidade do agente de engenharia de dados (Project Osmos)

A competência agente de engenharia de dados (Project Osmos) está incluída na coleção Skills for Fabric.

  1. Inicie sessão no Azure com uma identidade que permita aceder ao espaço de trabalho alvo e à casa do lago:

    az login

    Se tiver acesso a vários tenants do Microsoft Entra, inicie sessão no tenant que contém o seu espaço de trabalho do Fabric.

  2. Depois, usa os comandos do teu agente local para adicionar o marketplace Skills for Fabric e instalar a coleção Fabric.

    Inicie a linha de comando do GitHub Copilot:

    copilot

    Executa estes comandos dentro da CLI do GitHub Copilot:

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Reinicie a CLI do GitHub Copilot para que as novas capacidades sejam carregadas.

    /quit

  2. Verifica a instalação. Inicia novamente a CLI do GitHub Copilot e executa:

    /skills

Confirme que o Project Osmos, mostrado como project-osmos, está disponível.

Use o agente de engenharia de dados (Project Osmos)

Descreva o resultado completo de engenharia de dados que pretende que o agente de engenharia de dados (Project Osmos) entregue. Inclua o espaço de trabalho, a casa do lago, os dados fonte, as transformações, os resultados esperados e os requisitos de validação:

Descreva a tarefa completa de engenharia de dados de ponta a ponta. O agente de engenharia de dados (Project Osmos) recebe isso como um único projeto.

Inclui:

  • Fontes: Tabelas, pastas, ficheiros, cadernos ou recursos do OneLake
  • Transformações: Limpeza, junções, filtros, cálculos ou alterações de esquema
  • Resultados: Tabelas, cadernos, ficheiros ou resumos
  • Validação: Contagens de linhas, verificações nulas, unicidade, reconciliação ou regras de negócio

As fontes e saídas não se limitam ao espaço de trabalho onde criou a tarefa. Se tiver permissão para aceder a um recurso, a tarefa pode aceder ao recurso em seu nome.

Por exemplo:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

O seu agente local identifica a área de trabalho e o lakehouse, recolhe as opções necessárias de segurança e de saída e cria uma tarefa remota no Project Osmos. Fornece um link de tarefa Fabric para monitorizar o progresso.

Não precisas de encontrar os IDs do espaço de trabalho ou do lakehouse, nem de decompor o trabalho em passos mais simples. Especifique os nomes deles ou forneça um URL do Fabric lakehouse, e submeta o resultado completo como uma única tarefa. O Project Osmos trata do planeamento, sequenciação e validação.

Revise as definições da tarefa

Antes do início da execução, o agente de engenharia de dados (Project Osmos) classifica a tarefa e recomenda as definições.

Setting Pergunta de revisão
Limite de permissão Que recursos nomeados deve a tarefa considerar como só de leitura ou de escrita?
Padrão de segurança As operações de escrita devem usar preparação, clonagem e promoção, ou iteração direta?
Promover o passo Como é que a saída verificada em etapas deve tornar-se a saída final?
Semântica de repetição Se uma nova execução falhar, deve acrescentar, eliminar duplicados ou substituir os dados existentes?
Evolução do esquema O esquema de saída pode mudar, e sob que restrições?
Formato de artefacto O Project Osmos deve guardar um caderno ou outro artefacto?
Destino do artefacto Onde devem ser armazenados os artefactos gerados?
Esforço de raciocínio Até que ponto o Project Osmos deve explorar opções de implementação?

Podes alterar qualquer uma das definições recomendadas.

Importante

O limite de permissões orienta a tarefa, mas as permissões do Fabric e do OneLake continuam a ser o limite de aplicação. Proteger recursos sensíveis com permissões da plataforma.

Monitorize a tarefa

Depois de aceitar as definições, o agente de engenharia de dados Fabric (Project Osmos) executa a tarefa com agentes especializados no SparkCore, devolve um ID de tarefa e abre uma página de lakehouse no Fabric que inclui:

  • Detalhes do questionário de admissão
  • Especificações
  • Situação atual
  • Atividade do agente

Como a tarefa corre no Fabric no SparkCore em vez da tua máquina local, continua quando o teu computador está desligado. Para acompanhar o progresso, seleciona a tua casa do lago no Fabric e depois seleciona a tarefa no explorador da casa do lago. Também pode perguntar ao seu agente local o estado da tarefa.

Orientação de utilização

  • Use o Project Osmos através de um agente local como GitHub Copilot CLI, Claude Code ou Codex. A interação direta com o Project Osmos a partir do Copilot no portal Fabric não é atualmente suportada.
  • Especifique o espaço de trabalho e o lakehouse pretendidos pelos respetivos nomes, ou forneça um URL de lakehouse do Fabric. Não precisas de procurar as identificações tu próprio.
  • Use o Project Osmos para engenharia de dados de ponta a ponta que envolva casas de lago, OneLake, Spark, cadernos e mesas.
  • Peça ao seu agente local para verificar o estado de uma tarefa remota, enviar instruções de seguimento, cancelar a tarefa ou apagá-la.
  • Para continuar a trabalhar com uma tarefa existente, forneça o ID da tarefa ou a ligação para a tarefa do Fabric.
  • Revise as opções propostas de execução e segurança antes de permitir alterações a dados importantes ou de produção.

Crie a sua primeira tarefa

Este exemplo requer apenas uma casa de lago vazia. O Project Osmos cria os dados de exemplo e todos os artefactos necessários para que possa utilizar o produto sem preparar previamente o lakehouse.

Use o Project Osmos para criar uma pequena arquitetura de medalhão de retalho. Primeiro, peça ao seu agente local para usar o Project Osmos:

Create a Project Osmos task

Depois de identificar o seu lakehouse pelo nome ou URL, ser-lhe-á pedido que defina um objetivo para o seu projeto. Insira o seguinte:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Submete o enunciado completo como uma única tarefa. O Project Osmos planeia e sequencia o trabalho, cria os dados de exemplo, tabelas e cadernos, executa os cadernos no SparkCore e verifica os resultados.

Quando a tarefa terminar, reveja estes artefactos:

  • Tabelas de clientes, produtos e vendas em bronze que preservam os dados de origem da amostra
  • Tabelas prateadas com tipos de dados padronizados, chaves válidas e registos limpos
  • Tabelas douradas com vendas diárias e resumos de vendas ao nível do cliente
  • Três cadernos que documentam e executam o movimento entre camadas
  • Resultados de validação para contagens de linhas, chaves, relações e totais de receita

Exemplos adicionais de resultados de projetos para casos de uso complexos

O Project Osmos foi concebido para resultados integrais em engenharia de dados, incluindo atividades que requerem conhecimento de aplicações empresariais, descoberta de arquiteturas lakehouse, ensaios de implementação e validação. Um pedido enviado ao GitHub Copilot sem o Project Osmos pode produzir um caderno ou esboço de código plausível, mas não utiliza o fluxo de trabalho do Project Osmos para inspecionar o lakehouse em funcionamento, comparar opções de implementação, executar o código no Fabric SparkCore e continuar a refinar a solução com base nos resultados reais.

Criar um modelo do ciclo de vida do cliente Dynamics 365

Este resultado conciso do project pede ao Project Osmos que descubra os dados de aplicação disponíveis:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Como o Project Osmos poderá lidar com isto: O Project Osmos explora o lakehouse para determinar que aplicações do Dynamics 365 e que tabelas do Dataverse estão disponíveis. Identifica estruturas como contas, contactos, leads, oportunidades, atividades, casos, encomendas e faturas; mapeia as suas relações e valores de estado; e avalia como representar a jornada do cliente desde a aquisição até às vendas e serviço. Executa código SparkCore para validar a cobertura dos relacionamentos, clientes duplicados, atividades órfãs, totais do pipeline, conciliação de encomendas e faturas, e cálculos das fases do ciclo de vida.

Porque é que o Project Osmos é mais adequado: Sem o Project Osmos, o GitHub Copilot depende de si para identificar as tabelas relevantes do Dynamics 365 e Dataverse, explicar as suas relações e valores do conjunto de opções, e executar cada revisão. O Project Osmos pode partir do resultado, investigar a casa do lago e refinar a implementação com base nos resultados medidos.

Modelo de dados SAP de order-to-cash

Este resultado conciso deste projeto pede ao Project Osmos que determine como os dados SAP estão representados no seu lakehouse e crie um modelo order-to-cash útil:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Como o Project Osmos poderia abordar a questão: O Project Osmos explora o lakehouse para identificar os dados SAP disponíveis sobre encomendas de cliente, entregas, faturação, clientes e fluxo documental. Procura estruturas como VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 e VBFA, ou vistas extraídas equivalentes. Examina os esquemas e os valores de amostra, determina se a extração se assemelha às estruturas do SAP S/4HANA ou do SAP ECC e testa junções alternativas e a lógica do fluxo de documentos. Depois, constrói tabelas e cadernos selecionados e executa verificações no SparkCore para chaves de negócio duplicadas, links de documentos em falta, incompatibilidades de quantidade e reconciliação entre encomendas e faturas.

Porque é que o Project Osmos é mais adequado: O GitHub Copilot usado sem o Project Osmos exigiria que localizasses as tabelas relevantes, expliquasses as relações SAP, fornecesses esquemas, executasses o código gerado e devolvesses erros ou resultados para cada revisão. O Project Osmos realiza essa descoberta e execução como parte de uma tarefa persistente do Fabric que é executada autonomamente no SparkCore.

Conciliar os dados financeiros do NetSuite

Este resultado detalhado do project fornece as regras de negócio, deixando os detalhes da implementação para o Project Osmos:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Como o Project Osmos poderá abordar a questão: O Project Osmos analisa como as transações do NetSuite, as linhas de transação, as contas, as subsidiárias, os períodos contabilísticos, as moedas e os livros contabilísticos são representados no lakehouse. Avalia as opções de publicação, consolidação, eliminação e conversão de moeda e utiliza resultados escalonados para comparar resultados. Executa os notebooks no SparkCore e valida o balanceamento do diário, a integridade do documento, a cobertura do mapeamento e os totais da origem à saída antes de gerar as tabelas finais.

Porque é que o Project Osmos é mais adequado: A geração de código, por si só, pode codificar junções e cálculos, mas não consegue inferir de forma fiável como uma extração específica do NetSuite representa lançamentos, livros contabilísticos, eliminações e taxas de câmbio, nem provar que o resultado pode ser reconciliado sem um ciclo iterativo de execução e validação.

Criar o pipeline do Salesforce e as métricas de previsão

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Como o Project Osmos poderá abordá-lo: O Project Osmos mapeia objetos disponíveis da Salesforce e extrai dados de conta, Opportunity, OpportunityHistory, OpportunityLineItem, Produto2, Utilizador e dados de previsão. Compara abordagens de estado atual, baseadas em histórico e instantâneos periódicos, e testa como a extração representa moeda, eliminações, alterações de proprietários e transições de estágio. Executa implementações candidatas no SparkCore e compara totais de pipelines, taxas de conversão, resultados de previsão e instantâneos históricos.

Porque é que o Project Osmos é mais adequado: Este resultado requer mais do que um Spark sintaticamente correto. O Project Osmos combina raciocínio de domínio Salesforce com inspeção de dados em tempo real, execução repetida e reconciliação para encontrar uma implementação que funcione com a estratégia real de extração e histórico do cliente.

Modernizar um gasoduto existente de casas de lago

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Como o Project Osmos poderá abordá-lo: O Project Osmos inspeciona os notebooks, tabelas, schemas e padrões de dados atuais; compara as opções de watermark, merge e rastreio de alterações; e testa o comportamento em caso de falha e de reexecução. Executa ambas as implementações no SparkCore em relação a alvos preparados e compara contagens de linhas, chaves duplicadas, tratamento de atualizações tardias, compatibilidade de esquema e totais de saída.

Porque é que o Project Osmos é mais adequado: Agentes de codificação usados sozinhos podem sugerir um padrão incremental, mas deve fornecer o contexto de implementação e executar cada teste. O Project Osmos avalia o lakehouse existente e valida soluções alternativas antes de recomendar e implementar a abordagem mais segura.

Atualizar competências do Fabric

No GitHub Copilot CLI ou Claude Code, atualize a coleção Fabric instalada:

/plugin update fabric-skills@fabric-collection

Para o Codex, execute codex plugin marketplace upgrade fabric-collection, e depois execute codex plugin add fabric-skills@fabric-collection.

Limitações atuais

  • O agente de engenharia de dados (Project Osmos) não está atualmente disponível para espaços de trabalho que tenham a proteção de acesso de saída ativada.

Conteúdo relacionado

  • Última atualização a