Kom i gang med Fabric data engineering agent (Project Osmos) (forhåndsvisning)

I denne quickstart installerer du Fabric data engineering agent (Project Osmos) færdigheden til GitHub Copilot CLI, Claude Code eller Codex, opretter en opgave til et Fabric lakehouse og åbner opgaven i Fabric.

I denne quickstart gør du:

  • Bekræft Fabric og lokale forudsætninger
  • Installer Skills for Fabric-plugin'et, som inkluderer data engineering agent (Project Osmos)-færdigheden
  • Opret en opgave, der implementerer en detailmedallion-arkitektur
  • Gennemgå driftsindstillingerne
  • Overvåg opgaven i dit Fabric lakehouse

Vigtig

Data engineering-agenten (Project Osmos) er i preview. Forhåndsvisningsfunktioner udgives med begrænsede muligheder og er underlagt separate supplerende forhåndsvisningsvilkår. De er ikke beregnet til produktionsbrug, er ikke underlagt service-level agreements og kan kun være tilgængelige i udvalgte regioner. For mere information, se Microsoft Fabric forhåndsvisningsinformation.

Forudsætninger

Bekræft disse krav, inden du starter:

  • Et Fabric-arbejdsområde tildelt en berettiget Fabric-kapacitet. Fabric trial SKU'er understøttes ikke.
  • Et søhus i det arbejdsområde
  • Bidragyder eller højere tilladelse på arbejdsområdet
  • Aktivér følgende lejerindstillinger for din konto og kapacitet:
    • Brugerne kan bruge Copilot og andre funktioner, der leveres af Azure OpenAI
    • Brugere kan bruge Copilot, AI-agenter og andre AI-oplevelser drevet af OpenAI som en Microsoft-subprocessor (stærkt anbefalet for bedst ydeevne, men ikke påkrævet)
  • Følgende lejerindstillinger gælder kun, hvis din kapacitet er i en region, hvor OpenAI ikke er tilgængelig:
    • Data, der sendes til OpenAI som en Microsoft-underprocessor, kan behandles uden for din kapacitets geografiske område, compliance-grænse eller nationale cloud-instans
    • Data, der sendes til Azure OpenAI, kan gemmes uden for din kapacitets geografiske område, overholdelsesgrænse eller nationale cloudforekomst
  • Fra dine kapacitetsindstillinger anbefales det at aktivere AI-datatransformation , men det er ikke påkrævet, at aktivere AI-datatransformation
  • Azure CLI
  • En støttet lokal agent:

For konfigurationsvejledning, se Aktiver og konfigurer Copilot i Microsoft Fabric.

Installer data engineering agent (Project Osmos) færdigheden

Data engineering-agenten (Project Osmos) er inkluderet i Skills for Fabric-samlingen.

  1. Log ind på Azure med en identitet, der kan få adgang til målarbejdsområdet og lakehouse:

    az login

    Hvis du har adgang til flere Microsoft Entra-lejere, skal du logge ind på den lejer, der indeholder dit Fabric-arbejdsområde.

  2. Brug derefter kommandoerne for din lokale agent til at tilføje Skills for Fabric-markedet og installere Fabric-kollektionen.

    Start GitHub Copilot CLI:

    copilot

    Kør disse kommandoer inde i GitHub Copilot CLI:

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Genstart GitHub Copilot CLI, så de nye færdigheder bliver læsset.

    /quit

  2. Verificér installationen. Start GitHub Copilot CLI igen og kør:

    /skills

Bekræft, at Project Osmos, vist som project-osmos, er tilgængeligt.

Brug data engineering-agenten (Project Osmos)

Beskriv det komplette data engineering-resultat, som du ønsker, at data engineering-agenten (Project Osmos) leverer. Inkluder arbejdsområdet, lakehouse, kildedata, transformationer, forventede output og valideringskrav:

Beskriv den komplette end-to-end data engineering-opgave. Data engineering-agenten (Project Osmos) modtager det som ét projekt.

Omfatte:

  • Kilder: Tabeller, mapper, filer, notesbøger eller OneLake-ressourcer
  • Transformationer: Rensning, joins, filtre, beregninger eller skemaændringer
  • Output: Tabeller, notesbøger, filer eller resuméer
  • Validering: Rækketællinger, null-kontroller, unikhed, afstemning eller forretningsregler

Kilder og output er ikke begrænset til det arbejdsområde, hvor du oprettede opgaven. Hvis du har tilladelse til at tilgå en ressource, kan opgaven få adgang til ressourcen på dine vegne.

F.eks.:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Din lokale agent løser arbejdsområdet og søhuset, indsamler nødvendige sikkerheds- og outputvalg og opretter én fjernopgave til Project Osmos. Den giver et Fabric-opgavelink til overvågning af fremskridt.

Du behøver ikke finde arbejdsområde- eller lakehouse-ID'er eller opdele arbejdet i enklere trin. Angiv deres navne eller giv en Fabric lakehouse URL, og indsend hele resultatet som én opgave. Project Osmos står for planlægning, sekventering og validering.

Gennemgå opgaveindstillingerne

Før kørslen starter, klassificerer data engineering-agenten (Project Osmos) opgaven og anbefaler indstillinger.

Indstilling Anmeldelsesspørgsmål
Tilladelsesgrænse Hvilke navngivne ressourcer bør opgaven behandle som skrivebeskyttet eller skrivbar?
Sikkerhedsmønster Bør skrivninger bruge staging, klon-og-promovere, eller direkte iteration?
Promover trin Hvordan skal verificeret trindelt output blive det endelige output?
Rerun-semantik Skal et genkørsel fejle, tilføje, deduplikere eller erstatte eksisterende data?
Skemaudvikling Kan output-skemaet ændres, og under hvilke begrænsninger?
Artefaktformat Skal Project Osmos gemme en notesbog eller et andet artefakt?
Artefaktdestination Hvor bør genererede artefakter opbevares?
Ræsonnementforsøg Hvor grundigt bør Project Osmos undersøge implementeringsmuligheder?

Du kan ændre alle de anbefalede indstillinger.

Vigtig

Tilladelsesgrænsen styrer opgaven, men Fabric- og OneLake-tilladelser forbliver håndhævelsesgrænsen. Beskyt følsomme ressourcer med platformtilladelser.

Overvåg opgaven

Efter du har accepteret indstillingerne, kører Fabric data engineering-agenten (Project Osmos) opgaven med specialiserede agenter i SparkCore, returnerer et opgave-ID og åbner en Fabric lakehouse-side, der inkluderer:

  • Detaljer fra optagelsesspørgeskemaet
  • Specifikation
  • Aktuel status
  • Agentaktivitet

Fordi opgaven kører i Fabric på SparkCore i stedet for din lokale maskine, fortsætter den, når din computer er slukket. For at overvåge fremskridt skal du vælge dit lakehouse i Fabric, og derefter vælge opgaven i lakehouse explorer. Du kan også spørge din lokale agent om status på opgaven.

Brugsvejledning

  • Brug Project Osmos gennem en lokal agent som GitHub Copilot CLI, Claude Code eller Codex. Direkte interaktion med Project Osmos fra Copilot i Fabric-portalen understøttes ikke i øjeblikket.
  • Angiv det tilsigtede arbejdsområde og lakehouse ved navn, eller giv en Fabric lakehouse URL. Du behøver ikke selv finde ID'erne.
  • Brug Project Osmos til end-to-end dataengineering, der involverer lakehouses, OneLake, Spark, notesbøger og tabeller.
  • Bed din lokale agent om at tjekke status på en fjernopgave, sende opfølgende instruktioner, annullere opgaven eller slette den.
  • For at fortsætte arbejdet med en eksisterende opgave, angiv dens opgave-ID eller Fabric-opgavelink.
  • Gennemgå de foreslåede udførelses- og sikkerhedsvalg, før du tillader ændringer i vigtige eller produktionsdata.

Lav din første opgave

Dette eksempel kræver kun et tomt søhus. Project Osmos laver prøvedataene og alle nødvendige artefakter, så du kan bruge produktet uden først at forberede søhuset.

Brug Project Osmos til at skabe en lille detailmedaljonarkitektur. Bed først din lokale agent om at bruge Project Osmos:

Create a Project Osmos task

Efter du har identificeret dit søhus med navn eller URL, bliver du bedt om at definere et resultat for dit projekt. Angiv følgende:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Indsend hele prompten som én opgave. Project Osmos planlægger og sekvenserer arbejdet, opretter eksempeldata, tabeller og notesbøger, kører notesbøgerne i SparkCore og tjekker resultaterne.

Når opgaven er færdig, gennemgå disse artefakter:

  • Bronze-tabeller for kunder, produkt og salg, der bevarer eksemplarkildedata
  • Sølvtabeller med standardiserede datatyper, gyldige nøgler og rensede poster
  • Guldtabeller med daglige salg og kundeniveau-salgsoversigter
  • Tre notesbøger, der dokumenterer og kører bevægelsen mellem lagene
  • Valideringsresultater for rækketællinger, nøgler, relationer og omsætningstotaler

Yderligere eksempler på projektresultater for komplekse anvendelsestilfælde

Project Osmos er designet til komplette data engineering-resultater, herunder arbejde, der kræver kendskab til virksomhedsapplikationer, opdagelse af lakehouses, implementeringseksperimenter og validering. En anmodning sendt til GitHub Copilot uden Project Osmos kan måske give en plausibel notesbog eller kodedisposition, men den bruger ikke Project Osmos-arbejdsgangen til at inspicere det levende lakehouse, sammenligne implementeringsmuligheder, køre koden i Fabric SparkCore og fortsætte med at forfine løsningen baseret på faktiske resultater.

Opret en Dynamics 365 kundelivscyklusmodel

Dette korte project-resultat beder Project Osmos om at finde de tilgængelige applikationsdata:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Hvordan Project Osmos kan gribe det an: Project Osmos udforsker lakehouse for at afgøre, hvilke Dynamics 365-applikationer og Dataverse-tabeller der er tilgængelige. Den identificerer strukturer som konti, kontakter, leads, muligheder, aktiviteter, sager, ordrer og fakturaer; kortlægger deres relationer og statusværdier; og evaluerer, hvordan kunderejsen fra erhvervelse til salg og service skal repræsenteres. Den kører SparkCore-kode til at validere relationsdækning, duplikerede kunder, forældreløse aktiviteter, samlede pipelines, ordre- og fakturaafstemning samt beregninger i livscyklusfasen.

Hvorfor Project Osmos er bedre egnet: Uden Project Osmos er GitHub Copilot afhængig af, at du identificerer de relevante Dynamics 365- og Dataverse-tabeller, forklarer deres relationer og optionssæt-værdier samt udfører hver revision. Project Osmos kan starte med resultatet, undersøge søhuset og forfine implementeringen baseret på målte resultater.

Modellere SAP order-to-cash-data

Dette korte project-resultat beder Project Osmos om at fastslå, hvordan SAP-dataene er repræsenteret i dit søhus og bygge en brugbar order-to-cash-model:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Hvordan Project Osmos kan gribe det an: Project Osmos udforsker lakehouse for at identificere tilgængelige SAP-salgsordre-, leverings-, fakturerings-, kunde- og dokumentflowdata. Den leder efter strukturer som VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 og VBFA, eller tilsvarende udtrukne visninger. Den undersøger skemaer og prøveværdier, afgør om udtrækningen ligner SAP S/4HANA- eller SAP ECC-strukturer, og tester alternative joins og dokumentflow-logik. Derefter bygger den kuraterede tabeller og notesbøger og kører SparkCore-tjek for dubletter af forretningsnøgler, manglende dokumentlinks, mængdeafvigelser og afstemning mellem ordre og faktura.

Hvorfor Project Osmos er bedre egnet: GitHub Copilot brugt uden Project Osmos vil kræve, at du finder de relevante tabeller, forklarer SAP-relationerne, leverer skemaer, kører den genererede kode og returnerer fejl eller resultater for hver revision. Project Osmos udfører denne opdagelse og udførelse som en del af en vedvarende Fabric-opgave, der kører autonomt på SparkCore.

Afstem NetSuite-økonomier

Dette detaljerede project-resultat leverer forretningsreglerne, mens implementeringsdetaljerne overlades til Project Osmos:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Hvordan Project Osmos kunne gribe det an: Project Osmos undersøger, hvordan NetSuite-transaktioner, transaktionslinjer, konti, datterselskaber, regnskabsperioder, valutaer og regnskabsbøger er repræsenteret i lakehouset. Den vurderer muligheder for opslag, konsolidering, eliminering og valutakonvertering og bruger trinvise output til at sammenligne resultater. Den kører notebooks i SparkCore og validerer journalbalance, dokumentfuldstændighed, kortlægningsdækning og totaler fra kilde til output, før de endelige tabeller produceres.

Hvorfor Project Osmos er bedre egnet: Kodegenerering alene kan kode joins og beregninger, men den kan ikke pålideligt udlede, hvordan en specifik NetSuite-ekstraktion repræsenterer posteringer, regnskabsbøger, elimineringer og valutakurser eller bevise, at resultatet stemmer sammen uden en iterativ eksekverings- og valideringsloop.

Byg Salesforce-pipeline og prognostiser metrikker

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Sådan kan Project Osmos gribe det an: Project Osmos kortlægger tilgængelige Salesforce-objekter og udtrækker konto-, mulighed-, opportunity-historik-, Opportunity-linjepunkt-, produkt2-, bruger- og prognosedata. Den sammenligner aktuelle tilstande, historikbaserede og periodiske snapshot-tilgange og tester, hvordan udtrækningen repræsenterer valuta, sletninger, ejerændringer og stadieovergange. Den kører kandidatimplementeringer i SparkCore og sammenligner pipeline-totaler, konverteringsrater, prognoseresultater og historiske snapshots.

Hvorfor Project Osmos er bedre egnet: Dette resultat kræver mere end syntaktisk korrekt Spark. Project Osmos kombinerer Salesforce-domæneræsonnement med live datainspektion, gentagen udførelse og afstemning for at finde en implementering, der fungerer med kundens faktiske udtræknings- og historikstrategi.

Moderniser en eksisterende søhusrørledning

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Sådan kan Project Osmos gribe det an: Project Osmos inspicerer de aktuelle notesbøger, tabeller, skemaer og datamønstre; sammenligner vandmærke-, sammenfællings- og ændringssporingsmuligheder; og tester fejl- og genkørselsadfærd. Den kører begge implementeringer i SparkCore mod trindelte mål og sammenligner rækketællinger, duplikerede nøgler, håndtering af sene opdateringer, skema-kompatibilitet og outputtotaler.

Hvorfor Project Osmos er bedre egnet: Kodningsagenter alene kan antyde et inkrementellt mønster, men du skal levere implementeringskonteksten og udføre hver test. Project Osmos vurderer det eksisterende søhus og validerer konkurrerende design, før det anbefaler og implementerer den sikrere tilgang.

Opdater Skills for Fabric

I GitHub Copilot CLI eller Claude Code opdateres den installerede Fabric-samling:

/plugin update fabric-skills@fabric-collection

For Codex, kør codex plugin marketplace upgrade fabric-collection, og kør codex plugin add fabric-skills@fabric-collectionderefter .

Aktuelle begrænsninger

  • Data engineering agent (Project Osmos) er i øjeblikket ikke tilgængelig for arbejdsområder, der har outbound access protection aktiveret.

Relateret indhold

  • Last updated on