Kom i gang med Fabric data engineering-agent (Project Osmos) – forhåndsvisning

I denne quickstarten installerer du ferdigheten Fabric data engineering agent (Project Osmos) for GitHub Copilot CLI, Claude Code eller Codex, lager en oppgave for et Fabric lakehouse, og åpner oppgaven i Fabric.

I denne quickstarten gjør du:

  • Bekreft Fabric og lokale forutsetninger
  • Installer Skills for Fabric-pluginen, som inkluderer ferdigheten data engineering agent (Project Osmos)
  • Lag en oppgave som implementerer en retail medallion-arkitektur
  • Gå gjennom driftsinnstillingene
  • Følg med på oppgaven i ditt Fabric-hytte ved innsjøen

Important

Data engineering-agenten (Project Osmos) er i forhåndsvisning. Forhåndsvisningsfunksjoner slippes med begrensede muligheter og er underlagt separate tilleggsforhåndsvisningsvilkår. De er ikke ment for produksjonsbruk, er ikke underlagt serviceavtaler, og kan være tilgjengelige kun i utvalgte regioner. For mer informasjon, se Microsoft Fabric forhåndsvisningsinformasjon.

Forutsetninger

Bekreft disse kravene før du starter:

  • Et Fabric-arbeidsområde tildelt en kvalifisert Fabric-kapasitet. Fabric trial SKU-er støttes ikke.
  • Et innsjøhus i det arbeidsområdet
  • Bidragsyter eller høyere tillatelse på arbeidsområdet
  • Aktiver følgende leietakerinnstillinger for din konto og kapasitet:
    • Brukere kan bruke Copilot og andre funksjoner som drives av Azure OpenAI
    • Brukere kan bruke Copilot, AI-agenter og andre AI-opplevelser drevet av OpenAI som en Microsoft Subprocessor (sterkt anbefalt for best ytelse, men ikke påkrevd)
  • Følgende leietakerinnstillinger gjelder kun hvis kapasiteten din er i et område hvor OpenAI ikke er tilgjengelig:
    • Data sendt til OpenAI som en Microsoft-underprosessor kan behandles utenfor kapasitetens geografiske område, samsvarsgrense eller nasjonal skyinstans
    • Data som sendes til Azure OpenAI, kan lagres utenfor kapasitetens geografiske område, samsvarsgrense eller nasjonale skyforekomst
  • Fra dine kapasitetsinnstillinger anbefales det å aktivere AI-datatransformasjon , men det er ikke påkrevd
  • Azure CLI
  • En støttet lokal agent:

For konfigurasjonsveiledning, se Aktiver og konfigurer Copilot i Microsoft Fabric.

Forstå OpenAI-subprosessorinnstillingen

Innstillingen Brukere kan bruke Copilot, AI-agenter og andre AI-opplevelser drevet av OpenAI som Microsoft-subprosessor, kontrollerer tilgangen til modeller som OpenAI opererer. Disse modellene skiller seg fra Azure OpenAI-modellene, som Microsoft opererer.

For Project Osmos har settingen følgende effekt:

Innstilling Effekt på Project Osmos
Aktivert for din konto og kapasitet Tillater bruk av OpenAI-drevne modeller, med forbehold om modell- og regional tilgjengelighet samt andre nødvendige innstillinger.
Deaktivert Project Osmos kan fortsatt brukes med den nødvendige Azure OpenAI-innstillingen aktivert, men OpenAI-drevne modeller er ikke tilgjengelige gjennom denne innstillingen.

Denne valgfrie innstillingen erstatter ikke Brukere kan bruke Copilot og andre funksjoner drevet av Azure OpenAI eller gjeldende regionale prosesserings- og lagringsinnstillinger. Visningsnavnet betyr ikke at deaktivering deaktiverer alle Copilot- eller AI-opplevelser.

Før du aktiverer det, bør du gjennomgå organisasjonens databehandlingsbehov og OpenAI som en underprosessor i Microsoft Fabric. For konfigurasjon av leietaker og delegert kapasitet, se Copilot- og agent-leietakerinnstillinger.

Installer ferdigheten data engineering agent (Project Osmos)

Dataingeniøragenten (Project Osmos) er inkludert i samlingen Skills for Fabric.

  1. Logg inn på Azure med en identitet som kan få tilgang til målarbeidsområdet og lakehouse:

    az login

    Hvis du har tilgang til flere Microsoft Entra-leietakere, logg inn på den leietakeren som inneholder ditt Fabric-arbeidsområde.

  2. Bruk deretter kommandoene til din lokale agent for å legge til Skills for Fabric-markedet og installere Fabric-kolleksjonen.

    Start GitHub Copilot CLI:

    copilot

    Kjør disse kommandoene inne i GitHub Copilot CLI:

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Start GitHub Copilot CLI på nytt slik at de nye ferdighetene lastes.

    /quit

  2. Verifiser installasjonen. Start GitHub Copilot CLI på nytt og kjør:

    /skills

Bekreft at Project Osmos, vist som project-osmos, er tilgjengelig.

Bruk dataingeniøragenten (Project Osmos)

Beskriv det komplette data engineering-resultatet du ønsker at data engineering-agenten (Project Osmos) skal levere. Inkluder arbeidsområdet, lakehouse, kildedata, transformasjoner, forventede resultater og valideringskrav:

Beskriv den komplette ende-til-ende dataingeniøroppgaven. Dataingeniøragenten (Project Osmos) mottar det som ett prosjekt.

Inkludere:

  • Kilder: Tabeller, mapper, filer, notatbøker eller OneLake-ressurser
  • Transformasjoner: Rensing, joins, filtre, beregninger eller skjemaendringer
  • Utdata: Tabeller, notatbøker, filer eller sammendrag
  • Validering: Radanteller, nullsjekker, unikhet, avstemming eller forretningsregler

Kilder og utdata er ikke begrenset til arbeidsområdet der du opprettet oppgaven. Hvis du har tillatelse til å få tilgang til en ressurs, kan oppgaven få tilgang til ressursen på dine vegne.

Eksempel:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Din lokale agent løser arbeidsområdet og innsjøhuset, samler inn nødvendige sikkerhets- og utgangsvalg, og oppretter én ekstern Project Osmos-oppgave. Den gir en Fabric-oppgavelenke for å overvåke fremdrift.

Du trenger ikke å finne arbeidsplass- eller lakehouse-ID-er eller dele opp arbeidet i enklere trinn. Spesifiser navnene deres eller oppgi en Fabric lakehouse-URL, og send inn hele resultatet som én oppgave. Project Osmos håndterer planlegging, sekvensering og validering.

Gå gjennom oppgaveinnstillingene

Før kjøringen starter, klassifiserer dataingeniøragenten (Project Osmos) oppgaven og anbefaler innstillinger.

Innstilling Gjennomgangsspørsmål
Tillatelsesgrense Hvilke navngitte ressurser bør oppgaven behandle som skrivebeskyttet eller skrivbar?
Sikkerhetsmønster Bør forfattere bruke staging, klone og promotere, eller direkte iterasjon?
Fremhev steg Hvordan skal verifisert trinnvis utgang bli den endelige utgangen?
Rerun-semantikk Bør en omkjøring feile, legge til, deduplisere eller erstatte eksisterende data?
Skjemautvikling Kan utgangsskjemaet endres, og under hvilke begrensninger?
Artefaktformat Bør Project Osmos lagre en notatbok eller et annet artefakt?
Artefaktdestinasjon Hvor bør genererte artefakter lagres?
Resonnementsinnsats Hvor grundig bør Project Osmos utforske implementeringsmuligheter?

Du kan endre alle de anbefalte innstillingene.

Important

Tillatelsesgrensen styrer oppgaven, men Fabric- og OneLake-tillatelser forblir håndhevelsesgrensen. Beskytt sensitive ressurser med plattformtillatelser.

Overvåk oppgaven

Etter at du har akseptert innstillingene, kjører Fabric data engineering-agenten (Project Osmos) oppgaven med spesialiserte agenter i SparkCore, returnerer en oppgave-ID, og åpner en Fabric lakehouse-side som inkluderer:

  • Detaljer fra inntaksskjemaet
  • Spesifikasjon
  • Gjeldende status
  • Agentaktivitet

Fordi oppgaven kjører i Fabric på SparkCore i stedet for på din lokale maskin, fortsetter den når datamaskinen din er av. For å følge fremdriften, velg ditt innsjøhus i Fabric, og velg deretter oppgaven i innsjøhusutforskeren. Du kan også spørre din lokale agent om statusen på oppgaven.

Oppgaveutførelse bruker både språkmodelltokens og Spark-beregning, inkludert testing og valideringskjøringer. Før du starter flere oppgaver på delt kapasitet, gjennomgå Project Osmos kapasitetsforbruk og planlegg for delt kapasitetsbruk.

Bruksveiledning

  • Bruk Project Osmos gjennom en lokal agent som GitHub Copilot CLI, Claude Code eller Codex. Direkte interaksjon med Project Osmos fra Copilot i Fabric-portalen støttes for øyeblikket ikke.
  • Spesifiser det tiltenkte arbeidsområdet og lakehouse ved navn, eller oppgi en Fabric lakehouse-URL. Du trenger ikke å finne ID-ene selv.
  • Bruk Project Osmos for ende-til-ende dataingeniørarbeid som involverer innsjøhus, OneLake, Spark, notatbøker og tabeller.
  • Be din lokale agent sjekke statusen på en fjernoppgave, sende oppfølgingsinstruksjoner, avbryte oppgaven eller slette den.
  • For å fortsette å jobbe med en eksisterende oppgave, oppgi dens oppgave-ID eller Fabric-oppgavelenke.
  • Gå gjennom de foreslåtte gjennomførings- og sikkerhetsvalgene før du tillater endringer i viktige eller produksjonsdata.

Lag din første oppgave

Dette eksempelet krever kun et tomt innsjøhus. Project Osmos lager prøvedataene og alle nødvendige artefakter, slik at du kan bruke produktet uten å forberede innsjøhuset først.

Bruk Project Osmos for å lage en liten butikkmedaljongarkitektur. Be først din lokale megler om å bruke Project Osmos:

Create a Project Osmos task

Etter at du har identifisert hytta ved innsjøen med navn eller URL, blir du bedt om å definere et resultat for prosjektet ditt. Skriv inn følgende:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Send inn hele oppgaven som én oppgave. Project Osmos planlegger og sekvenserer arbeidet, lager eksempeldata, tabeller og notatbøker, kjører notatbøkene i SparkCore og sjekker resultatene.

Når oppgaven er ferdig, gjennomgå disse artefaktene:

  • Bronsetabeller for kunde, produkt og salg som bevarer eksempelkildedataene
  • Sølvtabeller med standardiserte datatyper, gyldige nøkler og rensede poster
  • Gulltabeller med daglige salgsoppsummeringer og oppsummeringer på kundenivå
  • Tre notatbøker som dokumenterer og kjører bevegelsen mellom lagene
  • Valideringsresultater for radantall, nøkler, relasjoner og inntektstotaler

Ytterligere eksempler på prosjektresultater for komplekse brukstilfeller

Project Osmos er designet for komplette data engineering-resultater, inkludert arbeid som krever kunnskap om bedriftsapplikasjoner, oppdagelse av innsjøer, implementeringseksperimenter og validering. En forespørsel sendt til GitHub Copilot uten Project Osmos kan gi en plausibel notatbok eller kodedisposisjon, men den bruker ikke Project Osmos-arbeidsflyten for å inspisere det levende innsjøhuset, sammenligne implementasjonsalternativer, kjøre koden i Fabric SparkCore, og fortsette å forbedre løsningen basert på faktiske resultater.

Lag en Dynamics 365 kundelivssyklusmodell

Dette konsise project-resultatet ber Project Osmos om å finne tilgjengelige søknadsdata:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Hvordan Project Osmos kan nærme seg det: Project Osmos utforsker lakehouse for å finne ut hvilke Dynamics 365-applikasjoner og Dataverse-tabeller som er tilgjengelige. Den identifiserer strukturer som kontoer, kontakter, leads, muligheter, aktiviteter, saker, ordrer og fakturaer; kartlegger deres relasjoner og statusverdier; og evaluerer hvordan kundereisen fra anskaffelse til salg og service skal representeres. Den kjører SparkCore-kode for å validere relasjonsdekning, duplikatkunder, foreldreløse aktiviteter, pipelinetotaler, ordre- og fakturaavstemming, samt livssyklusberegninger.

Hvorfor Project Osmos er bedre egnet: Uten Project Osmos er GitHub Copilot avhengig av at du identifiserer relevante Dynamics 365- og Dataverse-tabeller, forklarer deres relasjoner og verdier i opsjonssett, og kjører hver revisjon. Project Osmos kan starte med resultatet, undersøke innsjøhuset og forbedre gjennomføringen basert på målte resultater.

Modellere SAP-ordre-til-kontant-data

Dette konsise project-resultatet ber Project Osmos om å finne ut hvordan SAP-dataene er representert i din lakehouse og bygge en nyttig order-to-cash-modell:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Hvordan Project Osmos kan nærme seg det: Project Osmos utforsker lakehouse for å identifisere tilgjengelige SAP-salgsordre-, leverings-, fakturerings-, kunde- og dokumentflytdata. Den ser etter strukturer som VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 og VBFA, eller tilsvarende uttrukne visninger. Den undersøker skjemaer og sampleverdier, avgjør om ekstraksjonen ligner SAP S/4HANA- eller SAP ECC-strukturer, og tester alternative joins og dokumentflytlogikk. Deretter bygger den kuraterte tabeller og notatbøker og kjører SparkCore-sjekker for duplikate forretningsnøkler, manglende dokumentlenker, mengdeavvik og avstemming fra ordre til faktura.

Hvorfor Project Osmos er bedre egnet: GitHub Copilot brukt uten Project Osmos krever at du finner de relevante tabellene, forklarer SAP-relasjonene, gir skjemaer, kjører den genererte koden og returnerer feil eller resultater for hver revisjon. Project Osmos utfører denne oppdagelsen og kjøringen som en del av en persistent Fabric-oppgave som kjører autonomt på SparkCore.

Avstem NetSuite-økonomien

Dette detaljerte prosjekt-resultatet gir forretningsreglene, samtidig som implementeringsdetaljene overlates til Project Osmos:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Hvordan Project Osmos kan nærme seg det: Project Osmos undersøker hvordan NetSuite-transaksjoner, transaksjonslinjer, regnskaper, datterselskaper, regnskapsperioder, valutaer og regnskapsbøker er representert i lakehouse. Den evaluerer alternativer for publisering, konsolidering, eliminering og valutakonvertering, og bruker trinnvise resultater for å sammenligne resultater. Den kjører notatbøkene i SparkCore og validerer journalbalanse, dokumentfullstendighet, kartleggingsdekning og totaler fra kilde til utgang før de endelige tabellene produseres.

Hvorfor Project Osmos er bedre egnet: Kodegenerering alene kan kode sammenkoblinger og beregninger, men den kan ikke pålitelig utlede hvordan en spesifikk NetSuite-uttrekking representerer posteringer, regnskapsbøker, elimineringer og valutakurser, eller bevise at resultatet stemmer sammen uten en iterativ kjørings- og valideringssløyfe.

Bygg Salesforce-pipeline og prognostiser målinger

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Hvordan Project Osmos kan nærme seg det: Project Osmos kartlegger tilgjengelige Salesforce-objekter og henter ut data fra konto, mulighet, mulighetshistorikk, mulighetslinjepunkt, produkt2, bruker- og prognosedata. Den sammenligner nåværende tilstand, historikkbaserte og periodiske snapshot-tilnærminger og tester hvordan utvinningen representerer valuta, slettinger, eierendringer og faseoverganger. Den kjører kandidatimplementasjoner i SparkCore og sammenligner pipeline-totaler, konverteringsrater, prognoseresultater og historiske øyeblikksbilder.

Hvorfor Project Osmos passer bedre: Dette utfallet krever mer enn bare syntaktisk korrekt Spark. Project Osmos kombinerer Salesforce-domeneresonnement med sanntids datainspeksjon, gjentatt kjøring og avstemming for å finne en implementering som fungerer med kundens faktiske utvinnings- og historikkstrategi.

Moderniser en eksisterende vannhusrørledning

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Hvordan Project Osmos kan nærme seg det: Project Osmos inspiserer gjeldende notatbøker, tabeller, skjemaer og datamønstre; sammenligner alternativer for vannmerker, sammenslåing og endringssporing; og tester feil- og rerun-atferd. Den kjører begge implementasjonene i SparkCore mot trinnvise mål og sammenligner radantall, duplikatnøkler, håndtering av sene oppdateringer, skjemakompatibilitet og totalutdata.

Hvorfor Project Osmos egner seg bedre: Kodingsagenter som brukes alene kan antyde et inkrementelt mønster, men du må levere implementeringskonteksten og utføre hver test. Project Osmos vurderer det eksisterende innsjøhuset og validerer konkurrerende design før det anbefaler og implementerer den sikrere tilnærmingen.

Oppdater ferdigheter for Fabric

I GitHub Copilot CLI eller Claude Code, oppdater den installerte Fabric-samlingen:

/plugin update fabric-skills@fabric-collection

For Codex, kjør codex plugin marketplace upgrade fabric-collection, og deretter kjør codex plugin add fabric-skills@fabric-collection.

Gjeldende begrensninger

  • Data engineering agent (Project Osmos) er for øyeblikket ikke tilgjengelig for arbeidsområder som har utgående tilgangsbeskyttelse aktivert.

Relatert innhold

  • Sist oppdatert