Hvad er Fabric data engineering-agent (Project Osmos)? (forhåndsversion)

Fabric data engineering agent (Project Osmos) er en autonom data engineering-kapacitet til Microsoft Fabric. Den kører vedvarende opgaver, der planlægger, udfører og validerer dataingeniørarbejde mod Fabric-ressourcer, du har tilladelse til at tilgå.

Fra en understøttet kommandolinjeklient indtaster du et Project-resultat (en beskrivelse af den komplette end-to-end data engineering-opgave) og vælger Fabric-lakehouset, der huser opgaven. Project Osmos kan inspicere data, oprette og teste Spark-notebooks, transformere data, skrive Delta-tabeller og validere resultater. Opgaver fortsætter med at køre i Fabric, efter at den lokale klient afbryder forbindelsen.

Vigtig

Data engineering-agenten (Project Osmos) er i preview. Forhåndsvisningsfunktioner udgives med begrænsede muligheder og er underlagt separate supplerende forhåndsvisningsvilkår. De er ikke beregnet til produktionsbrug, er ikke underlagt service-level agreements og kan kun være tilgængelige i udvalgte regioner. For mere information, se Microsoft Fabric forhåndsvisningsinformation.

Vigtige funktioner

Data engineering-agenten (Project Osmos) implementerer og udfører data engineering-opgaver i en managed Fabric-opgave. Den bruger SparkCore, persistent state, adgangskontroller, fremskridtssporing og validering mod måldata. Flere koordinerede agenter skaber og evaluerer flere implementeringsmuligheder for at levere output af produktionskvalitet.

Project Osmos tilføjer Fabric-specifikke funktioner:

  • Fabric-hostet eksekvering: Kode- og dataoperationer kører med Fabric Spark og OneLake i stedet for kun i et lokalt udviklingsmiljø.
  • Persistent opgavetilstand: Opgaven fortsætter med at køre, efter at den lokale klient afbrydes, og kan genoptages uden at starte forfra.
  • Lakehouse-kontekst: Project Osmos løser Fabric-arbejdsområdet og standard Spark-session lakehouse fra den lakehouse-URL, du angiver.
  • Operationelle sikkerhedsforanstaltninger: Før udførelsen gennemgår du indstillinger for tilladelser, skrivesikkerhed, gentagelsesadfærd, skemaudvikling, artefakter og ræsonnement.
  • Integreret validering: Opgaven kan køre genereret kode og tjekke rækkeantal, nulltal, skemaer og andre succeskriterier i målmiljøet.
  • Delt synlighed: Alle, der har adgang til søhuset, hvor du startede opgaven, kan tjekke dens fremgang og give input, hvis det er nødvendigt.

Disse funktioner omdanner et Project-resultat til en styret enhed for data engineering i stedet for et midlertidigt chat-svar.

Hvordan data engineering agent (Project Osmos) fungerer

Project Osmos bruger en administreret livscyklus for hver dataingeniøropgave:

  • Definér: Project-resultatet identificerer den komplette end-to-end data engineering-opgave, og lakehouse-URL'en identificerer det Fabric lakehouse, der huser det.
  • Plan: Project Osmos analyserer den tilgængelige kontekst og anbefaler driftsindstillinger til gennemgang.
  • Udfør: Opgaven kører i Fabric og kan oprette, teste og forfine data engineering-artefakter.
  • Valider: Opgaven kontrollerer sine output mod de specificerede succeskriterier og rapporterer resultaterne.
  • Overvåg: Opgaven forbliver tilgængelig fra kommandolinjeklienten og lakehouse-opgaveoplevelsen.

Det valgte søhus er standard søhus for Spark-sessionen. Det er ikke automatisk den eneste kilde eller destination. Dit Project-resultat, Fabric-tilladelser og gennemgåede driftsindstillinger bestemmer opgavens omfang.

For trin til at oprette din første opgave, se Kom i gang med Project Osmos.

Vælg et passende brugsscenarie

Project Osmos er designet til resultatorienteret dataingeniørarbejde, der drager fordel af autonom planlægning, udførelse og validering.

Brugsscenarie Eksempel på udfald
Dataforberedelse Rens salgsfiler, standardiser typer, fjern ugyldige rækker, og skriv en valideret Delta-tabel.
Tabelintegration Sammenlæg ordrer, kunder og produktdata, og lav derefter en kurateret tabel til downstream-analyser.
Modernisering af Lakehouse Konverter en eksisterende transformation til Spark, lav en testet notesbog, og valider det nye output.
Medaljonarkitektur Byg bronze-, sølv- og guldtransformationer ud fra kildefiler som én samlet opgave.
Datakvalitetsafhjælpning Profiler en tabel, identificer kvalitetsproblemer, anvend godkendte rettelser, og rapportér før- og eftermålinger.
Resultater og forbedring Gennemgå Delta-tabeller, anbefal ændringer i opdelinger eller layout, implementere godkendte ændringer og mål resultater.
Hjælp til overførsel Transformér legacy-ekstrakter til en Fabric-klar model, mens forretningsregler bevares og totaler valideres.

Project Osmos er bygget til at løse udfordringer inden for data engineering. Det er ikke beregnet til en hurtig forespørgsel, ændring i Power BI-rapporten eller andre ikke-data engineering-opgaver.

Arbejd på tværs af CLI og Fabric

Project Osmos bruger to forbundne oplevelser. Du opretter og styrer opgaver fra din kommandolinje og ser opgavefremskridt i Fabric-applikationen:

  • Kommandolinje-erfaring: Brug GitHub Copilot CLI, Codex eller Claude Code til at oprette en opgave, indtaste et Project-resultat, gennemgå driftsindstillinger og sende opfølgende vejledning.
  • Fabric lakehouse-oplevelse: Gennemse lakehousets opgaver, tjek status, åbn en opgave, gennemgå aktivitet og fejl samt inspicer producerede resultater.

Begge oplevelser refererer til den samme Fabric-hostede opgave og opgave-ID.

Næste trin

  • Last updated on