Vad är Fabric data engineering agent (Project Osmos)? Preview

Fabric data engineering-agent (Project Osmos) är en autonom dataingenjörsfunktion för Microsoft Fabric. Den kör persistenta uppgifter som planerar, utför och validerar dataingenjörsarbete mot Fabric-resurser du har behörighet att komma åt.

Från en kommandoradsklient som stöds anger du ett projektutfall (en beskrivning av den fullständiga data engineering-uppgiften från början till slut) och väljer det Fabric-lakehouse som är värd för uppgiften. Project Osmos kan inspektera data, skapa och testa Spark-notebooks, transformera data, skriva Delta-tabeller och validera resultat. Uppgifter fortsätter att köras i Fabric efter att den lokala klienten kopplat bort.

Important

Data engineering-agenten (Project Osmos) är i förhandsvisning. Förhandsvisningsfunktioner släpps med begränsade möjligheter och omfattas av separata kompletterande förhandsvisningsvillkor. De är inte avsedda för produktionsbruk, omfattas inte av serviceavtal och kan vara tillgängliga endast i utvalda regioner. Mer information finns i Förhandsversionsinformation för Microsoft Fabric.

Viktiga funktioner

Data engineering-agenten (Project Osmos) implementerar och utför data engineering-uppgifter i en managed Fabric-uppgift. Den använder SparkCore, persistent state, åtkomstkontroller, framstegsspårning och validering mot måldata. Flera samordnade agenter skapar och utvärderar flera implementeringsalternativ för att leverera produktion av hög kvalitet.

Project Osmos lägger till Fabric-specifika funktioner:

  • Fabric-hostad exekvering: Kod- och dataoperationer körs med Fabric Spark och OneLake istället för endast i en lokal utvecklingsmiljö.
  • Beständigt uppgiftstillstånd: Uppgiften fortsätter att köras efter att den lokala klienten kopplar från och kan återupptas utan att börja om.
  • Lakehouse-kontext: Project Osmos identifierar Fabric-arbetsytan och standard-Spark-sessionens lakehouse från den lakehouse-URL som du anger.
  • Operativa skyddsmekanismer: Före körning granskar du inställningar för behörigheter, skrivsäkerhet, beteende vid omkörning, schemaändringar, artefakter och resonemangsinsats.
  • Integrerad validering: Uppgiften kan köra genererad kod och kontrollera radantal, nulltal, scheman och andra framgångskriterier i målmiljön.
  • Gemensam synlighet: Alla som har tillgång till sjöhuset där du startade uppgiften kan följa dess framsteg och ge input om det behövs.

Dessa funktioner förvandlar ett Project-resultat till en hanterad enhet för dataingenjörsarbete snarare än ett tillfälligt chattsvar.

Hur data engineering-agenten (Project Osmos) fungerar

Project Osmos använder en hanterad livscykel för varje dataingenjörsuppgift:

  • Definiera: Projektresultatet identifierar den fullständiga data engineering-uppgiften från början till slut, och lakehouse-URL:en identifierar det Fabric-lakehouse som är värd för uppgiften.
  • Plan: Project Osmos analyserar det tillgängliga sammanhanget och rekommenderar driftinställningar för granskning.
  • Utför: Uppgiften körs i Fabric och kan skapa, testa och förfina dataingenjörsartefakter.
  • Validera: Uppgiften kontrollerar sina utdata mot de angivna framgångskriterierna och rapporterar resultaten.
  • Övervaka: Uppgiften är fortfarande tillgänglig från kommandoradsklienten och Lakehouse-uppgiftsupplevelsen.

Det valda sjöhuset är standardhytten för Spark-sessionen. Det är inte automatiskt den enda källan eller destinationen. Ditt Project-resultat, Fabric-behörigheter och granskade driftinställningar avgör uppgiftens omfattning.

För steg för att skapa din första uppgift, se Kom igång med Project Osmos.

Välj ett lämpligt användningsområde

Project Osmos är utformat för resultatorienterat dataingenjörsarbete som gynnas av autonom planering, genomförande och validering.

Användningsfall Exempel på utfall
Dataförberedelse Rensa försäljningsfiler, standardisera typer, ta bort ogiltiga rader och skriv en validerad Delta-tabell.
Tabellintegration Slå ihop order, kunder och produktdata och skapa sedan en kurerad tabell för nedströmsanalys.
Modernisering av Lakehouse Konvertera en befintlig transformation till Spark, skapa en testad anteckningsbok och validera det nya resultatet.
Medallionarkitektur Bygg brons-, silver- och guldtransformationer från källfiler som en komplett uppgift.
Datakvalitetsåterställning Profilera en tabell, identifiera kvalitetsbrister, tillämpa godkända åtgärder och rapportera före- och efter-mått.
Prestandaförbättring Gå igenom Delta-tabeller, rekommendera ändringar i partitionering eller layout, implementera godkända ändringar och mät resultat.
Hjälp med migrering Omvandla äldre datautdrag till en modell redo för Fabric samtidigt som affärsregler bevaras och totalsummor valideras.

Project Osmos är byggt för att lösa utmaningar inom dataingenjörskonst. Den är inte avsedd för en snabb förfrågan, en ändring i Power BI-rapporten eller andra icke-dataingenjörsuppgifter.

Arbeta över CLI och Fabric

Project Osmos använder två sammanlänkade upplevelser. Du skapar och styr uppgifter från din kommandorad och ser uppgiftsframsteg i Fabric-applikationen:

  • Kommandoradserfarenhet: Använd GitHub Copilot CLI, Codex eller Claude Code för att skapa en uppgift, mata in ett Project-resultat, granska driftinställningar och skicka uppföljande vägledning.
  • Fabric lakehouse-upplevelse: Bläddra bland lakehouses uppgifter, kontrollera status, öppna en uppgift, granska aktivitet och fel samt inspektera producerade resultat.

Båda upplevelserna avser samma Fabric-hostade uppgift och uppgifts-ID.

Nästa steg

  • Uppdaterades senast