Wat is een Fabric data engineering agent (Project Osmos)? (voorvertoning)

Fabric data engineering agent (Project Osmos) is een autonome data engineering-capaciteit voor Microsoft Fabric. Het voert persistente taken uit die data engineering-werk plannen, uitvoeren en valideren op Fabric-resources waar je toegang toe hebt.

Vanuit een ondersteunde commandoregelclient voer je een Project-resultaat in (een beschrijving van de volledige end-to-end data engineering-taak) en selecteer je het Fabric lakehouse dat de taak host. Project Osmos kan data inspecteren, Spark-notebooks maken en testen, data transformeren, Delta-tabellen schrijven en resultaten valideren. Taken blijven draaien in Fabric nadat de lokale client de verbinding heeft verbroken.

Important

De Data Engineering-agent (Project Osmos) is beschikbaar als preview. Preview-functies worden uitgebracht met beperkte mogelijkheden en zijn onderhevig aan aparte aanvullende previewvoorwaarden. Ze zijn niet bedoeld voor productiegebruik, zijn niet onderhevig aan service-level agreements en zijn mogelijk alleen beschikbaar in geselecteerde regio's. Zie Microsoft Fabric preview-informatie voor meer informatie.

Belangrijkste mogelijkheden

De data engineering agent (Project Osmos) implementeert en voert data engineering-taken uit in een managed Fabric-taak. Het gebruikt SparkCore, persistent state, toegangscontroles, voortgangstracking en validatie tegen doeldata. Meerdere gecoördineerde agenten creëren en evalueren meerdere implementatieopties om productiekwaliteit output te leveren.

Project Osmos voegt Fabric-specifieke mogelijkheden toe:

  • Fabric-gehoste uitvoering: Code- en dataoperaties worden uitgevoerd met Fabric Spark en OneLake in plaats van alleen in een lokale ontwikkelomgeving.
  • Persistente taakstatus: De taak blijft draaien nadat de lokale client de verbinding heeft verbroken en kan worden hervat zonder opnieuw te beginnen.
  • Lakehousecontext: Project Osmos leidt de Fabric-werkruimte en het standaardlakehouse van de Spark-sessie af uit de lakehouse-URL die je opgeeft.
  • Operationele randvoorwaarden: Voordat je iets uitvoert, controleer je de instellingen voor machtigingen, schrijfveiligheid, gedrag bij opnieuw uitvoeren, schema-evolutie, artefacten en redeneerinspanning.
  • Geïntegreerde validatie: De taak kan gegenereerde code uitvoeren en rijaantallen, nullen, schema's en andere succescriteria controleren in de doelomgeving.
  • Gedeelde zichtbaarheid: Iedereen die toegang heeft tot het meerhuis waar je de taak hebt gestart, kan de voortgang bekijken en indien nodig input geven.

Deze mogelijkheden maken van een Project-resultaat een beheerde eenheid van data engineering in plaats van een vluchtig chatantwoord.

Hoe data engineering agent (Project Osmos) werkt

Project Osmos gebruikt een beheerde levenscyclus voor elke data engineering-taak:

  • Definieer: Het Project-resultaat identificeert de volledige end-to-end data engineering-taak, en de lakehouse-URL identificeert het Fabric lakehouse dat het host.
  • Plan: Project Osmos analyseert de beschikbare context en beveelt operationele instellingen aan voor beoordeling.
  • Uitvoeren: De taak draait in Fabric en kan data engineering-artefacten creëren, testen en verfijnen.
  • Valideer: De taak controleert zijn output aan de hand van de gespecificeerde succescriteria en rapporteert de resultaten.
  • Monitor: De taak blijft beschikbaar via de commandoregelclient en de lakehouse-taakervaring.

Het geselecteerde lakehouse is het standaard lakehouse voor de Spark-sessie. Het is niet automatisch de enige bron of bestemming. Je Project-resultaat, Fabric-toestemmingen en beoordeelde operationele instellingen bepalen de reikwijdte van de taak.

Voor stappen om je eerste taak te maken, zie Get Start with Project Osmos.

Kies een geschikt gebruiksscenario

Project Osmos is ontworpen voor resultaatgerichte data engineering die profiteert van autonome planning, uitvoering en validatie.

Gebruiksituatie Voorbeelduitkomst
Gegevensvoorbereiding Maak verkoopbestanden schoon, standaardiseer types, verwijder ongeldige rijen en schrijf een gevalideerde Delta-tabel.
Tabelintegratie Voeg orders, klanten en productgegevens samen en maak vervolgens een samengestelde tabel voor downstream analytics.
Modernisering van het Lakehouse Zet een bestaande transformatie om in Spark, maak een getest notitieboekje en valideer de nieuwe output.
Medaillonarchitectuur Bouw brons-, zilver- en goudtransformaties uit bronbestanden als één complete taak.
Remediatie van gegevenskwaliteit Analyseer een tabel, identificeer kwaliteitsproblemen, pas goedgekeurde correcties toe en rapporteer metriekwaarden van vóór en na de wijzigingen.
Prestatieverbetering Bekijk Delta-tabellen, beveel partitie- of layoutwijzigingen aan, voer goedgekeurde wijzigingen uit en meet resultaten.
Ondersteuning bij migratie Zet bestaande extracten om in een model dat klaar is voor Fabric, terwijl je bedrijfsregels behoudt en totalen valideert.

Project Osmos is gebouwd om uitdagingen op het gebied van data engineering op te lossen. Het is niet bedoeld voor een snelle query, een wijziging van een Power BI-rapport, of andere niet-data engineering taken.

Werken in de CLI en Fabric

Project Osmos gebruikt twee verbonden ervaringen. Je maakt taken aan en stuurt deze vanuit je commandoregel en bekijkt de voortgang van de taken in de Fabric-applicatie:

  • Commandoregelervaring: Gebruik GitHub Copilot CLI, Codex of Claude Code om een taak aan te maken, een Project-uitkomst in te voeren, operationele instellingen te bekijken en vervolginstructies te sturen.
  • Fabric lakehouse-ervaring: Blader door de taken van het lakehouse, controleer de status, open een taak, controleer de activiteit en fouten en inspecteer de gegenereerde uitvoer.

Beide ervaringen verwijzen naar dezelfde door Fabric gehoste taak en taak-ID.

Volgende stappen 

  • Laatst bijgewerkt om