Mikä on Fabric data engineering agent (Project Osmos)? Esikatselu

Fabric-data-insinööriagentti (Project Osmos) on autonominen data-insinööritoiminto Microsoft Fabric:lle. Se suorittaa pysyviä tehtäviä, jotka suunnittelevat, suorittavat ja validoivat data-insinöörityötä Fabric-resursseilla, joihin sinulla on oikeus päästä käsiksi.

Tuetusta komentoriviasiakkaasta syötät Project-tuloksen (kuvaus koko päästä päähän -data-insinööritehtävästä) ja valitset tehtävän isännöivän Fabric Lakehousen. Project Osmos voi tarkastaa dataa, luoda ja testata Spark-muistikirjoja, muuntaa dataa, kirjoittaa Delta-taulukoita ja validoida tuloksia. Tehtävät jatkuvat Fabric-tilassa paikallisen asiakkaan katkaistua.

Tärkeää

Data engineering -agentti (Project Osmos) on esikatseluvaiheessa. Esikatseluominaisuudet julkaistaan rajoitetuilla ominaisuuksilla ja niihin sovelletaan erillisiä lisäesikatseluehtoja. Niitä ei ole tarkoitettu tuotantokäyttöön, ne eivät ole palvelutason sopimusten alaisia, ja ne saattavat olla saatavilla vain valituilla alueilla. Lisätietoja löytyy Microsoft Fabric esikatselutiedot.

Tärkeimmät ominaisuudet

Data-insinööriagentti (Project Osmos) toteuttaa ja suorittaa data-insinööritehtäviä hallitussa Fabric-tehtävässä. Se käyttää SparkCorea, pysyvää tilaa, käyttöoikeuksien hallintaa, edistymisen seurantaa ja validointia kohdedataa vastaan. Useat koordinoidut agentit luovat ja arvioivat useita toteutusvaihtoehtoja tuottaakseen tuotantolaatuista tulosta.

Project Osmos lisää Fabric-kohtaisia ominaisuuksia:

  • Fabric-isännöity suoritus: Koodi- ja dataoperaatiot toimivat Fabric Sparkilla ja OneLakella, eivätkä pelkästään paikallisessa kehitysympäristössä.
  • Pysyvä tehtävätila: Tehtävä jatkuu sen jälkeen, kun paikallinen asiakas katkeaa, ja sitä voi jatkaa ilman alusta aloittamista.
  • Lakehouse-konteksti: Project Osmos ratkaisee Fabric-työtilan ja oletus-Spark-session lakehousen antamasi lakehouse-URL-osoitteen perusteella.
  • Toiminnalliset suojakaiteet: Ennen suoritusta tarkistat käyttöoikeudet, kirjoitusturvallisuuden, uudelleensuorituskäyttäytymisen, skeeman kehityksen, artefaktit ja päättelytoiminnan.
  • Integroitu validointi: Tehtävä voi suorittaa generoitua koodia ja tarkistaa rivimäärät, nollaluvut, skeemat ja muut onnistumiskriteerit kohdeympäristössä.
  • Jaettu näkyvyys: Jokainen, jolla on pääsy järvenmajaan, jossa tehtävä käynnistettiin, voi tarkistaa sen etenemisen ja antaa tarvittaessa palautetta.

Nämä kyvykkyydet muuttavat Project-tuloksen hallituksi data-insinöörityön yksiköksi sen sijaan, että se olisi ohimenevä chat-vastaus.

Miten data-insinööriagentti (Project Osmos) toimii

Project Osmos käyttää hallittua elinkaaria jokaiselle data-insinööritehtävälle:

  • Määrittele: Project-tulos tunnistaa kokonaisen päästä päähän -datan suunnittelutehtävän, ja lakehouse-URL tunnistaa Fabric-järven, joka isännöi sitä.
  • Plan: Project Osmos analysoi käytettävissä olevan kontekstin ja suosittelee toimintaympäristöjä tarkasteltavaksi.
  • Suorita: Tehtävä suoritetaan Fabric-muodossa ja voi luoda, testata ja kehittää data-insinööriartefakteja.
  • Validoi: Tehtävä tarkistaa tuloksensa määriteltyjen onnistumiskriteerien perusteella ja raportoi tulokset.
  • Seuraa: Tehtävä pysyy käytettävissä komentoriviasiakasohjelmasta ja järventalotehtäväkokemuksesta.

Valittu järvitalo on oletusjärvitalo Spark-istunnossa. Se ei ole automaattisesti ainoa lähde tai kohde. Project-tuloksesi, Fabric-käyttöoikeudet ja tarkastellut käyttöasetukset määrittävät tehtävän laajuuden.

Ensimmäisen tehtävän luomisen vaiheet löytyvät kohdasta Aloita Project Osmosilla.

Valitse sopiva käyttötapaus

Project Osmos on suunniteltu tuloslähtöiseen data-insinöörityöhön, joka hyötyy autonomisesta suunnittelusta, toteutuksesta ja validoinnista.

Käyttötapaus Esimerkkitulos
Tietojen valmistelu Puhdista myyntitiedostot, standardoi tyypit, poista virheelliset rivit ja kirjoita validoitu Delta-taulukko.
Taulukon integrointi Yhdistä tilaukset, asiakkaat ja tuotetiedot, ja luo sitten kuratoitu taulukko alavirran analytiikkaa varten.
Lakehousen modernisointi Muunna olemassa oleva muunnos Sparkiksi, tuota testattu muistikirja ja validoi uusi tulostus.
Medallion-arkkitehtuuri Rakenna pronssi-, hopea- ja kultamuunnokset lähdetiedostoista yhtenä tehtävänä.
Datan laadun korjaus Profiili taulukko, tunnista laatuongelmat, sovella hyväksytyt korjaukset ja raportoi ennen- ja jälkeen-mittarit.
Suorituskyvyn parantaminen Tarkista Delta-taulukot, suosittele osiointi- tai asettelumuutoksia, toteuta hyväksyttyjä muutoksia ja mittaa tuloksia.
Siirtoapu Muunna vanhat uutteet Fabric-valmiiksi malliksi säilyttäen liiketoimintasäännöt ja validoiden kokonaismäärät.

Project Osmos on rakennettu ratkaisemaan data-insinöörin haasteita. Se ei ole tarkoitettu nopeaan kyselyyn, Power BI-raportin muutokseen tai muihin ei-data-insinööritehtäviin.

Työ CLI:n ja Fabric:n välillä

Project Osmos käyttää kahta toisiinsa kytkeytynyttä kokemusta. Luot ja ohjaat tehtäviä komentoriviltäsi ja näet tehtävien etenemisen Fabric-sovelluksessa:

  • Komentorivikokemus: Käytä GitHub Copilot CLI:tä, Codexia tai Claude Codea luodaksesi tehtävän, syöttääksesi Project-tuloksen, tarkistaaksesi käyttöasetukset ja lähettääksesi jatkoohjeita.
  • Fabric Lakehouse -kokemus: Selaa järvenrakennuksen tehtäviä, tarkista tilanne, avaa tehtävä, tarkista toiminta ja virheet sekä tarkastaa tuotetut tulokset.

Molemmat kokemukset viittaavat samaan Fabric-isännöimään tehtävään ja tehtävän ID:hen.

Seuraavat vaiheet

  • Viimeksi päivitetty