Parhaat käytännöt Fabric-data-insinööriagentille (Project Osmos) – esikatselu

Hyödynnä näitä parhaita käytäntöjä määritelläkseni täydelliset tulokset, suojataksesi lakehouse-dataa, tehdäksesi uusinnat ennustettaviksi ja vaatiaksesi mitattavia todisteita onnistumisesta Fabric data engineering agent (Project Osmos) -tehtävissä.

Tärkeää

Data-insinööriagentti (Project Osmos) on esikatseluvaiheessa. Esikatseluominaisuudet julkaistaan rajoitetuilla ominaisuuksilla ja niihin sovelletaan erillisiä lisäesikatseluehtoja. Niitä ei ole tarkoitettu tuotantokäyttöön, ne eivät ole palvelutason sopimusten alaisia, ja ne saattavat olla saatavilla vain valituilla alueilla. Lisätietoja löytyy Microsoft Fabric esikatselutiedot.

Määrittele täydellinen Project-lopputulos

Taito määrittelee Project-tuloksen seuraavasti:

Kuvaile koko kokonaisvaltainen data-insinöörityö. Data-insinööriagentti vastaanottaa sen yhtenä projektina.

Määrittele koko lopputulos, älä vain ensimmäinen toteutusvaihe. Sisällytä nämä viisi elementtiä:

Elementti Kysymys, johon haluat vastata Esimerkki
Tavoite Millainen lopputulos tulisi olla, kun tehtävä on suoritettu? Laadi kuukausittainen toimittajien kulutustaulukko.
Lähteet Mitä dataa tehtävän tulisi käyttää? Lue laskujen CSV-tiedostot ja toimittajien delta-taulukko.
Muunnokset Mitä sääntöjä tehtävän tulisi soveltaa? Standardoi toimittajatunnukset, hylkää virheelliset päivämäärät, liity toimittajiin ja kerää kuukausikulut.
Tulokset Mitä tehtävän tulisi luoda tai päivittää? Kirjoita monthly_supplier_spend ja tallenna muunnosvihko.
Vahvistus Miten data-insinööriagentin tulisi todistaa menestys? Sovita laskujen summat, tarkista päällekkäiset avaimet ja raportoi hylätyt rivit.

Käytä tätä mallipohjaa:

<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.

Aseta eksplisiittiset rajat

Ilmoita, mitkä lähteet data-insinööriagentti voi lukea, mihin kohteisiin se voi kirjoittaa ja mitkä olemassa olevat artefaktit sen täytyy säilyttää. Tunnista kaikki skeema-, säilytys-, alueelliset käsittely- tai liiketoimintasääntörajoitteet, jotka vaikuttavat tehtävään.

Fabric- ja OneLake-luvat ovat edelleen valtuutuksen raja. Älä sisällytä Project-lopputulokseen tunnuksia, käyttötunnuksia, valtuutusotsikoita tai arkaluonteisia tietoja.

Kirjoita tietty Project-lopputulos

Seuraavat Project-tulosesimerkit yhdistävät tavoitteen, lähteet, muunnokset, tulokset, rajoitteet ja validointikriteerit.

Tietojen kartoitus

Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.

Tiedostojen vastaanotto

Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.

Tietomuunnos

Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.

Datan laadun korjaus

Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.

Skeeman modernisointi

Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.

Lisäävä kuormitus

Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.

Medallion-arkkitehtuuri

Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.

Valitse turvallinen kirjoitusmalli

Kun luot tehtävän, valitse kirjoitusmalli, joka vastaa tehtävän vaikutusta ja palautettavuutta:

  • Kloonaa ja promooti: Testaa muutokset kopiota vastaan ennen vahvistetun tuloksen siirtämistä paikalleen.
  • Valmistelutaulukko: Kirjoita tulokset erikseen tarkastelua tai kontrolloitua ylennysvaihetta varten.
  • Iteroi paikoillaan: Muokkaa kohdetta suoraan. Käytä sitä vain, kun ymmärrät riski- ja toipumissuunnitelman.
  • Deduplikaatio uudelleenkäynnistyksestä: Käytä vakaata liiketoimintaavainta estääksesi päällekkäiset tietueet.
  • Lukittu skeema: Hylkää odottamattomat skeemamuutokset.
  • Tyypin laajennusskeema: Sallitaan yhteensopiva laajennus estäen mielivaltaiset muutokset.

Fabric-oikeudet pysyvät kovien valtuutusten rajana. Älä luota pelkästään Project-tulokseen kriittisen datan suojaamisessa.

Tee uusinnat ennustettaviksi

Kerro data-insinööriagentille, miten käsitellä aiemmin käsiteltyä dataa. Käytä vakaita liiketoimintaavaimia ja määritä, pitäisikö uusintasuoritus epäonnistua, lisätä uusia tietoja, poistaa tietueet, yhdistää muutokset vai korvata kohde.

Inkrementaalisissa tehtävissä pyydä lisättyjen, päivitettyjen, muuttumattomien ja hylättyjen tietueiden määrää. Säilytä lähdedata ja vahvistetut tulokset, ellei korvaaminen ole nimenomainen osa pyydettyä lopputulosta.

Suunnitelma jaetun kapasiteetin käytöstä

Project Osmos käyttää sekä kielimallitokeneita että Spark-laskentaa tuloksen toteuttamiseen ja validointiin. Kapasiteettiperusteisella Spark-laskutuksella tämä työ jakaa resursseja muiden kapasiteetin kuormien kanssa. Korkea käyttöaste voi vaikuttaa muihin töihin kapasiteetin rajoittamisen kautta.

  1. Aloita täydellisellä, rajatulla tuloksella edustavasta datasta. Mittaa sekä kielimalli että Sparkin kulutus ennen datavolyymin tai samanaikaisten tehtävien määrän kasvattamista.
  2. Pyydä kapasiteetin ylläpitäjää tarkistamaan käyttöasteet ja rajoitukset Fabric Capacity Metrics -sovelluksessa. Käytä Project Osmosin kapasiteetin kulutusta löytääksesi molemmat käyttökomponentit.
  3. Porrasta tehtävien lähettämistä välttääksesi kiireisiä jaksoja ja rajoita tehtävän määrää kerralla. Erillinen työtila samalla kapasiteetilla ei tarjoa laskentaeristettä. Jos tarvitset kapasiteetin eristystä, tee yhteistyötä ylläpitäjäsi kanssa arvioidaksesi erikseen määritellyn kapasiteetin.
  4. Bursty Spark-työssä pyydä kapasiteettipäällikköäsi arvioimaan Sparkin tilauslaskutus. Kun se on tuettu ja käytössä, Spark käyttää erikseen laskutettua palvelinvapaata laskentaa jaetun Fabric-kapasiteetin sijaan. Ylläpitäjä määrittää Sparkille maksimi-CU-rajan.

Tilauslaskutus muuttaa Spark-laskutusmallia, ei kielimallin laskutusmallia. Sen maksimi-CU-raja ei ole kokonaisprojektibudjetti tai rajoitus Project Osmosin tokenien kulutukseen. Tarkista konfiguraatiovaatimukset ja työn peruutusvaroitukset ennen asetuksen muuttamista.

Lisätietoja jaetun kapasiteetin käyttäytymisestä löytyy kohdasta Fabric throttling.

Liittyvä sisältö

  • Viimeksi päivitetty