Nejlepší postupy pro agenta datového inženýrství Fabric (Project Osmos) – náhled

Pomocí těchto osvědčených postupů definujte úplné výstupy, chraňte data v prostředí Lakehouse, zajistěte předvídatelnost opakovaných spuštění a u úkolů agenta Fabric Data Engineering (Project Osmos) vyžadujte měřitelné důkazy úspěchu.

Important

Agent pro datové inženýrství (Project Osmos) je ve verzi Preview. Ukázkové funkce jsou vydávány s omezenými možnostmi a podléhají samostatným doplňkovým podmínkám náhledu. Nejsou určeny pro produkční použití, nepodléhají smlouvám o úrovni služeb a mohou být dostupné pouze ve vybraných regionech. Další informace najdete v tématu Microsoft Fabric Preview.

Definujte úplný výstup projektu

Tato dovednost definuje výsledek Project následovně:

Popište kompletní úkol datového inženýrství od začátku do konce. Agent datového inženýrství to přijímá jako jeden projekt.

Definujte kompletní výsledek, nikoli pouze první krok implementace. Zahrňte těchto pět prvků:

prvek Otázka k odpovědi Příklad
Cíl Jaký výsledek by měl být po dokončení úkolu? Vytvořte měsíční tabulku výdajů dodavatelů.
Sources Jaká data by měl úkol použít? Přečtěte si CSV soubory faktur a tabulku Suppliers Delta.
Transformations Jaká pravidla má úkol uplatňovat? Standardizujte ID dodavatelů, odmítejte neplatná data, připojujte se k dodavatelům a agregujte měsíční výdaje.
Outputs Co by měl úkol vytvořit nebo aktualizovat? Napište monthly_supplier_spend a uložte poznámkový blok transformace.
Validation Jak by měl agent datového inženýrství prokázat úspěch? Srovnávejte součty faktur, zkontrolujte duplicitní klíče a nahlaste zamítnuté řádky.

Použijte tuto šablonu:

<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.

Nastavte explicitní hranice

Uveďte, které zdroje může agent datového inženýrství číst, na které cíle může zapisovat a které existující artefakty musí uchovávat. Identifikujte jakékoli schéma, retentace, regionální zpracování nebo obchodní pravidla, která ovlivňují danou úlohu.

Povolení Fabric a OneLake zůstávají hranicí autorizace. Nezahrňujte do výsledků Project přihlašovací údaje, přístupové tokeny, autorizační hlavičky ani citlivá data.

Napište konkrétní výsledek Project

Následující příklady výsledků Project kombinují cíl, zdroje, transformace, výstupy, omezení a validační kritéria.

zkoumání dat

Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.

Příjem souborů

Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.

Převod dat

Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.

Náprava kvality dat

Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.

Modernizace schématu

Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.

Přírůstkové načítání

Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.

Medailonová architektura

Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.

Vyberte bezpečný vzor zápisu

Když vytváříte úkol, vyberte vzor zápisu, který odpovídá dopadu a reverzibilitě úkolu:

  • Klonování a propagace: Otestujte změny na kopii před přesunem ověřeného výstupu na místo.
  • Přípravná tabulka: Výsledky zapisujte odděleně pro kontrolu nebo řízený krok nasazení.
  • Iterujte na místě: Přímo upravte cíl. Používejte pouze tehdy, když rozumíte riziku a plánu obnovy.
  • Odstranění duplicit při opětovném spuštění: Použijte stabilní business klíč, abyste zabránili duplicitním záznamům.
  • Zamčené schéma: Odmítněte neočekávané změny schématu.
  • Schéma rozšiřování typu: Povolit kompatibilní rozšiřování a zároveň zabránit libovolným změnám.

Oprávnění Fabric nadále představují pevnou hranici autorizace. Nespoléhejte pouze na výsledek projektu při ochraně kritických dat.

Udělejte reprízy předvídatelnými

Řekněte datovému inženýrovi, jak má zacházet s daty, která dříve zpracoval. Použijte stabilní business klíče a určete, zda má opakované spuštění selhat, přidat nová data, deduplikovat záznamy, sloučit změny nebo nahradit cíl.

U inkrementálních úkolů požádejte o počet vložených, aktualizovaných, nezměněných a odmítnutých záznamů. Zachovat zdrojová data a ověřené výstupy, pokud náhrada není explicitní součástí požadovaného výsledku.

Související obsah

  • Last updated on