Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Gebruik deze best practices om volledige resultaten te definiëren, lakehouse-data te beschermen, herhalingen voorspelbaar te maken en meetbaar bewijs van succes te vereisen van de taken van de Fabric data engineering agent (Project Osmos).
Important
De agent voor data-engineering (Project Osmos) is beschikbaar als preview. Preview-functies worden uitgebracht met beperkte mogelijkheden en zijn onderhevig aan aparte aanvullende previewvoorwaarden. Ze zijn niet bedoeld voor productiegebruik, zijn niet onderhevig aan service-level agreements en zijn mogelijk alleen beschikbaar in geselecteerde regio's. Zie Microsoft Fabric preview-informatie voor meer informatie.
Definieer een volledig Project-resultaat
De vaardigheid definieert het Project-resultaat als volgt:
Beschrijf de volledige end-to-end data engineering-taak. De data engineering agent ontvangt het als één project.
Definieer het volledige resultaat in plaats van alleen de eerste implementatiestap. Neem deze vijf elementen op:
| Element | Vraag om te beantwoorden | Voorbeeld |
|---|---|---|
| Doel | Welke uitkomst moet er zijn als de taak voltooid is? | Maak een maandelijkse tabel voor leveranciersuitgaven. |
| Sources | Welke data moet de taak gebruiken? | Lees de CSV-bestanden van de factuur en de Suppliers Delta-tabel. |
| Transformations | Welke regels moet de taak volgen? | Standaardiseer leveranciers-ID's, weiger ongeldige data, sluit je aan bij leveranciers en verzamel maandelijkse uitgaven. |
| Outputs | Wat moet de taak aanmaken of bijwerken? | Schrijf monthly_supplier_spend en sla het transformatienotitieboek op. |
| Validation | Hoe zou een data engineering agent succes kunnen bewijzen? | Controleer factuurtotalen, controleer dubbele sleutels en rapporteer afgewezen rijen. |
Gebruik deze sjabloon:
<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.
Stel expliciete grenzen
Geef aan welke bronnen de data engineering agent kan lezen, naar welke bestemmingen hij kan schrijven en welke bestaande artefacten hij moet behouden. Identificeer eventuele schema-, retentie-, regionale verwerkings- of bedrijfsregelbeperkingen die de taak beïnvloeden.
Fabric- en OneLake-vergunningen blijven de autorisatiegrens. Voeg geen inloggegevens, toegangstokens, autorisatieheaders of gevoelige gegevens toe aan een Project-uitkomst.
Schrijf een specifiek Project-resultaat
De volgende voorbeelden van Project-uitkomsten combineren een doel, bronnen, transformaties, outputs, beperkingen en validatiecriteria.
Gegevens verkennen
Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.
Bestandsopname
Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.
Gegevenstransformatie
Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.
Remediatie van gegevenskwaliteit
Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.
Schema-modernisering
Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.
Incrementeel laden
Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.
Medaillonarchitectuur
Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.
Kies een veilig schrijfpatroon
Wanneer je een taak aanmaakt, selecteer dan een schrijfpatroon dat past bij de impact en omkeerbaarheid van de taak:
- Klonen en promoten: Test wijzigingen aan een kopie voordat je geverifieerde output op hun plek zet.
- Stagingtafel: Schrijf de resultaten apart voor beoordeling of een gecontroleerde promotiestap.
- Itereren ter plaatse: Pas het doel direct aan. Gebruik alleen wanneer je het risico en het herstelplan begrijpt.
- Ontdubbelen bij opnieuw uitvoeren: Gebruik een stabiele bedrijfssleutel om dubbele records te voorkomen.
- Vergrendeld schema: Weiger onverwachte schemawijzigingen.
- Type-verbredingsschema: Staat compatibele verbreding toe terwijl willekeurige wijzigingen worden voorkomen.
Fabric-machtigingen blijven de harde autorisatiegrens. Vertrouw niet alleen op het Project-resultaat om kritieke data te beschermen.
Maak herhalingen voorspelbaar
Vertel de data engineering agent hoe hij met data omgaat die hij eerder heeft verwerkt. Gebruik stabiele bedrijfssleutels en geef aan of een herrun moet mislukken, nieuwe data moet toevoegen, records moet dedupliceren, wijzigingen moet samenvoegen of het doel moet vervangen.
Voor incrementele taken vraag om tellingen van ingevoegde, bijgewerkte, ongewijzigde en afgewezen records. Bewaar brongegevens en geverifieerde uitvoer, tenzij vervanging een expliciet onderdeel is van het gevraagde resultaat.