Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Usa queste best practice per definire risultati esaustivi, proteggere i dati del lakehouse, rendere prevedibili le riesecuzioni e richiedere prove misurabili del successo dalle attività dell'agente di data engineering di Fabric (Project Osmos).
Important
L'agente di ingegneria dei dati (Project Osmos) è in anteprima. Le funzionalità di anteprima sono rilasciate con capacità limitate e sono soggette a termini supplementari separati di anteprima. Non sono destinati all'uso in produzione, non sono soggetti a accordi di livello di servizio e potrebbero essere disponibili solo in regioni selezionate. Per altre informazioni, vedere Informazioni sull'anteprima di Microsoft Fabric.
Definisci un risultato completo del progetto
L'abilità definisce l'esito del Project come segue:
Descrivi la completa attività end-to-end di ingegneria dei dati. L'agente di ingegneria dei dati lo riceve come un unico progetto.
Definisci l'esito completo piuttosto che solo il primo passaggio di implementazione. Includere questi cinque elementi:
| Elemento | Domanda a cui rispondere | Example |
|---|---|---|
| Obiettivo | Quale risultato dovrebbe esistere una volta completato il compito? | Crea una tabella mensile delle spese dei fornitori. |
| Sources | Quali dati dovrebbe utilizzare il compito? | Leggi i file CSV delle fatture e la tabella Delta dei fornitori. |
| Transformations | Quali regole dovrebbe applicare il compito? | Standardizza gli ID fornitori, rifiuta date non valide, entra nei fornitori e aggrega la spesa mensile. |
| Outputs | Cosa dovrebbe creare o aggiornare il compito? | Scrivi monthly_supplier_spend e salva il quaderno delle trasformazioni. |
| Validation | Come dovrebbe un agente di ingegneria dei dati dimostrare il successo? | Riconcilia i totali delle fatture, controlla le chiavi duplicate e segnala le righe rifiutate. |
Usa questo modello:
<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.
Stabilire confini espliciti
Indica quali fonti l'agente di ingegneria dati può leggere, a quali destinazioni può scrivere e quali artefatti esistenti deve preservare. Identifica eventuali vincoli di schema, conservazione, trattamento regionale o regole aziendali che incidono sull'attività.
Fabric e i permessi OneLake rimangono il confine di autorizzazione. Non includere credenziali, token di accesso, header di autorizzazione o dati sensibili in un risultato di Project.
Scrivi un esito specifico del Project
I seguenti esempi di risultati del Project combinano un obiettivo, fonti, trasformazioni, output, vincoli e criteri di validazione.
Esplorazione dei dati
Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.
Inserimento di file
Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.
Trasformazione dei dati
Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.
Bonifica della qualità dei dati
Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.
Modernizzazione dello schema
Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.
Caricamento incrementale
Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.
Architettura a medaglione
Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.
Scegli un pattern di scrittura sicuro
Quando crei un compito, seleziona uno schema di scrittura che corrisponda all'impatto e alla reversibilità del compito:
- Clona e promuovi: Verifica le modifiche su una copia prima di spostare l'output verificato nella posizione finale.
- Tabella di staging: Scrivi i risultati separatamente per la revisione o per una fase di promozione controllata.
- Iterazione sul posto: Modifica direttamente la destinazione. Usa solo quando comprendi il rischio e il piano di recupero.
- Eliminazione dei duplicati nella riesecuzione: Usa una chiave aziendale stabile per evitare record duplicati.
- Schema bloccato: Rifiuta cambiamenti imprevisti dello schema.
- Schema per l'ampliamento del tipo: Consente un ampliamento compatibile evitando modifiche arbitrarie.
I permessi di Fabric rimangono il limite invalicabile dell'autorizzazione. Non affidarti solo al risultato del Project per proteggere i dati critici.
Rendi prevedibili le riesecuzioni
Spiega all'agente di ingegneria dei dati come gestire i dati che ha già elaborato. Usa chiavi aziendali stabili e specifica se una riesecuzione deve non riuscire, aggiungere nuovi dati, deduplicare i record, unire le modifiche o sostituire la destinazione.
Per compiti incrementali, chiedi il conteggio dei record inseriti, aggiornati, immutati e rifiutati. Preservare i dati sorgente e gli output verificati a meno che la sostituzione non faccia parte esplicita dell'esito richiesto.