Βέλτιστες πρακτικές για τον παράγοντα μηχανικής δεδομένων Fabric (Project Osmos) - προεπισκόπηση

Χρησιμοποιήστε αυτές τις βέλτιστες πρακτικές για να ορίσετε πλήρη αποτελέσματα, να προστατεύσετε τα δεδομένα lakehouse, να κάνετε τις επαναλήψεις προβλέψιμες και να απαιτήσετε μετρήσιμα στοιχεία επιτυχίας από τις εργασίες του παράγοντα μηχανικής δεδομένων Fabric (Project Osmos).

Σημαντικό

Ο πράκτορας μηχανικής δεδομένων (Project Osmos) βρίσκεται σε προεπισκόπηση. Οι δυνατότητες προεπισκόπησης κυκλοφορούν με περιορισμένες δυνατότητες και υπόκεινται σε ξεχωριστούς συμπληρωματικούς όρους προεπισκόπησης. Δεν προορίζονται για χρήση παραγωγής, δεν υπόκεινται σε συμβάσεις παροχής υπηρεσιών και ενδέχεται να είναι διαθέσιμες μόνο σε επιλεγμένες περιοχές. Για περισσότερες πληροφορίες, ανατρέξτε στην ενότητα Microsoft Fabric πληροφορίες προεπισκόπησης.

Καθορισμός πλήρους αποτελέσματος Project

Η δεξιότητα καθορίζει το αποτέλεσμα του Project ως εξής:

Περιγράψτε την πλήρη εργασία μηχανικής δεδομένων από άκρο σε άκρο. Ο πράκτορας μηχανικής δεδομένων το λαμβάνει ως ένα έργο.

Καθορίστε το πλήρες αποτέλεσμα και όχι μόνο το πρώτο βήμα υλοποίησης. Συμπεριλάβετε αυτά τα πέντε στοιχεία:

Στοιχείο Ερώτηση για απάντηση Παράδειγμα
Στόχος Τι αποτέλεσμα πρέπει να υπάρχει όταν ολοκληρωθεί η εργασία; Δημιουργήστε έναν πίνακα μηνιαίων δαπανών προμηθευτών.
Προελεύσεις Ποια δεδομένα πρέπει να χρησιμοποιεί η εργασία; Διαβάστε τα αρχεία CSV τιμολογίου και τον πίνακα δέλτα προμηθευτών.
Μετασχηματισμοί Ποιοι κανόνες πρέπει να ισχύουν για την εργασία; Τυποποιήστε τα αναγνωριστικά προμηθευτών, απορρίψτε μη έγκυρες ημερομηνίες, εγγραφείτε σε προμηθευτές και συγκεντρώστε τις μηνιαίες δαπάνες.
Έξοδοι Τι πρέπει να δημιουργήσει ή να ενημερώσει η εργασία; Γράψτε monthly_supplier_spend και αποθηκεύστε το σημειωματάριο μετασχηματισμού.
Επικύρωση Πώς πρέπει ο πράκτορας μηχανικής δεδομένων να αποδείξει την επιτυχία; Εναρμονίστε τα σύνολα τιμολογίων, ελέγξτε τα διπλότυπα κλειδιά και αναφέρετε τις γραμμές που απορρίφθηκαν.

Χρησιμοποιήστε αυτό το πρότυπο:

<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.

Θέστε σαφή όρια

Δηλώστε ποιες πηγές μπορεί να διαβάσει ο πράκτορας μηχανικής δεδομένων, σε ποιους προορισμούς μπορεί να γράψει και ποια υπάρχοντα τεχνουργήματα πρέπει να διατηρήσει. Προσδιορίστε τυχόν περιορισμούς σχήματος, διατήρησης, περιφερειακής επεξεργασίας ή επιχειρηματικών κανόνων που επηρεάζουν την εργασία.

Τα δικαιώματα Fabric και OneLake παραμένουν το όριο εξουσιοδότησης. Μην συμπεριλάβετε διαπιστευτήρια, διακριτικά πρόσβασης, κεφαλίδες εξουσιοδότησης ή ευαίσθητα δεδομένα σε ένα αποτέλεσμα Project.

Γράψτε ένα συγκεκριμένο αποτέλεσμα Project

Τα ακόλουθα παραδείγματα αποτελεσμάτων Project συνδυάζουν έναν στόχο, πηγές, μετασχηματισμούς, αποτελέσματα, περιορισμούς και κριτήρια επικύρωσης.

Εξερεύνηση δεδομένων

Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.

Απορρόφηση αρχείων

Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.

Μετασχηματισμός δεδομένων

Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.

Αποκατάσταση ποιότητας δεδομένων

Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.

Εκσυγχρονισμός σχήματος

Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.

Επαυξητικός φόρτος

Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.

Αρχιτεκτονική μενταγιόν

Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.

Επιλογή μοτίβου ασφαλούς εγγραφής

Όταν δημιουργείτε μια εργασία, επιλέξτε ένα μοτίβο εγγραφής που ταιριάζει με τον αντίκτυπο και την αναστρεψιμότητα της εργασίας:

  • Κλωνοποίηση και προώθηση: Δοκιμάστε τις αλλαγές σε ένα αντίγραφο πριν μετακινήσετε τα επαληθευμένα αποτελέσματα στη θέση τους.
  • Πίνακας σταδιοποίησης: Γράψτε τα αποτελέσματα ξεχωριστά για έλεγχο ή ένα ελεγχόμενο βήμα προώθησης.
  • Επανάληψη στη θέση του: Τροποποιήστε απευθείας τον στόχο. Χρησιμοποιήστε το μόνο όταν κατανοείτε τον κίνδυνο και το σχέδιο αποκατάστασης.
  • Κατάργηση διπλότυπων επανάληψης: Χρησιμοποιήστε ένα σταθερό επιχειρηματικό κλειδί για να αποτρέψετε τις διπλότυπες εγγραφές.
  • Κλειδωμένο σχήμα: Απόρριψη μη αναμενόμενων αλλαγών σχήματος.
  • Σχήμα διεύρυνσης τύπου: Επιτρέπει τη συμβατή διαπλάτυνση αποτρέποντας παράλληλα αυθαίρετες αλλαγές.

Τα δικαιώματα Fabric παραμένουν το αυστηρό όριο εξουσιοδότησης. Μην βασίζεστε μόνο στο αποτέλεσμα του Project για την προστασία κρίσιμων δεδομένων.

Κάντε τις επαναλήψεις προβλέψιμες

Πείτε στον εκπρόσωπο μηχανικής δεδομένων πώς να χειριστεί τα δεδομένα που επεξεργάστηκε προηγουμένως. Χρησιμοποιήστε σταθερά εταιρικά κλειδιά και καθορίστε εάν μια επανάληψη θα πρέπει να αποτύχει, να προσαρτήσει νέα δεδομένα, να καταργήσει διπλότυπες εγγραφές, να συγχωνεύσει αλλαγές ή να αντικαταστήσει τον προορισμό.

Για τμηματικές εργασίες, ζητήστε το πλήθος των εγγραφών που έχουν εισαχθεί, ενημερωθεί, αμετάβλητες και απορριφθείσες. Διατηρήστε τα δεδομένα πηγής και τα επαληθευμένα αποτελέσματα, εκτός εάν η αντικατάσταση αποτελεί ρητό μέρος του ζητούμενου αποτελέσματος.

Σχετικό περιεχόμενο

  • Τελευταία ενημέρωση στις