Σημείωση
Η πρόσβαση σε αυτή τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να συνδεθείτε ή να αλλάξετε καταλόγους.
Η πρόσβαση σε αυτή τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να αλλάξετε καταλόγους.
Οι διοχετεύσεις στο Microsoft Fabric Data Factory σάς βοηθούν να ενορχηστρώσετε και να αυτοματοποιήσετε τις ροές εργασιών δεδομένων σας. Μια διοχέτευση είναι μια λογική ομαδοποίηση δραστηριοτήτων που εκτελούν μαζί μια εργασία. Για παράδειγμα, μια διοχέτευση θα μπορούσε να περιέχει ένα σύνολο δραστηριοτήτων που απορροφούν και καθαρίζουν δεδομένα καταγραφής και, στη συνέχεια, ξεκινούν μια ροή δεδομένων για την ανάλυση των δεδομένων καταγραφής.
Η διοχέτευση σάς επιτρέπει να διαχειρίζεστε τις δραστηριότητες ως σύνολο αντί για κάθε μία ξεχωριστά. Μπορείτε να αναπτύξετε και να προγραμματίσετε τη διοχέτευση αντί για τις δραστηριότητες ανεξάρτητα.
Πότε να χρησιμοποιείτε αγωγούς
Οι αγωγοί επιλύουν κοινές προκλήσεις δεδομένων αυτοματοποιώντας επαναλαμβανόμενες εργασίες και διασφαλίζοντας συνεπή επεξεργασία δεδομένων.
Ας υποθέσουμε ότι είστε μια εταιρεία λιανικής που χρειάζεται να επεξεργάζεται καθημερινά δεδομένα πωλήσεων από πολλά καταστήματα. Κάθε μέρα, πρέπει:
- Συλλέξτε δεδομένα από συστήματα σημείων πώλησης, ηλεκτρονικές παραγγελίες και βάσεις δεδομένων αποθεμάτων
- Επικυρώστε και καθαρίστε τα δεδομένα για να διασφαλίσετε την ακρίβεια
- Μετασχηματίστε τα δεδομένα υπολογίζοντας ημερήσια σύνολα, εφαρμόζοντας επιχειρηματικούς κανόνες και εμπλουτίζοντας με πληροφορίες πελατών
- Φορτώστε τα επεξεργασμένα δεδομένα στην αποθήκη δεδομένων σας για αναφορά
- Ειδοποιήστε την ομάδα επιχειρηματικής ευφυΐας σας όταν τα δεδομένα είναι έτοιμα
Ένας αγωγός αυτοματοποιεί ολόκληρη αυτή τη ροή εργασίας. Εκτελείται σύμφωνα με το χρονοδιάγραμμα, χειρίζεται τα σφάλματα με χάρη και παρέχει ορατότητα σε κάθε βήμα. Έχετε συνεπή και έγκαιρη επεξεργασία δεδομένων χωρίς χειροκίνητη παρέμβαση.
Βασικά στοιχεία αγωγού
Οι διοχετεύσεις αποτελούνται από πολλά βασικά στοιχεία που συνεργάζονται για να δημιουργήσουν ισχυρές ροές εργασίας δεδομένων. Τα κύρια στοιχεία περιλαμβάνουν δραστηριότητες που εκτελούν την εργασία και προσθέτουν λογική στη διοχέτευσή σας, χρονοδιαγράμματα ή εναύσματα που καθορίζουν πότε εκτελούνται οι διοχετεύσεις και παραμέτρους που καθιστούν τις διοχετεύσεις σας ευέλικτες και επαναχρησιμοποιήσιμες.
Δραστηριότητες
Οι δραστηριότητες είναι τα δομικά στοιχεία του αγωγού σας. Κάθε δραστηριότητα εκτελεί μια συγκεκριμένη εργασία και υπάρχουν τρεις κύριοι τύποι δραστηριοτήτων:
- Δραστηριότητες μετακίνησης δεδομένων: Αντιγραφή δεδομένων μεταξύ διαφορετικών πηγών και προορισμών
- Δραστηριότητες μετασχηματισμού δεδομένων: Καθαρίστε, συγκεντρώστε και αναδιαμορφώστε τα δεδομένα σας
- Έλεγχος δραστηριοτήτων ροής: Προσθέστε λογική όπως συνθήκες, βρόχους και χειρισμό σφαλμάτων
Μπορείτε να συνδέσετε δραστηριότητες μεταξύ τους για να δημιουργήσετε σύνθετες ροές εργασίας. Όταν ολοκληρωθεί μια δραστηριότητα, μπορεί να ενεργοποιήσει την επόμενη δραστηριότητα με βάση την επιτυχία, την αποτυχία ή την κατάσταση ολοκλήρωσης.
Για μια πλήρη λίστα των διαθέσιμων δραστηριοτήτων και περισσότερες πληροφορίες, ανατρέξτε στην επισκόπηση δραστηριότητας.
Εκτέλεση και προγραμματισμός αγωγών
Μια εκτέλεση διοχέτευσης συμβαίνει όταν εκτελείται μια διοχέτευση. Κατά τη διάρκεια μιας εκτέλεσης, όλες οι δραστηριότητες στον αγωγό σας υποβάλλονται σε επεξεργασία και ολοκληρώνονται. Κάθε εκτέλεση διοχέτευσης λαμβάνει το δικό της μοναδικό αναγνωριστικό εκτέλεσης που μπορείτε να χρησιμοποιήσετε για παρακολούθηση και παρακολούθηση.
Μπορείτε να ξεκινήσετε τις εκτελέσεις διοχέτευσης με τρεις τρόπους:
Εκτελέσεις κατ' απαίτηση: Επιλέξτε Εκτέλεση στο πρόγραμμα επεξεργασίας διοχέτευσης για να ενεργοποιήσετε μια άμεση εκτέλεση. Θα χρειαστεί να αποθηκεύσετε τυχόν αλλαγές πριν ξεκινήσει η διοχέτευση.
Προγραμματισμένες εκτελέσεις: Ρυθμίστε αυτόματες εκτελέσεις με βάση την ώρα και τη συχνότητα. Όταν δημιουργείτε ένα χρονοδιάγραμμα, καθορίζετε ημερομηνίες έναρξης και λήξης, συχνότητα και ζώνη ώρας.
Εκτελέσεις βάσει συμβάντων: Χρησιμοποιήστε εναύσματα συμβάντων για να ξεκινήσετε τη διοχέτευσή σας όταν προκύπτουν συγκεκριμένα συμβάντα, όπως νέα αρχεία που φτάνουν σε μια λίμνη δεδομένων ή αλλαγές σε μια βάση δεδομένων.
Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εκτέλεση, προγραμματισμός ή ενεργοποίηση διοχέτευσης.
Παράμετροι και μεταβλητές
Οι παράμετροι κάνουν τους αγωγούς σας ευέλικτους. Μπορείτε να μεταβιβάσετε διαφορετικές τιμές κατά την εκτέλεση της διοχέτευσης, επιτρέποντας στην ίδια διοχέτευση να επεξεργάζεται διαφορετικά σύνολα δεδομένων ή να χρησιμοποιεί διαφορετικές ρυθμίσεις παραμέτρων.
Οι μεταβλητές αποθηκεύουν προσωρινές τιμές κατά την εκτέλεση της διοχέτευσης. Μπορείτε να τα χρησιμοποιήσετε για να περάσετε δεδομένα μεταξύ δραστηριοτήτων ή να λάβετε αποφάσεις με βάση τις συνθήκες χρόνου εκτέλεσης.
Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τρόπος χρήσης παραμέτρων, εκφράσεων και συναρτήσεων σε διοχετεύσεις.
Παρακολούθηση και διαχείριση αγωγών
Το Fabric παρέχει ολοκληρωμένη παρακολούθηση για τους αγωγούς σας:
- Παρακολούθηση σε πραγματικό χρόνο: Παρακολουθήστε την πρόοδο του αγωγού σας καθώς εκτελείται, με οπτικές ενδείξεις για την κατάσταση κάθε δραστηριότητας
- Ιστορικό εκτέλεσης: Ελέγξτε προηγούμενες εκτελέσεις για να εντοπίσετε μοτίβα και να αντιμετωπίσετε προβλήματα
- Μετρήσεις απόδοσης: Αναλύστε τους χρόνους εκτέλεσης και τη χρήση πόρων για να βελτιστοποιήσετε τους αγωγούς σας
- Διαδρομή ελέγχου: Παρακολουθήστε ποιος έτρεξε ποιες διοχετεύσεις πότε, με λεπτομερή αρχεία καταγραφής των ωρών έναρξης, των ωρών λήξης, της διάρκειας δραστηριότητας, των μηνυμάτων σφάλματος και της γενεαλογίας δεδομένων
Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παρακολούθηση εκτελέσεων διοχέτευσης.
Βέλτιστες πρακτικές
Κατά το σχεδιασμό αγωγών, λάβετε υπόψη αυτές τις συστάσεις:
- Ξεκινήστε απλά: Ξεκινήστε με τη βασική μετακίνηση δεδομένων και σταδιακά προσθέστε πολυπλοκότητα
- Χρήση παραμέτρων: Κάντε τις διοχετεύσεις σας επαναχρησιμοποιήσιμες παραμετροποιώντας τις συνδέσεις και τις διαδρομές αρχείων
- Χειρισμός σφαλμάτων: Σχεδιάστε αποτυχίες με λογική επανάληψης και εναλλακτικές διαδρομές επεξεργασίας
- Παρακολούθηση απόδοσης: Ελέγχετε τακτικά τους χρόνους εκτέλεσης και βελτιστοποιείτε τις δραστηριότητες αργής λειτουργίας
- Δοκιμάστε διεξοδικά: Επικυρώστε τους αγωγούς σας με δείγματα δεδομένων πριν από την επεξεργασία του φόρτου εργασίας παραγωγής