Σημείωμα
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να εισέλθετε ή να αλλάξετε καταλόγους.
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να αλλάξετε καταλόγους.
Ισχύει για:✅ Τελικό σημείο ανάλυσης SQL και Αποθήκη στο Microsoft Fabric
Αυτό το άρθρο περιγράφει την αρχιτεκτονική και τη διαχείριση φόρτου εργασίας στο Fabric αποθήκη δεδομένων.
Επεξεργασία δεδομένων
Το τελικό σημείο ανάλυσης Warehouse και SQL μοιράζονται την ίδια υποκείμενη αρχιτεκτονική επεξεργασίας. Καθώς το Fabric ανακτά ή απορροφά δεδομένα, ένας κατανεμημένος μηχανισμός χειρίζεται δεδομένα και υπολογιστικές συναρτήσεις μικρής και μεγάλης κλίμακας.
Το σύστημα επεξεργασίας είναι χωρίς τη χρήση διακομιστή σε αυτό το σύνολο υπολογιστικών εκχωρημένων πόρων παρασκηνίου κλιμακώνεται προς τα επάνω και προς τα κάτω αυτόνομα για να ικανοποιήσει τις απαιτήσεις φόρτου εργασίας.
Κατά την υποβολή ενός ερωτήματος, το προσκήνιο SQL (FE) εκτελεί βελτιστοποίηση ερωτημάτων για τον προσδιορισμό του βέλτιστου σχεδίου με βάση το μέγεθος και την πολυπλοκότητα των δεδομένων. Μόλις δημιουργηθεί το σχέδιο, δίνεται στη μηχανή Distributed Query Processing (DQP). Το DQP ενορχηστρώνει την κατανεμημένη εκτέλεση του ερωτήματος, διαχωρίζοντας το σε μικρότερα ερωτήματα που εκτελούνται σε κόμβους υπολογιστικής παρασκηνίου. Κάθε μικρό ερώτημα είναι μια εργασία και αντιπροσωπεύει μια κατανεμημένη μονάδα εκτέλεσης. Διαβάζει αρχεία από το OneLake, ενώνει αποτελέσματα από άλλες εργασίες, ομάδες ή παραγγέλνει δεδομένα που ανακτώνται από άλλες εργασίες. Για εργασίες πρόσληψης, εγγράφει επίσης δεδομένα στους κατάλληλους πίνακες προορισμού.
Κατά την επεξεργασία των δεδομένων, τα αποτελέσματα επιστρέφουν στο προσκήνιο SQL για εξυπηρέτηση ξανά στον χρήστη ή κλήση της εφαρμογής.
Ελαστικότητα και προσαρμοστικότητα
Το σύνολο υπολογιστικών εκχωρημένων πόρων παρασκηνίου επωφελείται από μια αρχιτεκτονική γρήγορης προμήθειας. Παρόλο που δεν υπάρχει SLA για την ανάθεση πόρων, συνήθως αποκτώνται νέοι κόμβοι μέσα σε λίγα δευτερόλεπτα. Καθώς αυξάνεται η ζήτηση πόρων, οι νέοι φόρτοι εργασίας χρησιμοποιούν τους εκχωρημένους πόρους που έχουν κλιμακωθεί. Η κλιμάκωση είναι μια λειτουργία online και η επεξεργασία ερωτημάτων δεν διακόπτεται.
Το σύστημα είναι ανθεκτικό σε σφάλματα και εάν ένας κόμβος γίνει ανθυγιεινός, οι λειτουργίες που εκτελούνται στον κόμβο ανακατανομή σε υγιείς κόμβους για ολοκλήρωση.
Το τελικό σημείο ανάλυσης αποθήκης και SQL παρέχει εκρηκτική χωρητικότητα που επιτρέπει στους φόρτους εργασίας να χρησιμοποιούν περισσότερους πόρους για την επίτευξη καλύτερης απόδοσης και χρησιμοποιούν εξομάλυνση για να προσφέρουν ανακούφιση στους πελάτες που δημιουργούν ξαφνικές αιχμές κατά τις ώρες αιχμής τους και έχουν αδρανή χωρητικότητα που μένει αχρησιμοποίητη σε άλλες χρονικές στιγμές. Η εξομάλυνση απλοποιεί τη διαχείριση των εκχωρημένων πόρων μέσω της εξάπλωσης της υπολογιστικής λειτουργίας, ώστε να εξασφαλιστεί η ομαλή και αποτελεσματική λειτουργία των εργασιών των πελατών.
Προγραμματισμός και προμήθεια πόρων
Ο προγραμματισμός επεξεργασίας κατανεμημένου ερωτήματος λειτουργεί σε επίπεδο εργασίας . Τα ερωτήματα αναπαρίστανται στο χρονοδιάγραμμα ως κατευθυνόμαστε acyclic graph (DAG) των εργασιών. Αυτή η έννοια είναι οικεία στους χρήστες Spark. Ένα DAG επιτρέπει τον παραλληλισμό και τον συγχρονισμό, καθώς οι εργασίες που δεν εξαρτώνται η μία από την άλλη μπορούν να εκτελεστούν ταυτόχρονα ή εκτός λειτουργίας.
Κατά την άφιξη των ερωτημάτων, οι εργασίες τους προγραμματίζονται βάσει των αρχών "first-in-first-out" (FIFO). Εάν υπάρχει αδρανής χωρητικότητα, ο προγραμματιστής μπορεί να χρησιμοποιήσει μια προσέγγιση "βέλτιστης προσαρμογής" για τη βελτιστοποίηση της ταυτόχρονης εκτέλεσης.
Όταν ο χρονοδιακόπτης αναγνωρίζει την πίεση προμήθειας, καλεί μια λειτουργία κλιμάκωσης. Η διαχείριση της κλιμάκωσης γίνεται αυτόνομα και η τοπολογία παρασκηνίου αυξάνεται καθώς αυξάνεται η ταυτόχρονη εκτέλεση. Καθώς απαιτούνται μερικά δευτερόλεπτα για την απόκτηση κόμφων, το σύστημα δεν έχει βελτιστοποιηθεί για συνεπή απόδοση των ερωτημάτων που απαιτούν κατανεμημένη επεξεργασία.
Όταν η πίεση υποχωρεί, η τοπολογία παρασκηνίου μειώνεται προς τα κάτω και απελευθερώνει πόρους πίσω στην περιοχή.
Υπολογιστική απομόνωση πισίνας
Ισχύει για:✅ Warehouse στο Microsoft Fabric
Το SKU εκχωρημένων πόρων που έχει εκχωρηθεί σε έναν χώρο εργασίας καθορίζει το σύνολο των διαθέσιμων υπολογισμών για το τελικό σημείο ανάλυσης SQL. Αυτός ο υπολογισμός χωρίζεται ομοιόμορφα (50/50) σε δύο απομονωμένες ομάδες πόρων για χρήση από ερωτήματα χρηστών:
-
SELECT Pool - Χειρίζεται όλα τα
SELECTερωτήματα. -
Ομάδα μη SELECT - Χειρίζεται όλα τα μη
SELECTερωτήματα, όπως το ETL ή τις λειτουργίες πρόσληψης.
Κάθε ομάδα κλιμακώνεται ανεξάρτητα με βάση τη ζήτηση ερωτημάτων, αλλά ποτέ δεν υπερβαίνει τα 50% του συνολικού υπολογισμού για το τελικό σημείο ανάλυσης SQL. Αυτός ο διαχωρισμός αποτρέπει τη διαμάχη πόρων, διασφαλίζοντας ότι οι φόρτοι εργασίας απορρόφησης εκτελούνται σε αποκλειστικούς υπολογιστές βελτιστοποιημένους για ETL χωρίς να επηρεάζονται τα ερωτήματα ανάγνωσης. Το αποτέλεσμα είναι βελτιωμένες επιδόσεις και αξιοπιστία και για τους δύο τύπους ερωτημάτων.
Σημείωμα
Η SELECT απομόνωση και η απομόνωση εκτόςSELECT χώρου συγκέντρωσης είναι η προεπιλεγμένη αυτόνομη διαχείριση φόρτου εργασίας που εφαρμόζεται σε κάθε χώρο εργασίας. Ωστόσο, οι διαχειριστές χώρου εργασίας μπορούν να το προσαρμόσουν χρησιμοποιώντας προσαρμοσμένους χώρους συγκέντρωσης SQL.
Περίοδοι λειτουργίας
Το τελικό σημείο ανάλυσης Αποθήκης και SQL έχει όριο περιόδου λειτουργίας χρήστη 2048 ανά χώρο εργασίας. Όταν συμπληρωθεί αυτό το όριο, θα επιστραφεί ένα σφάλμα: The user session limit for the workspace is 2048 and has been reached.
Σημείωμα
Καθώς το Microsoft Fabric είναι μια πλατφόρμα SaaS, υπάρχουν πολλές συνδέσεις συστήματος που εκτελούνται για συνεχή βελτιστοποίηση του περιβάλλοντος. Τα DMV εμφανίζουν αμφότερες τις περιόδους λειτουργίας συστήματος και χρήστη. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παρακολούθηση συνδέσεων, περιόδων λειτουργίας και αιτήσεων με χρήση DMV.
Βέλτιστες πρακτικές
Ο χώρος εργασίας Microsoft Fabric παρέχει ένα φυσικό όριο απομόνωσης του κατανεμημένου υπολογιστικού συστήματος. Οι φόρτοι εργασίας μπορούν να επωφεληθούν από αυτό το όριο για τη διαχείριση τόσο του κόστους όσο και των επιδόσεων.
Οι συντομεύσεις OneLake μπορούν να χρησιμοποιηθούν για τη δημιουργία ρεπλίκων μόνο για ανάγνωση πινάκων σε άλλους χώρους εργασίας για τη διανομή του φόρτου σε πολλούς μηχανισμούς SQL, δημιουργώντας ένα όριο απομόνωσης. Αυτό μπορεί να αυξήσει αποτελεσματικά τον μέγιστο αριθμό περιόδων λειτουργίας που εκτελούν ερωτήματα μόνο για ανάγνωση.
