Σχεδιασμός, κλιμάκωση και διατήρηση μιας λύσης πύλης ζωτικής σημασίας για την επιχείρηση

Αυτό το άρθρο προορίζεται για οποιονδήποτε σχεδιάζει να αναπτύξει μια πύλη δεδομένων εσωτερικής εγκατάστασης σε ένα κρίσιμο σενάριο για την επιχείρηση. Μια πύλη δεδομένων εσωτερικής εγκατάστασης έχει κρίσιμη επιχειρηματική σημασία εάν είναι ζωτικής σημασίας για την κανονική λειτουργία της επιχείρησής σας και χειρίζεται κρίσιμα για την επιχείρηση δεδομένα.

Εάν η διαχείριση των κρίσιμων για την επιχείρηση πυλών δεν γίνεται σωστά, ενδέχεται να αντιμετωπίσετε αποτυχημένα ερωτήματα ή αργές επιδόσεις. Όταν σχεδιάζετε, κλιμακώνετε και διατηρείτε σωστά τη λύση πύλης που είναι κρίσιμη για την επιχείρηση, η πιθανότητα ενός ζητήματος που επηρεάζει την επιχείρηση μπορεί να ελαχιστοποιηθεί.

Ορολογία

Οι ακόλουθοι σημαντικοί όροι χρησιμοποιούνται σε αυτό το άρθρο:

• Πύλη: Η εφαρμογή πύλης δεδομένων εσωτερικής εγκατάστασης που είναι εγκατεστημένη σε έναν υπολογιστή.
• Διακομιστής πύλης: Ένας υπολογιστής Windows (εικονική μηχανή ή φυσικός υπολογιστής/διακομιστής) στον οποίο έχει εγκατασταθεί η εφαρμογή πύλης δεδομένων εσωτερικής εγκατάστασης.
• Σύμπλεγμα πυλών: Ένα σύνολο πυλών που συνεργάζονται (και μπορεί να είναι ισορροπημένη φόρτωση).
• Μέλος πύλης: Μια πύλη που αποτελεί μέρος ενός συμπλέγματος πυλών.

Η παρακάτω εικόνα δείχνει τη σχέση μεταξύ των εννοιών που ορίζονται παραπάνω.

Προτάσεις για πύλες ζωτικής σημασίας για τις επιχειρήσεις

Για πύλες κρίσιμης σημασίας για την επιχείρηση, πρέπει να είναι δυνατή η σωστή ανάπτυξη και διαχείριση των πυλών, ώστε να εξασφαλίζεται υψηλή διαθεσιμότητα, καλή απόδοση και δυνατότητα κλιμάκωσης με δυνατότητα συντήρησης. Η εσφαλμένη ανάπτυξη των πυλών μπορεί να έχει ως αποτέλεσμα κακές επιδόσεις, αποτυχημένα ερωτήματα και δυσκολία στη διάγνωση πιθανών προβλημάτων. Μπορεί επίσης να εμποδίσει τη δυνατότητά σας για κλιμάκωση των πυλών προς τα επάνω και προς τα έξω καθώς αυξάνεται η χρήση.

Για να εξασφαλίσετε τη βέλτιστη κλιμάκωση, απόδοση και ταχύτητα μετάδοσης, ακολουθήστε τις προτάσεις στις επόμενες ενότητες.

Γνωρίστε όλα τα κλειδιά αποκατάστασης πύλης

Βεβαιωθείτε ότι όλα τα κλειδιά αποκατάστασης πύλης είναι γνωστά και διατηρούνται σε ασφαλές σημείο. Χωρίς κλειδί αποκατάστασης, δεν είναι δυνατή η ανάκτηση ή η υποβάθμιση των πυλών. Αυτός ο περιορισμός οφείλεται στη σχεδίαση. Εάν χάσετε τα κλειδιά αποκατάστασης, η μόνη επιλογή είναι να δημιουργήσετε νέες πύλες και να δημιουργήσετε εκ νέου τις προελεύσεις δεδομένων. Επίσης, δεν μπορείτε να προσθέσετε νέες πύλες στο σύμπλεγμα χωρίς το κλειδί αποκατάστασης, το οποίο θα περιόριζε τη μελλοντική δυνατότητα κλιμάκωσης.

Αποθηκεύστε τα κλειδιά αποκατάστασης σε μια ασφαλή θέση, όπως ακριβώς θα αποθηκεύσατε τα διαπιστευτήρια διαχείρισης, όπως ένα ασφαλές κωδικό πρόσβασης, για το οποίο η πρόσβαση μπορεί να γίνει μόνο από εξουσιοδοτημένους διαχειριστές.

Εάν δεν γνωρίζετε προς το παρόν όλα τα κλειδιά αποκατάστασης πύλης, αυτός είναι ένας σημαντικός επιχειρηματικός κίνδυνος. Δημιουργήστε αμέσως νέα συμπλέγματα πυλών και ξεκινήστε τη μετεγκατάσταση φόρτων εργασίας στα συμπλέγματα πυλών.

Φόρτοι εργασίας ανάπτυξης και φόρτοι εργασίας που είναι κρίσιμοι για την επιχείρηση

Διαχωρίστε τους φόρτους εργασίας ανάπτυξης από τους κρίσιμους για την επιχείρηση, ρυθμίζοντας ένα ή περισσότερα συμπλέγματα πυλών ανάπτυξης και ένα ή περισσότερα συμπλέγματα πυλών παραγωγής, όπως περιγράφεται παρακάτω.

Χρησιμοποιήστε ένα σύμπλεγμα πυλών ανάπτυξης για να δοκιμάσετε νέα σημασιολογικά μοντέλα, αναφορές, ερωτήματα και ούτω καθεξής. Μετά την επαλήθευση ενός νέου φόρτου εργασίας, μετεγκαταστήστε τον σε ένα σύμπλεγμα πυλών που είναι κρίσιμο για την επιχείρηση. Αυτή η διαδικασία αποτρέπει νέους, μη δοκιμασμένους ή πειραματικούς φόρτους εργασίας από το να έχουν επιπτώσεις στις επιδόσεις στους φόρτους εργασίας παραγωγής.

Επίσης, χρησιμοποιήστε τα συμπλέγματα πυλών ανάπτυξης για να δοκιμάσετε νέες ενημερώσεις πύλης πριν από την εφαρμογή ενημερώσεων στα συμπλέγματα πυλών που είναι κρίσιμα για την επιχείρηση. Οι νέες ενημερώσεις πύλης θα πρέπει να αναπτύσσονται για τουλάχιστον 24 ώρες στα συμπλέγματα πυλών ανάπτυξης προτού χρησιμοποιηθούν σε συμπλέγματα πυλών ζωτικής σημασίας για επιχειρήσεις.

Χρήση πολλών συμπλεγμάτων πυλών

Εάν δημιουργείτε ένα σύμπλεγμα πυλών για έναν μεγάλο αριθμό χρηστών στον οργανισμό σας, πρέπει να δημιουργήσετε πολλά συμπλέγματα πυλών που βασίζονται σε επιχειρηματικές μονάδες ή μικρότερα για να περιορίσετε τυχόν πιθανές επιπτώσεις στις επιδόσεις σε ένα μικρό υποσύνολο χρηστών.

Δεν συνιστούμε να χρησιμοποιείται ένα μοναδικό σύμπλεγμα πυλών που είναι κρίσιμο για την επιχείρηση για μια ολόκληρη εταιρεία (εκτός εάν η εταιρεία είναι μικρή). Σε ένα μεμονωμένο σενάριο συμπλέγματος πύλης, ένας χρήστης θα μπορούσε ενδεχομένως να στείλει ένα ερώτημα που προκαλεί σημαντική επίδραση στις επιδόσεις σε όλη την κυκλοφορία σε ολόκληρη την πύλη. Εάν η πύλη χρησιμοποιείται σε ολόκληρη την εταιρεία, η επίδραση στις επιδόσεις μπορεί να επηρεάσει ολόκληρη την εταιρεία. Επίσης, όταν χρησιμοποιείται ένα σύμπλεγμα πυλών σε ολόκληρη την εταιρεία, μπορεί να είναι πιο δύσκολο για εσάς να προσδιορίσετε ποιο ερώτημα μπορεί να προκαλεί πρόβλημα επιδόσεων κατά τη χρήση της δυνατότητας παρακολούθησης επιδόσεων πύλης .

Χρήση της υψηλής διαθεσιμότητας πύλης και δυνατοτήτων εξισορρόπησης φόρτου

Να χρησιμοποιείτε πάντα τις δυνατότητες υψηλής διαθεσιμότητας και εξισορρόπησης φόρτου της πύλης για οποιοδήποτε σύμπλεγμα πυλών ζωτικής σημασίας.

• Υψηλή διαθεσιμότητα: Εξαλείφει την ύπαρξη ενός μοναδικού σημείου αποτυχίας.
• Εξισορρόπηση φόρτου: Διανέμει αυτόματα τον φόρτο εργασίας σε όλους τους διακομιστές πύλης του συμπλέγματος.

Ρυθμίστε τουλάχιστον δύο πύλες ανά σύμπλεγμα πύλης σε περίπτωση που μια πύλη τεθεί εκτός σύνδεσης για οποιονδήποτε λόγο. Αυτή η ρύθμιση εξασφαλίζει ότι μια μεμονωμένη αποτυχία πύλης δεν προκαλεί αποτυχία ολόκληρου του συμπλέγματος πύλης. Επιπλέον, μπορούν να ενεργοποιηθούν τα όρια CPU, μνήμης και ταυτόχρονης εκτέλεσης στις πύλες για καλύτερη κατανομή του φόρτου σε όλο το σύμπλεγμα πυλών.

Σχεδιασμός και διατήρηση της δυνατότητας κλιμάκωσης συμπλέγματος πυλών

Η ρύθμιση ενός συμπλέγματος πυλών χρησιμοποιώντας τις προτεινόμενες οδηγίες για το υλικό και το λογισμικό εξασφαλίζει ότι το σύμπλεγμα λειτουργεί με καλές επιδόσεις. Οι πύλες που δεν κλιμακώνονται σωστά ενδέχεται να έχουν ως αποτέλεσμα χαμηλές επιδόσεις. Υπάρχουν πολλοί παράγοντες που πρέπει να λάβετε υπόψη ότι έχουν καλές επιδόσεις στο σύμπλεγμα πυλών.

Προσδιορισμός προδιαγραφών υλικού διακομιστή πύλης

Οι προδιαγραφές του διακομιστή πύλης (CPU, μνήμη, δίσκος κ.ο.κ.) είναι ένας σημαντικός παράγοντας, όπως στις περισσότερες περιπτώσεις, οι μετασχηματισμοί Power Query εφαρμόζονται στα δεδομένα του διακομιστή πύλης. Ως εκ τούτου, ένας διακομιστής πύλης πρέπει να έχει αρκετούς πόρους, μνήμη και ισχύ επεξεργασίας για τον χειρισμό όλων των μετασχηματισμών δεδομένων.

Όταν πρέπει να επιλέξετε ένα μέγεθος διακομιστή, υπάρχουν δύο μετρικά που είναι πιο σημαντικά: Μνήμη και CPU. Χρειάζεστε επαρκή μνήμη και ισχύ CPU για να επεξεργαστείτε τα βήματα μετασχηματισμού δεδομένων Power Query στην πύλη. Είναι σημαντικό ο διακομιστής πύλης σας να είναι αρκετά ισχυρός ώστε να επεξεργάζεται τον υψηλότερο φόρτο εργασίας που έχετε. Εάν ο διακομιστής πύλης δεν μπορεί να χειριστεί τον φόρτο εργασίας, το άμεσο ερώτημα ή η ανανέωση δεδομένων θα αποτύχει. Είναι επίσης σημαντικό να κατανοήσετε πόσα ερωτήματα εκτελούνται ταυτόχρονα.

Αυτές οι διαφορετικές επιλογές ερωτημάτων έχουν διαφορετική επίδραση στον διακομιστή πύλης σας.

Τύπος ερωτήματος	Συντελεστής ορίου
Εισαγωγή	Μνήμη
DirectQuery	CPU
Ζωντανά Σύνδεση	CPU

Κατά τη διάρκεια μιας εισαγωγής, πρέπει να υποβληθούν ερωτήματα και επεξεργασία σε ολόκληρο το σύνολο δεδομένων, το οποίο είναι μια εργασία μεγάλης ποσότητας μνήμης. Αυτή η εισαγωγή συχνά απαιτεί επίσης περισσότερο χρόνο. Τα DirectQueries και τα δυναμικά Σύνδεση ions είναι συνήθως βαριά CPU. Στις περισσότερες περιπτώσεις, εκτελούνται πολλές φορές άμεσα ερωτήματα για την επεξεργασία μόνο ενός μικρού τμήματος των δεδομένων. Δεδομένου ότι εκτελείται επεξεργασία μόνο ενός μικρού τμήματος των δεδομένων, αυτά τα άμεσα ερωτήματα δεν είναι συνήθως μια εργασία με μεγάλο όγκο μνήμης. Ωστόσο, επειδή τα ερωτήματα εκτελούνται πολλές φορές κατ' απαίτηση, αυτό μπορεί να κάνει εντατική χρήση της CPU.

Ανάλογα με τον φόρτο εργασίας σας, εξετάστε το ενδεχόμενο να βελτιστοποιήσετε τον διακομιστή πύλης για μνήμη ή CPU.

Πότε να κλιμακώνετε ένα σύμπλεγμα πυλών

Η κλιμάκωση είναι μια σημαντική πτυχή ενός συμπλέγματος πυλών που είναι κρίσιμο για την επιχείρηση. Καθώς αυξάνεται η χρήση σας με το σύμπλεγμα πυλών, το σύμπλεγμα πυλών πρέπει να κλιμακωθεί ή/και να κλιμακωθεί ώστε να εξασφαλίζεται καλή απόδοση. Συνιστούμε να ξεκινήσετε την κλιμάκωση ενός συμπλέγματος πυλών, εάν προηγουμένως κλιμακώνατε τις πύλες στο σύμπλεγμα.

Η κλιμάκωση και διανομή του φόρτου κυκλοφορίας σε μεμονωμένους κόμβους εντός ενός συμπλέγματος είναι μια σύνθετη διαδικασία που ποικίλλει ανάλογα με κάθε μεμονωμένο σενάριο. Παρόλο που δεν υπάρχει οριστικό μοντέλο για να διασφαλιστεί ότι όλη η κυκλοφορία πύλης θα εξυπηρετηθεί με προβλέψιμο τρόπο, τα όρια που παρατίθενται παρακάτω υποδεικνύουν μια ανάγκη κλιμάκωσης. Σε γενικές γραμμές, συνιστούμε την κλιμάκωση (προσθήκη κόδων στο σύμπλεγμα) με προτιμησιακή κλιμάκωση (αύξηση της CPU, της ΜΝΉΜΗς RAM ή του χώρου στο δίσκο σε μεμονωμένους κόμβους). Η κλιμάκωση τείνει να είναι πιο αποτελεσματική συνολικά όσον αφορά τη δυνατότητα του συστήματος στο σύνολό του να χειρίζεται επιπλέον κυκλοφορία. Η κλιμάκωση έχει επίσης θετικό αντίκτυπο στο συνολικό εύρος ζώνης που μπορεί να επεξεργαστεί το σύμπλεγμα, ενώ γενικά η κλιμάκωση προς τα επάνω δεν το κάνει. Όταν ένας ή περισσότεροι κόμβοι πύλης εμφανίζουν ενδείξεις για την επίτευξη των ορίων που περιγράφονται παρακάτω, θα πρέπει να λαμβάνεται υπόψη ιδιαίτερα η κλιμάκωση του συμπλέγματος.

• CPU: Η CPU είναι πάνω από το 80% για παρατεταμένες χρονικές περιόδους, ωστόσο περιστασιακές σύντομες (κάτω από 5 λεπτά) αιχμές που μεγιστοποιούν τις CPU δεν είναι μη αναμενόμενες.

• RAM: Η διαθέσιμη μνήμη μειώνεται κάτω από το 20% τακτικά.

• Δίσκος: Ο ελεύθερος χώρος στον δίσκο πέφτει κάτω από τα 5 GB συχνά. Αυτή η πτώση θα μπορούσε επίσης να υποδεικνύει την ανάγκη ρύθμισης παραμέτρων καταλόγου προσωρινής αποθήκευσης ή αποθήκευσης στο cache πιο στρατηγικά.

• Ταυτόχρονη εκτέλεση περισσότερων από 40 ερωτημάτων ταυτόχρονα σε έναν μοναδικό κόμβο.

Δεδομένου ότι οι ανανεώσεις και τα ερωτήματα που διανέμονται στους κόμβους πύλης μπορεί να έχουν πολύ διαφορετικά προφίλ, συνιστούμε επίσης να υποβληθεί επιπλέον έλεγχος σε εργασίες μεγάλης διάρκειας ή εντατικής χρήση μνήμης. Η βελτιστοποίηση ερωτημάτων σε αυτές τις περιπτώσεις μπορεί να έχει τεράστιο αντίκτυπο στις επιδόσεις και την κλιμάκωση, όχι μόνο για τις μεμονωμένες αναφορές και ανανεώσεις, αλλά και για το σύστημα στο σύνολό του. Συνιστούμε να απομονώσετε τις εν λόγω ανανεώσεις σε ένα μοναδικό αποκλειστικό σύμπλεγμα πυλών για να αξιολογήσετε τα χαρακτηριστικά απόδοσης και να εκτελέσετε βελτιστοποίηση χρησιμοποιώντας διαγνωστικά σχεδίου ερωτήματος, δείκτες αναδίπλωσης και όλες τις άλλες δημοσιευμένες προτάσεις απόδοσης. Αυτή η απομόνωση ελαχιστοποιεί την ποσότητα των δεδομένων που ανακτώνται και το ποσό της απαιτούμενης μετά την επεξεργασία. Αυτή η απομόνωση μπορεί επίσης να χρησιμοποιηθεί ως μακροπρόθεσμη στρατηγική για την απομόνωση των εργασιών ETL μακράς διαρκείας σε ένα αποκλειστικό σύμπλεγμα πυλών, προκειμένου να μειωθεί ο ισχυρισμός με άλλες τυπικές ανανεώσεις σε ολόκληρο τον οργανισμό.

Κλιμάκωση συμπλέγματος πύλης

Η αύξηση είναι όταν αυξάνετε τις προδιαγραφές (CPU, μνήμη, δίσκος και ούτω καθεξής) των διακομιστών πύλης σας.

Ενδέχεται να απαιτείται αναβάθμιση εάν προσεγγιστεί η μέγιστη CPU ή μνήμη όταν η πύλη εκτελεί ένα ή περισσότερα ερωτήματα. Ένα ερώτημα μπορεί να εκτελεστεί μόνο σε έναν διακομιστή πύλης. Αυτός είναι ο λόγος για τον οποίο ο διακομιστής πύλης πρέπει να έχει αρκετούς διαθέσιμους πόρους για την επεξεργασία ολόκληρου του ερωτήματος μαζί με τα δεδομένα που προκύπτουν.

Κλιμάκωση συμπλέγματος πύλης

Απαιτείται κλιμάκωση εάν ο διακομιστής πύλης έχει ήδη υψηλές προδιαγραφές (με άλλα λόγια, ο διακομιστής πύλης έχει κάνει κλιμάκωση ήδη) ή έχετε φτάσει στα όρια του τι μπορεί να διαχειριστεί ένας διακομιστής πύλης λόγω του αριθμού των ταυτόχρονων ερωτημάτων που εκτελούνται. Η αύξηση του φόρτου σε ολόκληρο το σύνολο μελών πύλης αποτελεί μια καλή ένδειξη ότι η κλιμάκωση ενός συμπλέγματος με την προσθήκη κόδων είναι η σωστή πορεία ενεργειών. Πότε μπορείτε να κλιμακώσετε ένα σύμπλεγμα πυλών παρέχει συγκεκριμένα όρια που υποδεικνύουν πότε είναι η ώρα για κλιμάκωση. Για περισσότερες πληροφορίες σχετικά με την κλιμάκωση, μεταβείτε στην ενότητα Χρήση των δυνατοτήτων υψηλής διαθεσιμότητας και εξισορρόπησης φόρτου της πύλης.

Κλιμάκωση με τη δημιουργία νέων συμπλεγμάτων πυλών

Εάν η χρήση πόρων του συμπλέγματος πυλών σας είναι υψηλή ή ένας εξαιρετικά μεγάλος αριθμός χρηστών βασίζεται σε ένα σύμπλεγμα πυλών, μπορεί να δημιουργηθεί ένα νέο σύμπλεγμα πυλών. Στη συνέχεια, ένα υποσύνολο του φόρτου εργασίας μπορεί να μετεγκατασταθεί στο νέο σύμπλεγμα πυλών. Όταν ένας μεγάλος αριθμός χρηστών βασίζεται σε ένα μοναδικό σύμπλεγμα πυλών, αυξάνεται σημαντικά η πιθανότητα ένας χρήστης να στείλει ένα ερώτημα που προκαλεί σημαντική επίδραση στις επιδόσεις σε ολόκληρο το σύμπλεγμα πυλών.

Ένας εξαιρετικά μεγάλος αριθμός χρηστών που βασίζονται σε ένα μοναδικό σύμπλεγμα πυλών αποτελεί ένδειξη ότι θα πρέπει να δημιουργηθεί ένα νέο σύμπλεγμα πυλών.

Παρακολούθηση και αντιμετώπιση προβλημάτων επιδόσεων πύλης

Είναι σημαντικό να παρακολουθείτε τις συνολικές επιδόσεις των κρίσιμων για την επιχείρηση πυλών, χρησιμοποιώντας τη δυνατότητα παρακολούθησης επιδόσεων πύλης . Μπορείτε επίσης να χρησιμοποιήσετε αυτήν τη δυνατότητα για να αντιμετωπίσετε προβλήματα επιδόσεων, να αναγνωρίσετε συμφορήσεις και να αναγνωρίσετε ερωτήματα που επηρεάζουν τις συνολικές επιδόσεις της πύλης. Αυτή η δυνατότητα είναι επίσης ένα σημαντικό εργαλείο που σας βοηθά να προσδιορίσετε πότε πρέπει να κλιμακώσετε ένα σύμπλεγμα πυλών.

Εάν αναγνωρίσετε ότι ένα ερώτημα έχει σοβαρό αντίκτυπο στην πύλη με αποτέλεσμα χαμηλές συνολικές επιδόσεις, ενδέχεται να μπορείτε να γράψετε ξανά το ερώτημα για να είναι πιο αποτελεσματικό και να ελαχιστοποιήσετε τις επιπτώσεις στις επιδόσεις.

Εάν η Microsoft εντοπίσει κακές επιδόσεις που προκαλούνται από μια πύλη ή ένα στοιχείο που σχετίζεται με την πύλη, όπως ένα σύνολο εκχωρημένων πόρων Power BI Premium που είναι υπερφορτωμένο, το υπερφορτωμένο στοιχείο πρέπει να διορθωθεί με κλιμάκωση ή μείωση του φόρτου. Η Microsoft δεν διερευνά χαμηλές επιδόσεις όταν μια πύλη ή ένα στοιχείο που σχετίζεται με πύλη είναι υπερφορτωμένο.