Πώς μπορείτε να δημιουργήσετε προσαρμοσμένα Spark pools στο Microsoft Fabric
Σε αυτό το έγγραφο, εξηγούμε πώς μπορείτε να δημιουργήσετε προσαρμοσμένους χώρους συγκέντρωσης Apache Spark στο Microsoft Fabric για τους φόρτους εργασίας ανάλυσής σας. Οι χώροι συγκέντρωσης Apache Spark επιτρέπουν στους χρήστες να δημιουργούν προσαρμοσμένα περιβάλλοντα υπολογιστικής λειτουργίας με βάση τις συγκεκριμένες απαιτήσεις τους, εξασφαλίζοντας βέλτιστη απόδοση και χρήση πόρων.
Καθορίζετε τον ελάχιστο και τον μέγιστο κόμβο για αυτόματη κλιμάκωση. Με βάση αυτές τις τιμές, το σύστημα αποκτά και αποσύρει δυναμικά κόμβους καθώς αλλάζουν οι υπολογιστικές απαιτήσεις της εργασίας, το οποίο έχει ως αποτέλεσμα την αποτελεσματική κλιμάκωση και τη βελτίωση των επιδόσεων. Η δυναμική εκχώρηση εκτελέσεων σε χώρους συγκέντρωσης Spark επίσης διευκολύνει την ανάγκη για μη αυτόματη ρύθμιση παραμέτρων εκτελέσεων. Αντίθετα, το σύστημα προσαρμόζει τον αριθμό των εκτελέσεων ανάλογα με τον όγκο των δεδομένων και τις υπολογιστικές ανάγκες σε επίπεδο εργασίας. Αυτή η διαδικασία σάς επιτρέπει να εστιάσετε στους φόρτους εργασίας σας χωρίς να ανησυχείτε για τη βελτιστοποίηση των επιδόσεων και τη διαχείριση των πόρων.
Σημείωμα
Για να δημιουργήσετε ένα προσαρμοσμένο Spark pool, χρειάζεστε πρόσβαση διαχειριστή στον χώρο εργασίας. Ο διαχειριστής εκχωρημένων πόρων πρέπει να ενεργοποιήσει την επιλογή Προσαρμοσμένος χώρος εργασίας στην ενότητα Spark Compute των ρυθμίσεων Εκχωρημένοι πόροι Διαχείριση. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Ρυθμίσεις Spark Compute για Εκχωρημένους πόρους Fabric.
Δημιουργία προσαρμοσμένων pool Spark
Για να δημιουργήσετε ή να διαχειριστείτε τον χώρο συγκέντρωσης Spark που σχετίζεται με τον χώρο εργασίας σας:
Μεταβείτε στον χώρο εργασίας σας και επιλέξτε Ρυθμίσεις χώρου εργασίας.
Επιλέξτε Μηχανικός δεδομένων/Επιστήμη για να αναπτύξετε το μενού και, στη συνέχεια, επιλέξτε Spark Compute.
Επιλέξτε Νέα πισίνα. Στην οθόνη Δημιουργία χώρου συγκέντρωσης, ονομάστε τον χώρο συγκέντρωσης Spark. Επιλέξτε επίσης την οικογένεια Node και επιλέξτε ένα μέγεθος κόμβου από τα διαθέσιμα μεγέθη (Μικρό, Μεσαίο, Μεγάλο, X-Large και XX-Large) βάσει των υπολογιστικών απαιτήσεων για τους φόρτους εργασίας σας.
Μπορείτε να ορίσετε την ελάχιστη ρύθμιση παραμέτρων κόμβου για τους προσαρμοσμένους χώρους συγκέντρωσης σε 1. Επειδή το Fabric Spark παρέχει διαθεσιμότητα με δυνατότητα επαναφοράς για συμπλέγματα με έναν μοναδικό κόμβο, δεν χρειάζεται να ανησυχείτε για αποτυχίες εργασιών, απώλεια περιόδου λειτουργίας κατά τη διάρκεια αποτυχιών ή για πληρωμή υπολογιστικών εργασιών για μικρότερες εργασίες Spark.
Μπορείτε να ενεργοποιήσετε ή να απενεργοποιήσετε την αυτόματη κλιμάκωση για τους προσαρμοσμένους χώρους συγκέντρωσης Spark. Όταν είναι ενεργοποιημένη η αυτόματη κλιμάκωση, ο χώρος συγκέντρωσης θα αποκτήσει δυναμικά νέους κόμβους έως το μέγιστο όριο κόμβου που καθορίζεται από τον χρήστη και, στη συνέχεια, θα τους αποσύρει μετά την εκτέλεση της εργασίας. Αυτή η δυνατότητα εξασφαλίζει καλύτερες επιδόσεις, προσαρμόζοντας τους πόρους με βάση τις απαιτήσεις εργασίας. Σας επιτρέπεται να ταξινομήσετε τους κόμβους, οι οποίοι χωράνε στις μονάδες χωρητικότητας που αγοράστηκαν ως μέρος της SKU χωρητικότητας Fabric.
Μπορείτε επίσης να ενεργοποιήσετε την εκχώρηση δυναμικών εκτελέσεων για τον χώρο συγκέντρωσης Spark, το οποίο καθορίζει αυτόματα τον βέλτιστο αριθμό εκτελέσεων εντός του μέγιστου ορίου που καθορίζεται από τον χρήστη. Αυτή η δυνατότητα προσαρμόζει τον αριθμό των εκτελέσεων με βάση τον όγκο των δεδομένων, με αποτέλεσμα τη βελτίωση της απόδοσης και της χρήσης των πόρων.
Αυτοί οι προσαρμοσμένοι χώροι συγκέντρωσης έχουν προεπιλεγμένη διάρκεια αυτόματης βίβλου 2 λεπτών. Όταν συμπληρωθεί η διάρκεια της αυτόματης βίβλου, η περίοδος λειτουργίας λήγει και τα συμπλέγματα δεν έχουν εκχωρηθεί. Θα χρεωθείτε με βάση τον αριθμό των κόδων και τη διάρκεια για την οποία χρησιμοποιούνται οι προσαρμοσμένοι χώροι συγκέντρωσης Spark.
Σχετικό περιεχόμενο
- Μάθετε περισσότερα από τη δημόσια τεκμηρίωση του Apache Spark.
- Γρήγορα αποτελέσματα με τις ρυθμίσεις διαχείρισης χώρου εργασίας Spark στο Microsoft Fabric.