Δημιουργία προσαρμοσμένων χώρων συγκέντρωσης Spark στο Microsoft Fabric

Χρησιμοποιήστε προσαρμοσμένους χώρους συγκέντρωσης Spark για να προσαρμόσετε τον υπολογισμό για τους φόρτους εργασίας σας στο Fabric. Μπορείτε να επιλέξετε μέγεθος κόμβου, να διαμορφώσετε τη συμπεριφορά αυτόματης κλιμάκωσης και να ενεργοποιήσετε τη δυναμική εκχώρηση εκτελεστή.

Οι προσαρμοσμένοι χώροι συγκέντρωσης σάς βοηθούν να εξισορροπήσετε την απόδοση και το κόστος, επιτρέποντάς σας να ορίσετε όρια κλιμάκωσης που ταιριάζουν με τη ζήτηση φόρτου εργασίας.

Σημείωμα

Οι προσαρμοσμένοι χώροι συγκέντρωσης Spark μπορούν να επιτύχουν έναρξη περιόδου λειτουργίας περίπου 5 δευτερολέπτων όταν ρυθμιστούν ως προσαρμοσμένος χώρος συγκέντρωσης δυναμικής μετάδοσης με ένα περιβάλλον που χρησιμοποιεί την πλήρη λειτουργία για δημοσίευση βιβλιοθήκης. Χωρίς ρύθμιση παραμέτρων χώρου συγκέντρωσης σε πραγματικό χρόνο, οι προσαρμοσμένοι χώροι συγκέντρωσης Spark χρειάζονται περίπου τρία λεπτά για να ξεκινήσουν.

Εάν χρησιμοποιείτε ήδη χώρους συγκέντρωσης εκκίνησης, οι προσαρμοσμένοι χώροι συγκέντρωσης είναι μια συμπληρωματική επιλογή όταν χρειάζεστε περισσότερο έλεγχο στη συμπεριφορά αλλαγής μεγέθους και κλιμάκωσης για συγκεκριμένους φόρτους εργασίας. Χρησιμοποιήστε χώρους συγκέντρωσης εκκίνησης για γρήγορη εκκίνηση και προεπιλεγμένες ρυθμίσεις και μετακινηθείτε σε προσαρμοσμένους χώρους συγκέντρωσης όταν χρειάζεστε υπολογιστική ρύθμιση για συγκεκριμένο φόρτο εργασίας. Για να μάθετε περισσότερα σχετικά με τους χώρους συγκέντρωσης εκκίνησης, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων χώρων συγκέντρωσης εκκίνησης στο Fabric.

Προαπαιτούμενα στοιχεία

Για να δημιουργήσετε έναν προσαρμοσμένο χώρο συγκέντρωσης Spark:

• Χρειάζεστε τον ρόλο Διαχειριστής στον χώρο εργασίας.
• Ένας διαχειριστής εκχωρημένων πόρων πρέπει να ενεργοποιήσει τους προσαρμοσμένους χώρους συγκέντρωσης χώρων εργασίας στις ρυθμίσεις Spark Compute για τους εκχωρημένους πόρους.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων και διαχείριση ρυθμίσεων μηχανικής δεδομένων και επιστήμης δεδομένων για εκχωρημένους πόρους Fabric.

Δημιουργία προσαρμοσμένων pool Spark

Για να δημιουργήσετε ή να διαχειριστείτε τον χώρο συγκέντρωσης Spark που σχετίζεται με τον χώρο εργασίας σας:

1. Μεταβείτε στον χώρο εργασίας σας και επιλέξτε Ρυθμίσεις χώρου εργασίας.

   

2. Επιλέξτε το στοιχείο Data Engineering/Science για να αναπτύξετε το μενού και, στη συνέχεια, επιλέξτε Ρυθμίσεις Spark.

   

3. Επιλέξτε Νέος χώρος συγκέντρωσης από την αναπτυσσόμενη λίστα Προεπιλεγμένος χώρος συγκέντρωσης για χώρο εργασίας για να δημιουργήσετε έναν νέο προσαρμοσμένο χώρο συγκέντρωσης Spark. Μπορείτε να δημιουργήσετε πολλούς προσαρμοσμένους χώρους συγκέντρωσης και να επιλέξετε οποιονδήποτε από αυτούς ως τον προεπιλεγμένο χώρο συγκέντρωσης για τον χώρο εργασίας σας.

4. Στη σελίδα Δημιουργία νέου χώρου συγκέντρωσης , πληκτρολογήστε ένα όνομα χώρου συγκέντρωσης. Επιλέξτε μια οικογένεια κόμβων (όπως Βελτιστοποιημένη μνήμη) και μέγεθος κόμβου με βάση τις απαιτήσεις φόρτου εργασίας. Για περισσότερες πληροφορίες σχετικά με τα μεγέθη κόμβων, ανατρέξτε στην ενότητα Επιλογές μεγέθους κόμβου παρακάτω.

   Φιλοδώρημα

   Το μέγεθος του κόμβου καθορίζεται από τις Μονάδες Χωρητικότητας (CU), οι οποίες αντιπροσωπεύουν την υπολογιστική χωρητικότητα που έχει εκχωρηθεί σε κάθε κόμβο.

   

5. Στην προβολή επεξεργασίας, ρυθμίστε τις παραμέτρους της Αυτόματης κλιμάκωσης και της Δυναμικής εκχώρησης εκτελεστών.

   

   Χρησιμοποιήστε τα ρυθμιστικά για να αυξήσετε ή να μειώσετε κάθε ρύθμιση με βάση τις ανάγκες φόρτου εργασίας σας.

   • Εάν είναι ενεργοποιημένη η Αυτόματη κλιμάκωση , ο χώρος συγκέντρωσης κλιμακώνεται μεταξύ των διαμορφωμένων ελάχιστων και μέγιστων τιμών κόμβου με βάση τη δραστηριότητα.

   • Εάν είναι ενεργοποιημένη η Δυναμική εκχώρηση εκτελεστών , το Fabric προσαρμόζει την κατανομή εκτελεστών με βάση τη ζήτηση φόρτου εργασίας εντός των ρυθμισμένων ορίων.

6. Επιλέξτε Δημιουργία.

Φιλοδώρημα

Αφού δημιουργήσετε ένα προσαρμοσμένο χώρο συγκέντρωσης Spark, ο χρόνος ανάπτυξης της βιβλιοθήκης εξαρτάται από τη λειτουργία δημοσίευσης στο συνδεδεμένο περιβάλλον. Η γρήγορη λειτουργία δημοσιεύει σε περίπου 5 δευτερόλεπτα και εγκαθιστά βιβλιοθήκες κατά την έναρξη της συνεδρίας. Η πλήρης λειτουργία διαρκεί 3 έως 6 λεπτά για τη δημοσίευση και αναπτύσσει βιβλιοθήκες ως μέρος της εκκίνησης της περιόδου λειτουργίας (1 έως 3 λεπτά). Για την ταχύτερη εμπειρία, διαμορφώστε τον χώρο συγκέντρωσης ως προσαρμοσμένο ζωντανό χώρο συγκέντρωσης με πλήρη λειτουργία για να επιτύχετε έναρξη περιόδου λειτουργίας περίπου 5 δευτερολέπτων.

Οι προσαρμοσμένοι χώροι συγκέντρωσης έχουν προεπιλεγμένη διάρκεια αυτόματης παύσης 2 λεπτών μετά την αδράνεια. Όταν επιτευχθεί αυτόματη παύση, η περίοδος λειτουργίας λήγει και το σύμπλεγμα κατανέμεται. Η χρέωση ισχύει μόνο όταν η υπολογιστική λειτουργία χρησιμοποιείται ενεργά. Οι προσαρμοσμένοι χώροι συγκέντρωσης Spark στο Fabric υποστηρίζουν αυτήν τη στιγμή ένα μέγιστο όριο κόμβων 200, επομένως βεβαιωθείτε ότι οι ελάχιστες και μέγιστες τιμές αυτόματης κλιμάκωσης παραμένουν εντός αυτού του ορίου.

Επιλογές μεγέθους κόμβου

Όταν ρυθμίζετε έναν προσαρμοσμένο χώρο συγκέντρωσης Spark, επιλέγετε από τα ακόλουθα μεγέθη κόμβων:

Μέγεθος κόμβου	vCores	Μνήμη (GB)	Περιγραφή
Μικρό	4	32	Για ελαφριές εργασίες ανάπτυξης και δοκιμών.
Μεσαία	8	64	Για γενικούς φόρτους εργασίας και τυπικές λειτουργίες.
Μεγάλο	16	128	Για εργασίες με υψηλές απαιτήσεις μνήμης ή μεγάλες εργασίες επεξεργασίας δεδομένων.
X-Large	32	256	Για τους πιο απαιτητικούς φόρτους εργασίας Spark που χρειάζονται σημαντικούς πόρους.
XX-Large	64	512	Για τους μεγαλύτερους φόρτους εργασίας Spark που απαιτούν τον υψηλότερο υπολογισμό και μνήμη ανά κόμβο.

Σχετικό περιεχόμενο

• Μάθετε περισσότερα από τη δημόσια τεκμηρίωση του Apache Spark.
• Γρήγορα αποτελέσματα με τις ρυθμίσεις διαχείρισης χώρου εργασίας Spark στο Fabric.
• Διαχείριση βιβλιοθηκών σε περιβάλλοντα Fabric