Ρυθμίσεις διαχείρισης χώρου εργασίας Apache Spark στο Microsoft Fabric

Ισχύει για: Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Όταν δημιουργείτε έναν χώρο εργασίας στο Microsoft Fabric, δημιουργείται αυτόματα μια ομάδα εκκίνησης που συσχετίζεται με αυτόν τον χώρο εργασίας. Με την απλοποιημένη ρύθμιση στο Microsoft Fabric, δεν χρειάζεται να επιλέξετε τον κόμβο ή τα μεγέθη μηχανής, καθώς αυτές οι επιλογές αντιμετωπίζονται για εσάς στο παρασκήνιο. Αυτή η ρύθμιση παραμέτρων παρέχει μια ταχύτερη εμπειρία έναρξης περιόδου λειτουργίας Apache Spark (5-10 δευτερόλεπτα) για να ξεκινήσουν οι χρήστες και να εκτελέσουν τις εργασίες Apache Spark σε πολλά συνήθη σενάρια, χωρίς να χρειάζεται να ανησυχείτε για τη ρύθμιση της υπολογιστικής λειτουργίας. Για σύνθετα σενάρια με συγκεκριμένες υπολογιστικές απαιτήσεις, οι χρήστες μπορούν να δημιουργήσουν έναν προσαρμοσμένο χώρο συγκέντρωσης Apache Spark και να προσαρμόσουν τους κόμβους σύμφωνα με τις ανάγκες απόδοσής τους.

Για να κάνετε αλλαγές στις ρυθμίσεις apache Spark σε έναν χώρο εργασίας, θα πρέπει να έχετε τον ρόλο διαχειριστή για αυτόν τον χώρο εργασίας. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Ρόλοι σε χώρους εργασίας.

Για να διαχειριστείτε τις ρυθμίσεις Spark για τον χώρο συγκέντρωσης που σχετίζεται με τον χώρο εργασίας σας:

1. Μεταβείτε στις Ρυθμίσεις χώρου εργασίας στον χώρο εργασίας σας και επιλέξτε τη Μηχανική δεδομένων/Επιστήμη για να αναπτύξετε το μενού:

   

2. Βλέπετε την επιλογή Spark Compute στο αριστερό μενού:

   

   Σημείωμα

   Εάν αλλάξετε τον προεπιλεγμένο χώρο συγκέντρωσης από Starter Pool σε Custom Spark pool, ενδέχεται να δείτε μεγαλύτερη έναρξη περιόδου λειτουργίας (~3 λεπτά).

Σύνολο

Προεπιλεγμένος χώρος συγκέντρωσης για τον χώρο εργασίας

Μπορείτε να χρησιμοποιήσετε την ομάδα εκκίνησης που δημιουργείται αυτόματα ή να δημιουργήσετε προσαρμοσμένους χώρους συγκέντρωσης για τον χώρο εργασίας.

• Πισίνα εκκίνησης: Οι προκαθορισμένες ζωντανές πισίνες δημιουργούνται αυτόματα για την ταχύτερη εμπειρία σας. Αυτά τα συμπλέγματα έχουν μεσαίο μέγεθος. Η ομάδα εκκίνησης ορίζεται σε μια προεπιλεγμένη ρύθμιση παραμέτρων με βάση την SKU χωρητικότητας Fabric που αγοράστηκε. Οι διαχειριστές μπορούν να προσαρμόσουν τους μέγιστους κόμβους και εκτελέσεις με βάση τις απαιτήσεις τους για την κλίμακα φόρτου εργασίας Spark. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων πινκών εκκίνησης

• Προσαρμοσμένο Spark Pool: Μπορείτε να αλλάξετε το μέγεθος των κόφων, της αυτόματης κλιμάκωσης και της δυναμικής εκχώρησης εκτελέσεων με βάση τις απαιτήσεις εργασίας Spark. Για να δημιουργήσει ένα προσαρμοσμένο Spark pool, ο διαχειριστής εκχωρημένων πόρων θα πρέπει να ενεργοποιήσει την επιλογή Προσαρμοσμένοι χώροι εργασίας στην ενότητα Spark Compute των ρυθμίσεων διαχειριστή εκχωρημένων πόρων.

Σημείωμα

Το στοιχείο ελέγχου επιπέδου εκχωρημένων πόρων για προσαρμοσμένους χώρους εργασίας είναι ενεργοποιημένο από προεπιλογή. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων και διαχείριση της διαχείρισης δεδομένων και των ρυθμίσεων επιστήμης δεδομένων για εκχωρημένους πόρους Fabric.

Οι διαχειριστές μπορούν να δημιουργούν προσαρμοσμένα Spark pools με βάση τις υπολογιστικές απαιτήσεις τους, επιλέγοντας Νέος χώρος συγκέντρωσης .

Το Apache Spark για Microsoft Fabric υποστηρίζει συμπλέγματα μονού κόμβου, το οποίο επιτρέπει στους χρήστες να επιλέξουν μια ελάχιστη ρύθμιση παραμέτρων κόμβου 1, όπου, σε αυτή την περίπτωση, το πρόγραμμα οδήγησης και ο εκτελέσιμος εκτέλεσης εκτελούνται σε έναν κόμβο. Αυτά τα συμπλέγματα μονών κόμβων προσφέρουν επαναφορά υψηλής διαθεσιμότητας σε περίπτωση αποτυχιών κόμβων και καλύτερης αξιοπιστίας για φόρτους εργασίας με μικρότερες υπολογιστικές απαιτήσεις. Μπορείτε επίσης να ενεργοποιήσετε ή να απενεργοποιήσετε την επιλογή αυτόματης κλιμάκωσης για τα προσαρμοσμένα Spark pools σας. Όταν ενεργοποιείται με αυτόματη κλιμάκωση, ο χώρος συγκέντρωσης θα αποκτά νέους κόμβους εντός του μέγιστου ορίου κόμβου που καθορίζεται από τον χρήστη και θα τους αποσύρει μετά την εκτέλεση της εργασίας για καλύτερες επιδόσεις.

Μπορείτε επίσης να επιλέξετε να εκχωρήσετε δυναμικά εκτελεστές για να συγκεντρώνετε αυτόματα τον βέλτιστο αριθμό εκτελέσεων εντός του μέγιστου καθορισμένου αριθμού με βάση τον όγκο δεδομένων για καλύτερες επιδόσεις.

Μάθετε περισσότερα σχετικά με την υπολογιστική λειτουργία Apache Spark για το Fabric.

• Προσαρμογή ρύθμισης παραμέτρων υπολογιστικής λειτουργίας για στοιχεία: Ως διαχειριστής χώρου εργασίας, μπορείτε να επιτρέψετε στους χρήστες να προσαρμόζουν τις ρυθμίσεις παραμέτρων υπολογιστικής λειτουργίας (ιδιότητες επιπέδου περιόδου λειτουργίας που περιλαμβάνουν τον πυρήνα προγράμματος οδήγησης/εκτελέσεων, τη μνήμη προγράμματος οδήγησης/εκτελέσεων) για μεμονωμένα στοιχεία όπως σημειωματάρια, ορισμούς εργασίας Spark που χρησιμοποιούν περιβάλλον.

Εάν η ρύθμιση είναι απενεργοποιημένη από τον διαχειριστή του χώρου εργασίας, ο προεπιλεγμένος χώρος συγκέντρωσης και οι υπολογιστικές ρυθμίσεις του θα χρησιμοποιούνται για όλα τα περιβάλλοντα στον χώρο εργασίας.

Περιβάλλον

Το περιβάλλον παρέχει ευέλικτες ρυθμίσεις παραμέτρων για την εκτέλεση των εργασιών Spark (σημειωματάρια, ορισμοί εργασιών Spark). Σε ένα περιβάλλον μπορείτε να ρυθμίσετε τις παραμέτρους των ιδιοτήτων υπολογιστικής λειτουργίας, να επιλέξετε διαφορετικό χρόνο εκτέλεσης, να ρυθμίσετε εξαρτήσεις πακέτων βιβλιοθήκης με βάση τις απαιτήσεις φόρτου εργασίας σας.

Στην καρτέλα περιβάλλοντος, έχετε την επιλογή να ορίσετε το προεπιλεγμένο περιβάλλον. Μπορείτε να επιλέξετε ποια έκδοση του Spark θα θέλατε να χρησιμοποιήσετε για τον χώρο εργασίας.

Ως διαχειριστής χώρου εργασίας Fabric, μπορείτε να επιλέξετε ένα περιβάλλον ως προεπιλεγμένο περιβάλλον χώρου εργασίας.

Μπορείτε επίσης να δημιουργήσετε μια νέα μέσω της αναπτυσσόμενης λίστας Περιβάλλον .

Εάν απενεργοποιήσετε την επιλογή για να έχετε ένα προεπιλεγμένο περιβάλλον, έχετε την επιλογή να επιλέξετε την έκδοση χρόνου εκτέλεσης Fabric από τις διαθέσιμες εκδόσεις χρόνου εκτέλεσης που παρατίθενται στην αναπτυσσόμενη επιλογή.

Μάθετε περισσότερα σχετικά με τους χρόνους εκτέλεσης του Apache Spark.

Υψηλή ταυτόχρονη εκτέλεση

Η λειτουργία υψηλής ταυτόχρονης εκτέλεσης επιτρέπει στους χρήστες να μοιράζονται τις ίδιες περιόδους λειτουργίας Spark στο Apache Spark για τη μηχανική δεδομένων Fabric και τους φόρτους εργασίας επιστήμης δεδομένων. Ένα στοιχείο όπως ένα σημειωματάριο χρησιμοποιεί μια περίοδο λειτουργίας Spark για την εκτέλεσή της και όταν ενεργοποιηθεί επιτρέπει στους χρήστες να κάνουν κοινή χρήση μίας περιόδου λειτουργίας Spark σε πολλά σημειωματάρια.

Μάθετε περισσότερα σχετικά με την Υψηλή ταυτόχρονη εκτέλεση στο Apache Spark για Fabric.

Αυτόματη καταγραφή για μοντέλα και πειράματα εκμάθησης μηχανής

Οι διαχειριστές μπορούν πλέον να ενεργοποιούν την αυτόματη καταχώρηση για τα μοντέλα και τα πειράματά τους στην εκμάθηση μηχανής. Αυτή η επιλογή καταγράφει αυτόματα τις τιμές των παραμέτρων εισόδου, των μετρικών εξόδου και των στοιχείων εξόδου ενός μοντέλου εκμάθησης μηχανής κατά την εκπαίδευση. Μάθετε περισσότερα σχετικά με την αυτόματη καταχώρηση.

Σχετικό περιεχόμενο

• Διαβάστε σχετικά με τους χρόνους εκτέλεσης Apache Spark στο Fabric - Επισκόπηση, Διαχείριση εκδόσεων, Υποστήριξη πολλαπλών χρόνου εκτέλεσης και αναβάθμιση του πρωτοκόλλου Delta Lake.
• Μάθετε περισσότερα από τη δημόσια τεκμηρίωση του Apache Spark.
• Βρείτε απαντήσεις σε συνήθεις ερωτήσεις: Συνήθεις ερωτήσεις για τις ρυθμίσεις διαχείρισης χώρου εργασίας Apache Spark.