Ρυθμίσεις παραμέτρων υπολογιστικής λειτουργίας Spark σε περιβάλλοντα Fabric

Οι εμπειρίες Microsoft Fabric Data Engineering και Data Science λειτουργούν σε μια πλήρως διαχειριζόμενη πλατφόρμα υπολογιστικής λειτουργίας Spark. Από προεπιλογή, όλες οι εργασίες Spark σε έναν χώρο εργασίας μοιράζονται τον ίδιο χώρο συγκέντρωσης και τις ίδιες ρυθμίσεις πόρων, αλλά διαφορετικοί φόρτοι εργασίας συχνά έχουν διαφορετικές απαιτήσεις. Ένας ελαφρύς μετασχηματισμός δεδομένων δεν χρειάζεται την ίδια μνήμη προγράμματος οδήγησης με μια εργασία μηχανικής εκμάθησης μεγάλης κλίμακας.

Τα περιβάλλοντα Fabric σάς επιτρέπουν να προσαρμόσετε τη ρύθμιση παραμέτρων υπολογιστικής λειτουργίας Spark ανά φόρτο εργασίας, έτσι ώστε κάθε σημειωματάριο ή ορισμός εργασίας Spark να μπορεί να εκτελεστεί με τη σωστή έκδοση χρόνου εκτέλεσης, χώρο συγκέντρωσης και μέγεθος προγράμματος οδήγησης/εκτελεστή χωρίς να αλλάξετε τις προεπιλογές σε όλο τον χώρο εργασίας.

Ρύθμιση παραμέτρων υπολογιστικής λειτουργίας σε επίπεδο χώρου εργασίας

Οι διαχειριστές χώρου εργασίας ελέγχουν εάν τα στοιχεία περιβάλλοντος μπορούν να παρακάμψουν την προεπιλεγμένη ρύθμιση παραμέτρων υπολογισμού του χώρου εργασίας. Η διατήρηση της προσαρμογής σε επίπεδο στοιχείου απενεργοποιημένη διασφαλίζει τη συνεπή χρήση πόρων σε όλο τον χώρο εργασίας. Η ενεργοποίησή του δίνει στα μέλη και τους συνεισφέροντες την ευελιξία να συντονίζουν τους υπολογισμούς για μεμονωμένους φόρτους εργασίας.

  1. Στο πρόγραμμα περιήγησής σας, μεταβείτε στον χώρο εργασίας Fabric στην πύλη Fabric.

  2. Επιλέξτε Ρυθμίσεις χώρου εργασίας.

  3. Επιλέξτε Data Engineering/Science και, στη συνέχεια, επιλέξτε Ρυθμίσεις Spark.

  4. Επιλέξτε την καρτέλα Pool .

  5. Θέστε την εναλλαγή Προσαρμογή υπολογιστικών διαμορφώσεων για στοιχεία σε Ενεργό.

    Στιγμιότυπο οθόνης που εμφανίζει την επιλογή προσαρμογής υπολογισμού σε επίπεδο στοιχείου στις ρυθμίσεις χώρου εργασίας.

    Όταν αυτή η εναλλαγή είναι ενεργοποιημένη, τα μέλη και οι συμβάλλοντες μπορούν να αλλάξουν τις ρυθμίσεις παραμέτρων υπολογισμού σε επίπεδο περιόδου λειτουργίας σε ένα περιβάλλον Fabric. Όταν είναι απενεργοποιημένη, η ενότητα Υπολογισμός σε στοιχεία περιβάλλοντος είναι απενεργοποιημένη και όλες οι εργασίες Spark χρησιμοποιούν τον προεπιλεγμένο χώρο συγκέντρωσης χώρου εργασίας.

  6. Επιλέξτε Αποθήκευση.

Ρύθμιση παραμέτρων υπολογισμού σε περιβάλλον

Αφού ένας διαχειριστής χώρου εργασίας ενεργοποιήσει την προσαρμογή σε επίπεδο στοιχείου, μπορείτε να ρυθμίσετε τις παραμέτρους υπολογισμού μέσα σε ένα στοιχείο περιβάλλοντος. Αυτό περιλαμβάνει την επιλογή ενός χρόνου εκτέλεσης Spark, την επιλογή ενός χώρου συγκέντρωσης και τη ρύθμιση των πόρων του προγράμματος οδήγησης και του εκτελεστή.

Επιλέξτε χρόνο εκτέλεσης Spark

  1. Ανοίξτε το στοιχείο περιβάλλοντός σας.

  2. Στην Κεντρική καρτέλα, επιλέξτε την αναπτυσσόμενη λίστα Χρόνος εκτέλεσης και επιλέξτε μια έκδοση χρόνου εκτέλεσης.

    Στιγμιότυπο οθόνης που δείχνει πώς να επιλέξετε την έκδοση χρόνου εκτέλεσης για το περιβάλλον.

Κάθε χρόνος εκτέλεσης Spark έχει τις δικές του προεπιλεγμένες ρυθμίσεις και προεγκατεστημένα πακέτα.

Σημαντικό

  • Οι αλλαγές χρόνου εκτέλεσης δεν ισχύουν μέχρι να αποθηκεύσετε και να δημοσιεύσετε το περιβάλλον.
  • Εάν οι υπάρχουσες βιβλιοθήκες ή οι ρυθμίσεις υπολογισμού δεν είναι συμβατές με τον επιλεγμένο χρόνο εκτέλεσης, η δημοσίευση αποτυγχάνει. Καταργήστε ή ενημερώστε τις μη συμβατές ρυθμίσεις και, στη συνέχεια, δημοσιεύστε ξανά.
  • Για οδηγίες δημοσίευσης βήμα προς βήμα, ανατρέξτε στο θέμα Αποθήκευση και δημοσίευση αλλαγών.

Επιλέξτε έναν χώρο συγκέντρωσης και συντονίστε τις ιδιότητες υπολογισμού

  1. Ανοίξτε το περιβάλλον και μεταβείτε στην ενότητα Υπολογισμός .

  2. Στην περιοχή Χώρος συγκέντρωσης περιβάλλοντος, επιλέξτε τον χώρο συγκέντρωσης εκκίνησης ή έναν προσαρμοσμένο χώρο συγκέντρωσης που δημιουργήθηκε από τον διαχειριστή του χώρου εργασίας σας.

    Στιγμιότυπο οθόνης που δείχνει πού μπορείτε να επιλέξετε ομάδες στην ενότητα Υπολογισμός περιβάλλοντος.

  3. Χρησιμοποιήστε τις αναπτυσσόμενες λίστες στη σελίδα Υπολογισμός , για να ρυθμίσετε τις ιδιότητες Spark σε επίπεδο περιόδου λειτουργίας για τον επιλεγμένο χώρο συγκέντρωσης. Οι διαθέσιμες τιμές εξαρτώνται από το μέγεθος του κόμβου της πισίνας.

    Στιγμιότυπο οθόνης που εμφανίζει τις αναπτυσσόμενες λίστες ιδιοτήτων υπολογιστικής λειτουργίας στην ενότητα Υπολογισμός περιβάλλοντος.

    Οι ιδιότητες περιλαμβάνουν:

    • Πυρήνες προγράμματος οδήγησης Spark – Αριθμός πυρήνων που έχουν εκχωρηθεί στο πρόγραμμα οδήγησης Spark.
    • Μνήμη προγράμματος οδήγησης Spark – Ποσότητα μνήμης που έχει εκχωρηθεί στο πρόγραμμα οδήγησης Spark.
    • Πυρήνες εκτελεστή Spark – Αριθμός πυρήνων που έχουν εκχωρηθεί σε κάθε εκτελεστή.
    • Μνήμη εκτελεστή Spark – Ποσότητα μνήμης που εκχωρείται σε κάθε εκτελεστή.

Για λεπτομέρειες σχετικά με τα διαθέσιμα μεγέθη χώρου συγκέντρωσης και τα όρια πόρων, ανατρέξτε στο θέμα Υπολογισμός Spark στο Fabric.

Σημείωμα

Οι ιδιότητες σπινθήρα ορίζονται μέσω spark.conf.set παραμέτρων επιπέδου εφαρμογής ελέγχου και δεν σχετίζονται με τις ρυθμίσεις υπολογισμού περιβάλλοντος που περιγράφονται εδώ.

Σχετικό περιεχόμενο

  • Last updated on