Δημιουργία, ρύθμιση παραμέτρων και χρήση περιβάλλοντος στο Fabric

Ένα περιβάλλον Microsoft Fabric είναι ένα στοιχείο χώρου εργασίας που καθορίζει τη ρύθμιση παραμέτρων περιόδου λειτουργίας Spark για σημειωματάρια και ορισμούς εργασιών Spark. Χρησιμοποιήστε ένα περιβάλλον για να επιλέξετε ένα χρόνο εκτέλεσης Spark, να ρυθμίσετε τις παραμέτρους υπολογισμού, να διαχειριστείτε βιβλιοθήκες και να διαχειριστείτε μικρά αρχεία πόρων στα οποία μπορούν να έχουν πρόσβαση τα σημειωματάρια.

Αυτό το άρθρο παρουσιάζει μια επισκόπηση του τρόπου δημιουργίας, ρύθμισης παραμέτρων και χρήσης ενός περιβάλλοντος.

Γιατί να χρησιμοποιήσετε ένα στοιχείο περιβάλλοντος

Μπορείτε να εκτελέσετε σημειωματάρια και ορισμούς εργασιών Spark χρησιμοποιώντας την προεπιλογή χώρου εργασίας χωρίς να επισυνάψετε ένα στοιχείο περιβάλλοντος. Σε αυτήν την περίπτωση, χρησιμοποιείτε ρυθμίσεις Spark σε επίπεδο χώρου εργασίας.

Χρησιμοποιήστε ένα στοιχείο περιβάλλοντος όταν χρειάζεστε επαναχρησιμοποιήσιμες, ελεγχόμενες προεπιλογές για ομάδες:

• Ορίστε την υπολογιστική λειτουργία και τις βιβλιοθήκες Spark μία φορά και εφαρμόστε τις με συνέπεια σε σημειωματάρια και ορισμούς εργασιών Spark.
• Ορίστε ένα περιβάλλον ως προεπιλεγμένο χώρο εργασίας, ώστε οι χρήστες να λαμβάνουν κοινόχρηστη ρύθμιση παραμέτρων μέσω της προεπιλογής χώρου εργασίας.
• Έκδοση και λειτουργία ρυθμίσεων περιβάλλοντος ως ένα ενιαίο τεχνούργημα.

Περιβάλλοντα σε επίπεδο χώρου εργασίας

Χρησιμοποιήστε αυτήν τη ροή εργασίας όταν θέλετε να ορίσετε προεπιλογές σε όλο τον χώρο εργασίας για σημειωματάρια και ορισμούς εργασιών Spark.

Ένα στοιχείο περιβάλλοντος δημιουργείται σε έναν συγκεκριμένο χώρο εργασίας και συσχετίζεται με αυτόν τον χώρο εργασίας. Μπορείτε επίσης να χρησιμοποιήσετε αυτό το περιβάλλον σε άλλους χώρους εργασίας όπου έχετε πρόσβαση, εάν πληρούνται οι απαιτήσεις κοινής χρήσης και συμβατότητας χώρου εργασίας.

Δημιουργία περιβάλλοντος από χώρο εργασίας

1. Στο πρόγραμμα περιήγησής σας, μεταβείτε στον χώρο εργασίας Fabric στην πύλη Fabric.

2. Επιλέξτε +Νέο στοιχείο.

3. Αναζητήστε το "περιβάλλον" στη γραμμή αναζήτησης και επιλέξτε το πλακίδιο Περιβάλλον .

   

4. Ονομάστε το περιβάλλον σας και επιλέξτε Δημιουργία.

Επισύναψη περιβάλλοντος ως προεπιλεγμένου χώρου εργασίας

Σημαντικό

Αφού επιλεγεί ένα περιβάλλον ως προεπιλεγμένο χώρο εργασίας, μόνο οι διαχειριστές χώρου εργασίας μπορούν να ενημερώσουν τα περιεχόμενα του προεπιλεγμένου περιβάλλοντος.

Οι διαχειριστές χώρου εργασίας μπορούν να ορίσουν τον προεπιλεγμένο φόρτο εργασίας για ολόκληρους χώρους εργασίας. Οι τιμές που έχουν ρυθμιστεί εδώ είναι αποτελεσματικές για σημειωματάρια και ορισμούς εργασιών Spark που επισυνάπτονται ρυθμίσεις χώρου εργασίας.

Η εναλλαγή Ορισμός προεπιλεγμένου περιβάλλοντος ελέγχει εάν η προεπιλογή χώρου εργασίας υποστηρίζεται από ένα στοιχείο περιβάλλοντος.

1. Στο πρόγραμμα περιήγησής σας, μεταβείτε στον χώρο εργασίας Fabric στην πύλη Fabric.

2. Επιλέξτε Ρυθμίσεις χώρου εργασίας.

3. Επιλέξτε Data Engineering/Science και, στη συνέχεια, επιλέξτε Ρυθμίσεις Spark.

4. Επιλέξτε την καρτέλα Περιβάλλον .

   

5. Για να χρησιμοποιήσετε έναν προεπιλεγμένο χώρο εργασίας που υποστηρίζεται από περιβάλλον, ορίστε την επιλογή Ορισμός προεπιλεγμένου περιβάλλοντος σε Ενεργό, επιλέξτε το στοιχείο περιβάλλοντος που θέλετε να χρησιμοποιήσετε και, στη συνέχεια, αποθηκεύστε τις αλλαγές σας.

   • Όταν αυτή η εναλλαγή είναι Ανενεργή (προεπιλογή), οι χρήστες εξακολουθούν να βλέπουν την προεπιλογή χώρου εργασίας σε σημειωματάρια και ορισμούς εργασιών Spark. Σε αυτήν την κατάσταση, η προεπιλογή χώρου εργασίας χρησιμοποιεί ρυθμίσεις Spark σε επίπεδο χώρου εργασίας.
   • Όταν αυτή η εναλλαγή είναι Ενεργή, επιλέγετε ένα στοιχείο περιβάλλοντος ως προεπιλογή χώρου εργασίας. Τα σημειωματάρια και οι ορισμοί εργασιών Spark που χρησιμοποιούν την προεπιλογή του χώρου εργασίας μεταβιβάζουν τις ρυθμίσεις παραμέτρων υπολογισμού και βιβλιοθήκης Spark αυτού του περιβάλλοντος.

   

Περιβάλλοντα επιπέδου ορισμού εργασίας σημειωματάριου και Spark

Χρησιμοποιήστε αυτήν τη ροή εργασίας όταν θέλετε να δημιουργήσετε, να επιλέξετε ή να αλλάξετε περιβάλλοντα απευθείας από ένα σημειωματάριο ή έναν ορισμό εργασίας Spark.

Δημιουργία ή αλλαγή περιβάλλοντος από σημειωματάριο ή ορισμό εργασίας Spark

1. Στο πρόγραμμα περιήγησής σας, μεταβείτε στον χώρο εργασίας Fabric στην πύλη Fabric.

2. Ανοίξτε ένα σημειωματάριο ή έναν ορισμό εργασίας Spark.

3. Επιλέξτε την αναπτυσσόμενη λίστα Περιβάλλον και, στη συνέχεια, επιλέξτε Νέο περιβάλλον.

   

   Σημείωμα

   Εναλλακτικά, εάν θέλετε να αλλάξετε το περιβάλλον χωρίς να δημιουργήσετε νέο, μπορείτε να επιλέξετε Αλλαγή περιβάλλοντος από το αναπτυσσόμενο μενού. Μπορείτε να επιλέξετε ένα υπάρχον περιβάλλον και, στη συνέχεια, να επιλέξετε Επιβεβαίωση για να το επισυνάψετε στο σημειωματάριο ή στον ορισμό εργασίας Spark.

4. Ονομάστε το περιβάλλον σας και επιλέξτε Δημιουργία.

Επισυνάψτε ένα περιβάλλον σε ένα σημειωματάριο ή έναν ορισμό εργασίας Spark

Το περιβάλλον είναι διαθέσιμο τόσο στις καρτέλες Notebook όσο και στις καρτέλες Spark Job Definition . Όταν τα σημειωματάρια και οι ορισμοί εργασιών Spark συνδέονται σε ένα περιβάλλον, μπορούν να έχουν πρόσβαση στις βιβλιοθήκες, τις υπολογιστικές ρυθμίσεις παραμέτρων και τους πόρους του. Η Εξερεύνηση παραθέτει όλα τα διαθέσιμα περιβάλλοντα που είναι κοινόχρηστα με εσάς, προέρχονται από τον τρέχοντα χώρο εργασίας και προέρχονται από άλλους χώρους εργασίας στους οποίους έχετε πρόσβαση.

Εάν μεταβείτε σε διαφορετικό περιβάλλον κατά τη διάρκεια μιας ενεργής περιόδου λειτουργίας, το πρόσφατα επιλεγμένο περιβάλλον δεν θα τεθεί σε ισχύ μέχρι την επόμενη περίοδο λειτουργίας.

Όταν συνδέετε ένα περιβάλλον από άλλο χώρο εργασίας, και οι δύο χώροι εργασίας πρέπει να έχουν την ίδια χωρητικότητα και τις ίδιες ρυθμίσεις ασφάλειας δικτύου. Παρόλο που μπορείτε να επιλέξετε περιβάλλοντα από χώρους εργασίας με διαφορετικές χωρητικότητες ή ρυθμίσεις ασφαλείας δικτύου, η περίοδος λειτουργίας αποτυγχάνει να ξεκινήσει.

Όταν επισυνάπτετε ένα περιβάλλον από έναν άλλο χώρο εργασίας, η ρύθμιση παραμέτρων υπολογιστικής λειτουργίας σε αυτό το περιβάλλον παραβλέπεται. Αντίθετα, οι ρυθμίσεις παραμέτρων χώρου συγκέντρωσης και υπολογισμού είναι προεπιλεγμένες στις ρυθμίσεις του τρέχοντος χώρου εργασίας σας.

Ρύθμιση παραμέτρων περιβάλλοντος

Ένα περιβάλλον έχει τρεις κύριες συνιστώσες:

• Spark compute, το οποίο περιλαμβάνει το χρόνο εκτέλεσης Spark.
• Βιβλιοθήκες.
• Πόροι.

Οι ρυθμίσεις παραμέτρων υπολογιστικής και βιβλιοθήκης Spark απαιτούνται για να είναι αποτελεσματική η δημοσίευση. Οι πόροι είναι κοινόχρηστος χώρος αποθήκευσης που μπορεί να αλλάξει σε πραγματικό χρόνο. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αποθήκευση και δημοσίευση αλλαγών.

Ρύθμιση παραμέτρων υπολογιστικού Spark

Ρυθμίστε τις παραμέτρους του Spark compute σε ένα περιβάλλον επιλέγοντας έναν χρόνο εκτέλεσης και ορίζοντας ιδιότητες υπολογισμού σε επίπεδο περιόδου λειτουργίας.

Για λεπτομερή βήματα, συμπεριλαμβανομένης της επιλογής χρόνου εκτέλεσης και της προσαρμογής υπολογιστικής λειτουργίας, ανατρέξτε στο θέμα Ρυθμίσεις ρύθμισης παραμέτρων υπολογιστικής λειτουργίας Spark σε περιβάλλοντα Fabric.

Εάν αλλάξετε τις ρυθμίσεις χρόνου εκτέλεσης ή υπολογισμού, αποθηκεύστε και δημοσιεύστε το περιβάλλον για να τεθούν σε ισχύ αυτές οι αλλαγές. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αποθήκευση και δημοσίευση αλλαγών.

Διαχείριση βιβλιοθηκών

Κάθε χρόνος εκτέλεσης Spark παρέχει ενσωματωμένες βιβλιοθήκες. Με το περιβάλλον δομής, μπορείτε επίσης να εγκαταστήσετε βιβλιοθήκες από δημόσιες προελεύσεις ή να αποστείλετε προσαρμοσμένες βιβλιοθήκες που έχετε δημιουργήσει εσείς ή η εταιρεία σας. Αφού εγκαταστήσετε με επιτυχία τις βιβλιοθήκες, θα είναι διαθέσιμες στις συνεδρίες Spark. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Διαχείριση βιβλιοθήκης σε περιβάλλοντα Fabric. Για τις βέλτιστες πρακτικές σχετικά με τη διαχείριση βιβλιοθηκών στο Fabric, ανατρέξτε στην ενότητα Διαχείριση βιβλιοθηκών Apache Spark στο Fabric.

Όταν προσθέτετε βιβλιοθήκες σε ένα περιβάλλον, επιλέγετε μια λειτουργία δημοσίευσης:

• Η γρήγορη λειτουργία δημοσιεύεται σε περίπου 5 δευτερόλεπτα. Οι βιβλιοθήκες εγκαθίστανται κατά την έναρξη μιας περιόδου λειτουργίας σημειωματαρίου. Χρησιμοποιήστε τη Γρήγορη λειτουργία για γρήγορη επανάληψη κατά την ανάπτυξη.
• Η πλήρης λειτουργία δημιουργεί ένα σταθερό, αναπαραγώγιμο στιγμιότυπο βιβλιοθήκης. Η δημοσίευση διαρκεί συνήθως 3 έως 6 λεπτά και η εκκίνηση της περιόδου λειτουργίας προσθέτει 1 έως 3 λεπτά για την ανάπτυξη εξαρτήσεων. Χρησιμοποιήστε την πλήρη λειτουργία για διοχετεύσεις, προγραμματισμένες εκτελέσεις και κοινόχρηστους φόρτους εργασίας. Για να επιτύχετε ότι η περίοδος λειτουργίας περίπου 5 δευτερολέπτων ξεκινά με την πλήρη λειτουργία, ρυθμίστε τις παραμέτρους μιας προσαρμοσμένης ζωντανής πισίνας που συνδέεται με το περιβάλλον.

Για λεπτομέρειες σχετικά με κάθε λειτουργία, ανατρέξτε στο θέμα Επιλογή λειτουργίας δημοσίευσης για βιβλιοθήκες.

Χρήση πόρων

Η ενότητα Πόροι σε ένα περιβάλλον διευκολύνει τη διαχείριση μικρών πόρων κατά τη φάση ανάπτυξης. Τα αρχεία που αποστέλλονται στο περιβάλλον είναι προσβάσιμα μέσω σημειωματαρίων όταν είναι συνημμένα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Διαχείριση των πόρων σε περιβάλλον δομής.

Σημείωμα

Τα αρχεία στην ενότητα Πόροι δεν επηρεάζονται από τη δημοσίευση περιβάλλοντος. Οι αλλαγές πόρων είναι σε πραγματικό χρόνο και είναι διαθέσιμες αμέσως χωρίς βήμα δημοσίευσης.

Αποθήκευση και δημοσίευση αλλαγών

Χρησιμοποιήστε την επιλογή Αποθήκευση και δημοσίευση για να ελέγξετε πότε θα τεθούν σε ισχύ οι αλλαγές ρύθμισης παραμέτρων περιβάλλοντος.

• Η αποθήκευση αποθηκεύει τις εκκρεμείς αλλαγές σας.
• Η Δημοσίευση εφαρμόζει εκκρεμείς αλλαγές στις Βιβλιοθήκες και τον υπολογισμό Spark.
• Οι αλλαγές στους Πόρους είναι σε πραγματικό χρόνο και δεν απαιτούν δημοσίευση.

Όταν δημοσιεύετε, ο χρόνος εξαρτάται από τον τρόπο δημοσίευσης της βιβλιοθήκης που επιλέξατε. Η γρήγορη λειτουργία δημοσιεύεται σε περίπου 5 δευτερόλεπτα, ενώ η πλήρης λειτουργία διαρκεί συνήθως 3 έως 6 λεπτά για την επίλυση εξαρτήσεων και τη δημιουργία ενός σταθερού στιγμιότυπου. Για λεπτομέρειες, ανατρέξτε στο θέμα Επιλογή λειτουργίας δημοσίευσης για βιβλιοθήκες.

Στην Κεντρική καρτέλα, οι επιλογές Αποθήκευση και Δημοσίευση ενεργοποιούνται όταν υπάρχουν εκκρεμείς αλλαγές στις Βιβλιοθήκες ή στον Υπολογισμό Spark.

Σημαντικό

Εάν είναι ενεργοποιημένη η ιδιωτική σύνδεση, η πρώτη εργασία Spark στον χώρο εργασίας πρέπει να ενεργοποιήσει την παροχή VNet, η οποία μπορεί να διαρκέσει περίπου 10–15 λεπτά. Δεδομένου ότι η δημοσίευση περιβάλλοντος εκτελείται επίσης ως εργασία Spark, ενδέχεται να αντιμετωπίσει μια πρόσθετη καθυστέρηση εάν συμβεί να είναι η πρώτη εργασία Spark που εκτελείται μετά την ενεργοποίηση του Ιδιωτική σύνδεση.

Όταν υπάρχουν αλλαγές σε εκκρεμότητα, ένα πλαίσιο παρέχει επίσης ενέργειες αποθήκευσης και δημοσίευσης .

Χρησιμοποιήστε αυτήν τη ροή εργασίας:

1. Κάντε αλλαγές στις Βιβλιοθήκες ή στον υπολογισμό Spark.
2. Επιλέξτε Αποθήκευση για να διατηρήσετε τις αλλαγές σας. Οι αποθηκευμένες αλλαγές είναι σταδιακές και δεν έχουν ακόμη τεθεί σε ισχύ.
3. Επιλέξτε Δημοσίευση και, στη συνέχεια, Δημοσίευση όλων για να κάνετε τις σταδιακές αλλαγές αποτελεσματικές.

Κατά τη δημοσίευση:

• Για να ακυρώσετε μια διαδικασία δημοσίευσης, επιλέξτε Προβολή προόδου στο διαφημιστικό πλαίσιο και ακυρώστε τη λειτουργία.
• Εμφανίζεται μια ειδοποίηση κατά τη δημοσίευση της ολοκλήρωσης. Εμφανίζεται μια ειδοποίηση σφάλματος εάν υπάρχουν προβλήματα κατά τη διαδικασία.

Ένα περιβάλλον δέχεται μόνο μία ενέργεια δημοσίευσης κάθε φορά. Δεν μπορείτε να κάνετε αλλαγές στις ενότητες Βιβλιοθήκες ή Spark κατά τη διάρκεια μιας συνεχιζόμενης ενέργειας δημοσίευσης .

Κοινή χρήση υπάρχοντος περιβάλλοντος

Το Fabric υποστηρίζει την κοινή χρήση ενός στοιχείου με διαφορετικά επίπεδα δικαιωμάτων.

Όταν κάνετε κοινή χρήση ενός στοιχείου περιβάλλοντος, οι παραλήπτες λαμβάνουν αυτόματα δικαιώματα ανάγνωσης. Με αυτό το δικαίωμα, μπορούν να εξερευνήσουν τις ρυθμίσεις παραμέτρων του περιβάλλοντος και να το επισυνάψουν σε σημειωματάρια ή εργασίες Spark. Για ομαλή εκτέλεση κώδικα, φροντίστε να εκχωρήσετε δικαιώματα ανάγνωσης για συνημμένα περιβάλλοντα όταν κάνετε κοινή χρήση σημειωματαρίων και ορισμών εργασιών Spark.

Μπορείτε επίσης να κάνετε κοινή χρήση του περιβάλλοντος με δικαιώματα κοινής χρήσης και επεξεργασίας. Οι χρήστες με δικαιώματα κοινής χρήσης μπορούν να συνεχίσουν την κοινή χρήση του περιβάλλοντος με άλλους. Εν τω μεταξύ, οι παραλήπτες με δικαίωμα επεξεργασίας μπορούν να ενημερώσουν το περιεχόμενο του περιβάλλοντος.

Διαγραφή περιβάλλοντος

Μπορείτε να διαγράψετε ένα περιβάλλον όταν δεν είναι πλέον απαραίτητο. Πριν διαγράψετε ένα περιβάλλον, λάβετε υπόψη τα εξής:

Σημαντικό

• Η διαγραφή ενός περιβάλλοντος είναι μόνιμη και δεν μπορεί να αναιρεθεί.
• Τυχόν σημειωματάρια ή ορισμοί εργασιών Spark που είναι συνδεδεμένοι αυτήν τη στιγμή στο περιβάλλον θα πρέπει να ρυθμιστούν εκ νέου για να χρησιμοποιήσουν διαφορετικό περιβάλλον ή ρυθμίσεις χώρου εργασίας.
• Εάν το περιβάλλον έχει οριστεί ως προεπιλογή χώρου εργασίας, πρέπει πρώτα να αλλάξετε την προεπιλεγμένη ρύθμιση χώρου εργασίας πριν από τη διαγραφή.

Διαγραφή περιβάλλοντος με χρήση του REST API

Μπορείτε να διαγράψετε ένα περιβάλλον μέσω προγραμματισμού χρησιμοποιώντας το Fabric REST API:

Τελικό σημείο: DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Απαιτούμενα δικαιώματα: Environment.ReadWrite.All ή Item.ReadWrite.All

Για περισσότερες πληροφορίες σχετικά με το REST API, ανατρέξτε στην ενότητα Διαγραφή περιβάλλοντος.

Σχετικό περιεχόμενο

• Ρυθμίσεις παραμέτρων υπολογιστικής λειτουργίας Spark σε περιβάλλοντα Fabric
• Διαχείριση βιβλιοθήκης σε περιβάλλοντα Fabric