Δημιουργία, ρύθμιση παραμέτρων και χρήση περιβάλλοντος στο Fabric

Ένα περιβάλλον Microsoft Fabric είναι ένα ενοποιημένο στοιχείο για όλες τις ρυθμίσεις υλικού και λογισμικού. Σε ένα περιβάλλον, μπορείτε να επιλέξετε διαφορετικούς χρόνους εκτέλεσης Spark, να διαμορφώσετε τους υπολογιστικούς πόρους σας, να εγκαταστήσετε βιβλιοθήκες από δημόσια αποθετήρια ή έναν τοπικό κατάλογο και να ορίσετε άλλες ρυθμίσεις.

Αυτό το άρθρο παρουσιάζει μια επισκόπηση του τρόπου δημιουργίας, ρύθμισης παραμέτρων και χρήσης ενός περιβάλλοντος.

Δημιουργία περιβάλλοντος

Μπορείτε να δημιουργήσετε νέα περιβάλλοντα από πολλά σημεία εισόδου:

Τυπικό σημείο εισόδου:

1. Στο Fabric, μεταβείτε στον επιθυμητό χώρο εργασίας.

2. Επιλέξτε Νέο στοιχείο και εντοπίστε το Περιβάλλον.

   

3. Ονομάστε το περιβάλλον σας και επιλέξτε Δημιουργία.

Δημιουργία κατά την επιλογή:

1. Ανοίξτε ένα σημειωματάριο ή έναν ορισμό εργασίας Spark.

2. Επιλέξτε την αναπτυσσόμενη λίστα Περιβάλλον και, στη συνέχεια, επιλέξτε Νέο περιβάλλον.

   

3. Ονομάστε το περιβάλλον σας και επιλέξτε Δημιουργία.

Μόλις δημιουργηθεί το περιβάλλον, επιλέξτε την έκδοση χρόνου εκτέλεσης. Επιλέξτε Runtime 1.3 (Spark 3.5, Delta 3.2) από το αναπτυσσόμενο μενού.

Ρύθμιση παραμέτρων περιβάλλοντος

Ένα περιβάλλον έχει τρεις κύριες συνιστώσες:

• Spark compute, το οποίο περιλαμβάνει το χρόνο εκτέλεσης Spark.
• Βιβλιοθήκες.
• Πόροι.

Οι ρυθμίσεις παραμέτρων υπολογιστικής και βιβλιοθήκης Spark απαιτούνται για να είναι αποτελεσματική η δημοσίευση. Οι πόροι είναι κοινόχρηστος χώρος αποθήκευσης που μπορεί να αλλάξει σε πραγματικό χρόνο. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αποθήκευση και δημοσίευση αλλαγών.

Ρύθμιση παραμέτρων υπολογιστικού Spark

Για ένα περιβάλλον, μπορείτε να επιλέξετε από διάφορους χρόνους εκτέλεσης Spark με τις δικές τους προεπιλεγμένες ρυθμίσεις και προεγκατεστημένα πακέτα. Για να δείτε τους διαθέσιμους χρόνους εκτέλεσης, μεταβείτε στην Κεντρική καρτέλα του περιβάλλοντος και επιλέξτε Χρόνος εκτέλεσης. Επιλέξτε τον χρόνο εκτέλεσης που ανταποκρίνεται καλύτερα στις ανάγκες σας.

Σημαντικό

• Εάν ενημερώνετε το χρόνο εκτέλεσης ενός περιβάλλοντος με υπάρχουσες ρυθμίσεις παραμέτρων ή βιβλιοθήκες, πρέπει να δημοσιεύσετε ξανά τα περιεχόμενα με βάση την ενημερωμένη έκδοση χρόνου εκτέλεσης.
• Εάν οι υπάρχουσες ρυθμίσεις παραμέτρων ή βιβλιοθήκες δεν είναι συμβατές με την πρόσφατα ενημερωμένη έκδοση χρόνου εκτέλεσης, η δημοσίευση αποτυγχάνει. Πρέπει να καταργήσετε τις μη συμβατές ρυθμίσεις παραμέτρων ή βιβλιοθήκες και να δημοσιεύσετε ξανά το περιβάλλον.

Το Fabric Spark compute παρέχει απαράμιλλη ταχύτητα και αποτελεσματικότητα σε Spark και εμπειρίες προσαρμοσμένες στις απαιτήσεις. Στο περιβάλλον σας, μπορείτε να επιλέξετε από διάφορους χώρους συγκέντρωσης που έχουν δημιουργηθεί από διαχειριστές χώρων εργασίας και διαχειριστές εκχωρημένων πόρων. Μπορείτε να προσαρμόσετε περαιτέρω τις ρυθμίσεις παραμέτρων και να διαχειριστείτε τις ιδιότητες Spark ώστε να είναι αποτελεσματικές σε περιόδους λειτουργίας Spark. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ρυθμίσεις παραμέτρων spark compute σε περιβάλλοντα Fabric.

Διαχείριση βιβλιοθηκών

Κάθε χρόνος εκτέλεσης Spark παρέχει ενσωματωμένες βιβλιοθήκες. Με το περιβάλλον δομής, μπορείτε επίσης να εγκαταστήσετε βιβλιοθήκες από δημόσιες προελεύσεις ή να αποστείλετε προσαρμοσμένες βιβλιοθήκες που έχετε δημιουργήσει εσείς ή η εταιρεία σας. Αφού εγκαταστήσετε με επιτυχία τις βιβλιοθήκες, θα είναι διαθέσιμες στις συνεδρίες Spark. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Διαχείριση βιβλιοθήκης σε περιβάλλοντα Fabric. Για τις βέλτιστες πρακτικές σχετικά με τη διαχείριση βιβλιοθηκών στο Fabric, ανατρέξτε στην ενότητα Διαχείριση βιβλιοθηκών Apache Spark στο Fabric.

Χρήση πόρων

Η ενότητα Πόροι σε ένα περιβάλλον διευκολύνει τη διαχείριση μικρών πόρων κατά τη φάση ανάπτυξης. Τα αρχεία που αποστέλλονται στο περιβάλλον είναι προσβάσιμα μέσω σημειωματαρίων όταν είναι συνημμένα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Διαχείριση των πόρων σε περιβάλλον δομής.

Αποθήκευση και δημοσίευση αλλαγών

Στην Κεντρική καρτέλα, μπορείτε εύκολα να βρείτε την επιλογή Αποθήκευση και δημοσίευση. Ενεργοποιούνται όταν υπάρχουν μη αποθηκευμένες ή μη δημοσιευμένες αλλαγές σε εκκρεμότητα στις ενότητες Βιβλιοθήκες και Υπολογισμός Spark .

Σημαντικό

• Εάν είναι ενεργοποιημένη η ιδιωτική σύνδεση, η πρώτη εργασία Spark στον χώρο εργασίας πρέπει να ενεργοποιήσει την παροχή VNet, η οποία μπορεί να διαρκέσει περίπου 10–15 λεπτά. Δεδομένου ότι η δημοσίευση περιβάλλοντος εκτελείται επίσης ως εργασία Spark, ενδέχεται να αντιμετωπίσει μια πρόσθετη καθυστέρηση εάν συμβεί να είναι η πρώτη εργασία Spark που εκτελείται μετά την ενεργοποίηση του Private Link.

Όταν οι εκκρεμείς αλλαγές βρίσκονται στις ενότητες Βιβλιοθήκες και Spark compute , βλέπετε επίσης ένα διαφημιστικό πλαίσιο που σας ζητά Αποθήκευση και δημοσίευση. Οι λειτουργίες είναι οι ίδιες όπως και για τα κουμπιά:

• Οι μη αποθηκευμένες αλλαγές χάνονται εάν ανανεώσετε ή αφήσετε το πρόγραμμα περιήγησης ανοιχτό. Επιλέξτε Αποθήκευση για να βεβαιωθείτε ότι οι αλλαγές σας καταγράφονται πριν φύγετε. Η αποθήκευση δεν εφαρμόζει τη διαμόρφωση, αλλά αποθηκεύει προσωρινά τις αλλαγές στο σύστημα.
• Για να εφαρμόσετε τις αλλαγές στις βιβλιοθήκες και στον υπολογισμό Spark, επιλέξτε Δημοσίευση. Η σελίδα Εκκρεμείς αλλαγές εμφανίζεται για τελικό έλεγχο πριν από τη δημοσίευση. Στη συνέχεια, επιλέξτε Δημοσίευση όλων για να ξεκινήσετε τη διαμόρφωση στο περιβάλλον Fabric. Αυτή η διαδικασία μπορεί να διαρκέσει λίγο, ειδικά εάν πρόκειται για αλλαγές βιβλιοθήκης.
• Για να ακυρώσετε μια διαδικασία δημοσίευσης, επιλέξτε Προβολή προόδου στο διαφημιστικό πλαίσιο και ακυρώστε τη λειτουργία.
• Εμφανίζεται μια ειδοποίηση κατά τη δημοσίευση της ολοκλήρωσης. Εμφανίζεται μια ειδοποίηση σφάλματος εάν υπάρχουν προβλήματα κατά τη διαδικασία.

Ένα περιβάλλον δέχεται μόνο μία ενέργεια δημοσίευσης κάθε φορά. Δεν μπορείτε να κάνετε αλλαγές στις ενότητες Βιβλιοθήκες ή Spark κατά τη διάρκεια μιας συνεχιζόμενης ενέργειας δημοσίευσης .

Η δημοσίευση δεν επηρεάζει την προσθήκη, τη διαγραφή ή την επεξεργασία των αρχείων και των φακέλων στην ενότητα Πόροι . Οι ενέργειες για τη διαχείριση των πόρων είναι σε πραγματικό χρόνο. Η ενέργεια Δημοσίευση δεν αποκλείει αλλαγές στην ενότητα Πόροι.

Κοινή χρήση υπάρχοντος περιβάλλοντος

Το Fabric υποστηρίζει την κοινή χρήση ενός στοιχείου με διαφορετικά επίπεδα δικαιωμάτων.

Όταν κάνετε κοινή χρήση ενός στοιχείου περιβάλλοντος, οι παραλήπτες λαμβάνουν αυτόματα δικαιώματα ανάγνωσης. Με αυτό το δικαίωμα, μπορούν να εξερευνήσουν τις ρυθμίσεις παραμέτρων του περιβάλλοντος και να το επισυνάψουν σε σημειωματάρια ή εργασίες Spark. Για ομαλή εκτέλεση κώδικα, φροντίστε να εκχωρήσετε δικαιώματα ανάγνωσης για συνημμένα περιβάλλοντα όταν κάνετε κοινή χρήση σημειωματαρίων και ορισμών εργασιών Spark.

Μπορείτε επίσης να κάνετε κοινή χρήση του περιβάλλοντος με δικαιώματα κοινής χρήσης και επεξεργασίας. Οι χρήστες με δικαιώματα κοινής χρήσης μπορούν να συνεχίσουν την κοινή χρήση του περιβάλλοντος με άλλους. Εν τω μεταξύ, οι παραλήπτες με δικαίωμα επεξεργασίας μπορούν να ενημερώσουν το περιεχόμενο του περιβάλλοντος.

Επισύναψη περιβάλλοντος

Μπορείτε να επισυνάψετε ένα περιβάλλον Fabric στους χώρους εργασίας Data Engineering/Science ή στα σημειωματάριά σας και στους ορισμούς εργασιών Spark.

Επισύναψη περιβάλλοντος ως προεπιλεγμένου χώρου εργασίας

Σημαντικό

Αφού επιλεγεί ένα περιβάλλον ως προεπιλεγμένο χώρο εργασίας, μόνο οι διαχειριστές χώρου εργασίας μπορούν να ενημερώσουν τα περιεχόμενα του προεπιλεγμένου περιβάλλοντος.

Επιλέξτε Ρυθμίσεις> χώρου εργασίαςData Engineering/Science>Spark settings για να δείτε την καρτέλα Environment.

Οι διαχειριστές χώρου εργασίας μπορούν να ορίσουν τον προεπιλεγμένο φόρτο εργασίας για ολόκληρους χώρους εργασίας. Οι τιμές που έχουν ρυθμιστεί εδώ είναι αποτελεσματικές για σημειωματάρια και ορισμούς εργασιών Spark που επισυνάπτονται ρυθμίσεις χώρου εργασίας.

Η εναλλαγή Ορισμός προεπιλεγμένου περιβάλλοντος μπορεί να βελτιώσει την εμπειρία χρήστη. Από προεπιλογή, αυτό το κουμπί εναλλαγής έχει οριστεί σε Ανενεργό. Εάν δεν απαιτείται προεπιλεγμένη ιδιότητα Spark ή βιβλιοθήκη ως προεπιλογή χώρου εργασίας, μπορείτε να ορίσετε το χρόνο εκτέλεσης Spark σε αυτήν την περίπτωση. Εάν θέλετε να προετοιμάσετε έναν προεπιλεγμένο υπολογισμό Spark και βιβλιοθήκες για τον χώρο εργασίας, μπορείτε να αλλάξετε τον διακόπτη εναλλαγής σε Ενεργό και να επισυνάψετε εύκολα ένα περιβάλλον ως προεπιλεγμένο χώρο εργασίας. Αυτή η επιλογή καθιστά όλες τις ρυθμίσεις παραμέτρων στο περιβάλλον αποτελεσματικές, καθώς οι ρυθμίσεις του Χώρου εργασίας.

Επισυνάψτε ένα περιβάλλον σε ένα σημειωματάριο ή έναν ορισμό εργασίας Spark

Το περιβάλλον είναι διαθέσιμο τόσο στις καρτέλες Notebook όσο και στις καρτέλες Spark Job Definition . Όταν τα σημειωματάρια και οι ορισμοί εργασιών Spark συνδέονται σε ένα περιβάλλον, μπορούν να έχουν πρόσβαση στις βιβλιοθήκες, τις υπολογιστικές ρυθμίσεις παραμέτρων και τους πόρους του. Η Εξερεύνηση παραθέτει όλα τα διαθέσιμα περιβάλλοντα που είναι κοινόχρηστα με εσάς, προέρχονται από τον τρέχοντα χώρο εργασίας και προέρχονται από άλλους χώρους εργασίας στους οποίους έχετε πρόσβαση.

Εάν μεταβείτε σε διαφορετικό περιβάλλον κατά τη διάρκεια μιας ενεργής περιόδου λειτουργίας, το πρόσφατα επιλεγμένο περιβάλλον δεν θα τεθεί σε ισχύ μέχρι την επόμενη περίοδο λειτουργίας.

Όταν συνδέετε ένα περιβάλλον από άλλο χώρο εργασίας, και οι δύο χώροι εργασίας πρέπει να έχουν την ίδια χωρητικότητα και τις ίδιες ρυθμίσεις ασφάλειας δικτύου. Παρόλο που μπορείτε να επιλέξετε περιβάλλοντα από χώρους εργασίας με διαφορετικές χωρητικότητες ή ρυθμίσεις ασφαλείας δικτύου, η περίοδος λειτουργίας αποτυγχάνει να ξεκινήσει.

Όταν επισυνάπτετε ένα περιβάλλον από έναν άλλο χώρο εργασίας, η ρύθμιση παραμέτρων υπολογιστικής λειτουργίας σε αυτό το περιβάλλον παραβλέπεται. Αντίθετα, οι ρυθμίσεις παραμέτρων χώρου συγκέντρωσης και υπολογισμού είναι προεπιλεγμένες στις ρυθμίσεις του τρέχοντος χώρου εργασίας σας.

Διαγραφή περιβάλλοντος

Μπορείτε να διαγράψετε ένα περιβάλλον όταν δεν είναι πλέον απαραίτητο. Πριν διαγράψετε ένα περιβάλλον, λάβετε υπόψη τα εξής:

Σημαντικό

• Η διαγραφή ενός περιβάλλοντος είναι μόνιμη και δεν μπορεί να αναιρεθεί.
• Τυχόν σημειωματάρια ή ορισμοί εργασιών Spark που είναι συνδεδεμένοι αυτήν τη στιγμή στο περιβάλλον θα πρέπει να ρυθμιστούν εκ νέου για να χρησιμοποιήσουν διαφορετικό περιβάλλον ή ρυθμίσεις χώρου εργασίας.
• Εάν το περιβάλλον έχει οριστεί ως προεπιλογή χώρου εργασίας, πρέπει πρώτα να αλλάξετε την προεπιλεγμένη ρύθμιση χώρου εργασίας πριν από τη διαγραφή.

Διαγραφή περιβάλλοντος με χρήση του REST API

Μπορείτε να διαγράψετε ένα περιβάλλον μέσω προγραμματισμού χρησιμοποιώντας το Fabric REST API:

Τελικό σημείο: DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Απαιτούμενα δικαιώματα: Environment.ReadWrite.All ή Item.ReadWrite.All

Για περισσότερες πληροφορίες σχετικά με το REST API, ανατρέξτε στην ενότητα Διαγραφή περιβάλλοντος.

Σχετικό περιεχόμενο

• Ρυθμίσεις παραμέτρων υπολογιστικής λειτουργίας Spark σε περιβάλλοντα Fabric
• Διαχείριση βιβλιοθήκης σε περιβάλλοντα Fabric