Διαχείριση βιβλιοθήκης σε περιβάλλοντα Fabric

Τα περιβάλλοντα Microsoft Fabric παρέχουν ευέλικτες ρυθμίσεις παραμέτρων για την εκτέλεση των εργασιών Spark. Οι βιβλιοθήκες παρέχουν επαναχρησιμοποιήσιμο κώδικα που οι προγραμματιστές θέλουν να συμπεριλάβουν στην εργασία τους. Εκτός από τις ενσωματωμένες βιβλιοθήκες που συνοδεύουν κάθε χρόνο εκτέλεσης Spark, μπορείτε να εγκαταστήσετε δημόσιες και προσαρμοσμένες βιβλιοθήκες στα περιβάλλοντά σας Fabric. Μπορείτε εύκολα να επισυνάψετε περιβάλλοντα στα σημειωματάριά σας και στους ορισμούς εργασίας Spark.

Σημείωμα

Μεταβείτε στον χώρο εργασίας όπου βρίσκεται το περιβάλλον σας, επιλέξτε το περιβάλλον σας και οι επιλογές διαχείρισης βιβλιοθήκης βρίσκονται στην καρτέλα Βιβλιοθήκες . Εάν δεν έχετε δημιουργήσει ένα περιβάλλον, ανατρέξτε στο θέμα Δημιουργία, ρύθμιση παραμέτρων και χρήση περιβάλλοντος στο Fabric.

Ενσωματωμένες βιβλιοθήκες

Στο Fabric, κάθε έκδοση χρόνου εκτέλεσης είναι προφορτωμένη με ένα επιμελημένο σύνολο ενσωματωμένων βιβλιοθηκών που έχουν βελτιστοποιηθεί για επιδόσεις, συμβατότητα και ασφάλεια σε Python, R, Java και Scala. Η ενότητα Ενσωματωμένες βιβλιοθήκες εντός του περιβάλλοντος σάς επιτρέπει να περιηγηθείτε και να αναζητήσετε αυτές τις προεγκατεστημένες βιβλιοθήκες με βάση τον επιλεγμένο χρόνο εκτέλεσης.

Για να προβάλετε τη λίστα των προεγκατεστημένων πακέτων και τις εκδόσεις τους για κάθε χρόνο εκτέλεσης, ανατρέξτε στο θέμα Χρόνοι εκτέλεσης Apache Spark στο Fabric.

Σημαντικό

Το Fabric υποστηρίζει διαφορετικούς τρόπους διαχείρισης πακέτων. Για περισσότερες επιλογές και βέλτιστες πρακτικές για τη διαχείριση βιβλιοθηκών στο Fabric, ανατρέξτε στο θέμα Διαχείριση βιβλιοθηκών Apache Spark στο Fabric Όταν ο χώρος εργασίας σας διαθέτει δυνατότητες δικτύωσης, όπως η προστασία εξερχόμενης πρόσβασης χώρου εργασίας ή τα διαχειριζόμενα VNet, η πρόσβαση σε δημόσια αποθετήρια δεδομένων όπως το PyPI αποκλείεται. Ακολουθήστε τις οδηγίες στο θέμα Διαχείριση βιβλιοθηκών με περιορισμένη πρόσβαση στο δίκτυο στο Fabric για την απρόσκοπτη διαχείριση των βιβλιοθηκών στο Περιβάλλον.

Εξωτερικά αποθετήρια

Στην ενότητα Εξωτερικά αποθετήρια, μπορείτε είτε να προσθέσετε βιβλιοθήκες από δημόσιες βιβλιοθήκες όπως το PyPI και το Conda, καθώς και από τα ιδιωτικά αποθετήρια δεδομένων σας, όπως το Azure Artifact Feed.

Σημείωμα

Η εγκατάσταση βιβλιοθηκών από το Azure Artifact Feed υποστηρίζεται προς το παρόν στο Spark 3.5 και ΔΕΝ υποστηρίζεται σε χώρους εργασίας με δυνατότητα ιδιωτικής σύνδεσης ή προστασίας εξερχόμενης πρόσβασης.

Προσθήκη νέας βιβλιοθήκης από δημόσια αποθετήρια

Για να προσθέσετε μια νέα βιβλιοθήκη από δημόσιο χώρο αποθήκευσης, π.χ. PyPI ή conda, επιλέξτε Προσθήκη βιβλιοθήκης από δημόσιο χώρο αποθήκευσης. Εισαγάγετε το όνομα της βιβλιοθήκης στο πλαίσιο αναζήτησης. Καθώς πληκτρολογείτε, το πλαίσιο αναζήτησης προτείνει δημοφιλείς βιβλιοθήκες, αλλά η λίστα είναι περιορισμένη. Αν δεν βλέπετε τη βιβλιοθήκη σας, εισαγάγετε το πλήρες όνομά της.

• Εάν το όνομα της βιβλιοθήκης είναι έγκυρο, βλέπετε τις διαθέσιμες εκδόσεις.
• Εάν το όνομα της βιβλιοθήκης δεν είναι έγκυρο, λαμβάνετε μια προειδοποίηση ότι η βιβλιοθήκη δεν υπάρχει.

Προσθήκη νέας βιβλιοθήκης από ιδιωτικά αποθετήρια

Ρύθμιση σύνδεσης για την τροφοδοσία τεχνουργημάτων Azure

Στο Fabric, απαγορεύεται η απευθείας αποθήκευση των διαπιστευτηρίων. Οι συνδέσεις πρέπει να ρυθμιστούν μέσω του Data Factory Connector. Ακολουθεί μια αναλυτική καθοδήγηση για τη ρύθμιση της σύνδεσης για την τροφοδοσία Azure Artifact. Μάθετε περισσότερα σχετικά με την τροφοδοσία τεχνουργημάτων Azure.

1. Βήμα 1: Στις Ρυθμίσεις του χώρου εργασίας σας, μεταβείτε στη Διαχείριση συνδέσεων και πυλών.

   

2. Βήμα 2: Δημιουργήστε μια νέα σύνδεση. Επιλέξτε Cloud ως τύπο και επιλέξτε Azure Artifact Feed (Preview) ως τύπο σύνδεσης. Εισαγάγετε τη διεύθυνση URL και το διακριτικό χρήστη στα αντίστοιχα πεδία και βεβαιωθείτε ότι έχετε επιλέξει Να επιτρέπεται Code-First τεχνούργημα ... για να αποκτήσετε πρόσβαση σε αυτήν τη σύνδεση (Προεπισκόπηση).

   

3. Βήμα 3: Καταγράψτε το αναγνωριστικό σύνδεσης μετά τη δημιουργία, αυτό είναι απαραίτητο για τη χρήση της σύνδεσης σε περιβάλλοντα Fabric.

Προσθήκη βιβλιοθηκών από την τροφοδοσία τεχνουργημάτων Azure

Για να εγκαταστήσετε βιβλιοθήκες από την τροφοδοσία τεχνουργημάτων Azure, προετοιμάστε ένα αρχείο YML που περιλαμβάνει τις σωστές λεπτομέρειες βιβλιοθήκης και πληροφορίες σύνδεσης ιδιωτικού αποθετηρίου. Ένα τυπικό αρχείο YML περιέχει τη διεύθυνση URL της τροφοδοσίας Azure Artifact και λεπτομέρειες ελέγχου ταυτότητας. Ωστόσο, για να αναγνωρίσει σωστά το Fabric τη σύνδεση, πρέπει να αντικαταστήσετε τη διεύθυνση URL και τα διαπιστευτήρια με το αναγνωριστικό σύνδεσης που δημιουργήθηκε στο Data Factory Connector.

Παρακάτω είναι ένα παράδειγμα:

# Regular YAML
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

# Replace the Azure Artifact Feed URL with connection ID
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID> 

Με το προετοιμασμένο αρχείο YML, μπορείτε είτε να το αποστείλετε απευθείας είτε να μεταβείτε στην προβολή προγράμματος επεξεργασίας YML για να επικολλήσετε το περιεχόμενο στο πρόγραμμα επεξεργασίας σε περιβάλλοντα Fabric. Όταν δημοσιεύετε το περιβάλλον, το σύστημα διαβάζει τα πακέτα από το ιδιωτικό σας αποθετήριο και τα διατηρεί στο Fabric. Εάν ενημερώσετε πακέτα στην τροφοδοσία τεχνουργημάτων Azure, φροντίστε να αναδημοσιεύσετε το περιβάλλον για να εφαρμόσετε τις πιο πρόσφατες αλλαγές.

Σημείωμα

• Στην προβολή λίστας, μπορείτε να προσθέσετε ή να καταργήσετε ή να επεξεργαστείτε βιβλιοθήκες μόνο από υπάρχοντα ιδιωτικά αποθετήρια. Για να προσθέσετε, να καταργήσετε ή να επεξεργαστείτε μια ιδιωτική σύνδεση χώρου αποθήκευσης, μεταβείτε στην προβολή του προγράμματος επεξεργασίας YML και ενημερώστε απευθείας το αρχείο YML.
• Η αναζήτηση βιβλιοθηκών σε ιδιωτικά αποθετήρια καθώς πληκτρολογείτε δεν υποστηρίζεται προς το παρόν. Βεβαιωθείτε ότι εισάγετε το όνομα και την έκδοση της βιβλιοθήκης με ακρίβεια όταν προσθέτετε βιβλιοθήκες από ιδιωτικά αποθετήρια. Οι εσφαλμένες πληροφορίες πακέτου θα προκαλέσουν την αποτυχία της δημοσίευσης περιβάλλοντος.
• Μπορείτε να καθορίσετε πολλά αποθετήρια στο αρχείο YML. Κατά την εγκατάσταση βιβλιοθηκών, το Fabric τις αναζητά με τη σειρά που αναφέρεται μέχρι να βρεθεί το πακέτο. Τα δημόσια αποθετήρια όπως το PyPI και το Conda αναζητούνται αυτόματα στο τέλος, ακόμα κι αν δεν περιλαμβάνονται στο αρχείο YML.

Φιλτράρισμα εξωτερικών βιβλιοθηκών

Μπορείτε να χρησιμοποιήσετε το όνομα πακέτου ως λέξη-κλειδί για να φιλτράρετε τη λίστα εξωτερικών βιβλιοθηκών.

Ενημέρωση εξωτερικών βιβλιοθηκών

Μπορείτε να ενημερώσετε το όνομα, την έκδοση και τον τύπο προέλευσης της βιβλιοθήκης στην προβολή λίστας. Στην προβολή προγράμματος επεξεργασίας YML, μπορείτε επίσης να ενημερώσετε αυτές τις λεπτομέρειες μαζί με το αναγνωριστικό σύνδεσης τροφοδοσίας τεχνουργημάτων Azure.

Διαγραφή εξωτερικών βιβλιοθηκών

Η επιλογή Διαγραφή για κάθε βιβλιοθήκη εμφανίζεται όταν τοποθετείτε το δείκτη του ποντικιού πάνω από τη γραμμή της. Για να διαγράψετε πολλές εξωτερικές βιβλιοθήκες, επιλέξτε τις και κάντε κλικ στο κουμπί Διαγραφή. Μπορείτε επίσης να καταργήσετε βιβλιοθήκες χρησιμοποιώντας την προβολή του προγράμματος επεξεργασίας YML.

Προβολή εξάρτησης

Κάθε εξωτερική βιβλιοθήκη από δημόσια αποθετήρια μπορεί να έχει εξαρτήσεις. Η επιλογή Προβολή εξαρτήσεων εμφανίζεται όταν τοποθετείτε το δείκτη του ποντικιού πάνω από την αντίστοιχη γραμμή. Κάνοντας κλικ σε αυτό το κουμπί θα ανακτηθεί το δέντρο εξαρτήσεων από δημόσια αποθετήρια. Εάν η βιβλιοθήκη δεν μπορεί να βρεθεί σε δημόσια αποθετήρια, π.χ. είναι μια ιδιωτική βιβλιοθήκη στην τροφοδοσία τεχνουργημάτων Azure, οι πληροφορίες εξάρτησής της δεν θα είναι διαθέσιμες.

Εξαγωγή σε .yml

Το Fabric παρέχει την επιλογή εξαγωγής της πλήρους λίστας εξωτερικών βιβλιοθηκών σε ένα .yml αρχείο και λήψης του στον τοπικό σας κατάλογο.

Προσαρμοσμένες βιβλιοθήκες

Οι προσαρμοσμένες βιβλιοθήκες αναφέρονται σε κώδικα που έχει δημιουργηθεί από εσάς ή τον οργανισμό σας. Το Fabric υποστηρίζει προσαρμοσμένα αρχεία βιβλιοθήκης σε .whlμορφές , .py, .jarκαι .tar.gz .

Σημείωμα

Το Fabric υποστηρίζει μόνο .tar.gz αρχεία για τη γλώσσα R. Χρησιμοποιήστε τη μορφή αρχείου και .whl για τη .py γλώσσα Python.

Αποστολή της προσαρμοσμένης βιβλιοθήκης

Μπορείτε να αποστείλετε προσαρμοσμένες βιβλιοθήκες από τον τοπικό κατάλογό σας στο περιβάλλον Fabric.

Διαγραφή της προσαρμοσμένης βιβλιοθήκης

Η επιλογή κάδου απορριμμάτων για κάθε βιβλιοθήκη εμφανίζεται όταν τοποθετείτε τον δείκτη επάνω στην αντίστοιχη γραμμή. Για να διαγράψετε πολλές προσαρμοσμένες βιβλιοθήκες, επιλέξτε τις και, στη συνέχεια, επιλέξτε Διαγραφή.

Λήψη όλων των προσαρμοσμένων βιβλιοθηκών

Επιλέξτε προσαρμοσμένες βιβλιοθήκες για να τις κατεβάσετε μία προς μία στον τοπικό προεπιλεγμένο κατάλογο λήψης.

Σχετικό περιεχόμενο

• Δημιουργία, ρύθμιση παραμέτρων και χρήση περιβάλλοντος στο Fabric
• Διαχείριση βιβλιοθηκών Apache Spark στο Fabric