Σημείωμα
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να εισέλθετε ή να αλλάξετε καταλόγους.
Η πρόσβαση σε αυτήν τη σελίδα απαιτεί εξουσιοδότηση. Μπορείτε να δοκιμάσετε να αλλάξετε καταλόγους.
Σημαντικό
Αυτή η δυνατότητα είναι σε προεπισκόπηση.
Το Fabric Runtime παρέχει απρόσκοπτη ενοποίηση στο οικοσύστημα Microsoft Fabric, προσφέροντας ένα ισχυρό περιβάλλον για έργα μηχανικής δεδομένων και επιστήμης δεδομένων που υποστηρίζονται από το Apache Spark.
Αυτό το άρθρο παρουσιάζει το Fabric Runtime 2.0 Public Preview, τον πιο πρόσφατο χρόνο εκτέλεσης που έχει σχεδιαστεί για υπολογισμούς μεγάλων δεδομένων στο Microsoft Fabric. Υπογραμμίζει τα βασικά χαρακτηριστικά και στοιχεία που καθιστούν αυτήν την έκδοση ένα σημαντικό βήμα προς τα εμπρός για επεκτάσιμα αναλυτικά στοιχεία και προηγμένους φόρτους εργασίας.
Το Fabric Runtime 2.0 ενσωματώνει τα ακόλουθα στοιχεία και αναβαθμίσεις που έχουν σχεδιαστεί για να βελτιώσουν τις δυνατότητες επεξεργασίας δεδομένων σας:
- Apache Spark 4.0
- Λειτουργικό σύστημα: Azure Linux 3.0 (Mariner 3.0)
- Ιάβα: 21
- Σκάλα: 2.13
- Python: 3.12
- Λίμνη Δέλτα: 4.0
- Σ: 4.5.2
Φιλοδώρημα
Το Fabric Runtime 2.0 περιλαμβάνει υποστήριξη για το Native Execution Engine, το οποίο μπορεί να βελτιώσει σημαντικά την απόδοση χωρίς περισσότερο κόστος. Μπορείτε να ενεργοποιήσετε τον εγγενή μηχανισμό εκτέλεσης σε επίπεδο περιβάλλοντος, έτσι ώστε όλες οι εργασίες και τα σημειωματάρια να κληρονομούν αυτόματα τις βελτιωμένες δυνατότητες απόδοσης.
Ενεργοποίηση χρόνου εκτέλεσης 2.0
Μπορείτε να ενεργοποιήσετε το Runtime 2.0 είτε σε επίπεδο χώρου εργασίας είτε σε επίπεδο στοιχείου περιβάλλοντος. Χρησιμοποιήστε τη ρύθμιση χώρου εργασίας για να εφαρμόσετε το Runtime 2.0 ως προεπιλογή για όλους τους φόρτους εργασίας Spark στον χώρο εργασίας σας. Εναλλακτικά, δημιουργήστε ένα στοιχείο περιβάλλοντος με Runtime 2.0 για χρήση με συγκεκριμένα σημειωματάρια ή ορισμούς εργασιών Spark, το οποίο παρακάμπτει την προεπιλογή του χώρου εργασίας.
Ενεργοποιήστε το Runtime 2.0 στις ρυθμίσεις χώρου εργασίας
Για να ορίσετε το Runtime 2.0 ως προεπιλογή για ολόκληρο τον χώρο εργασίας σας:
Μεταβείτε στη σελίδα ρυθμίσεων χώρου εργασίας στον χώρο εργασίας Fabric.
Επιλέξτε την καρτέλα Μηχανική δεδομένων/Επιστήμη και, στη συνέχεια, επιλέξτε Ρυθμίσεις Spark.
Επιλέξτε την καρτέλα Περιβάλλον .
Στην αναπτυσσόμενη λίστα Έκδοση χρόνου εκτέλεσης , επιλέξτε Δημόσια προεπισκόπηση 2.0 (Spark 4.0, Delta 4.0) και αποθηκεύστε τις αλλαγές σας.
Το Runtime 2.0 έχει οριστεί ως ο προεπιλεγμένος χρόνος εκτέλεσης για τον χώρο εργασίας σας.
Ενεργοποίηση χρόνου εκτέλεσης 2.0 σε ένα στοιχείο περιβάλλοντος
Για να χρησιμοποιήσετε το Runtime 2.0 με συγκεκριμένα σημειωματάρια ή ορισμούς εργασιών Spark:
Δημιουργήστε ένα νέο στοιχείο περιβάλλοντος ή ανοίξτε ένα υπάρχον.
Στην αναπτυσσόμενη λίστα Χρόνος εκτέλεσης, επιλέξτε Δημόσια προεπισκόπηση 2.0 (Spark 4.0, Delta 4.0)
SaveκαιPublishτις αλλαγές σας.Στη συνέχεια, μπορείτε να χρησιμοποιήσετε αυτό το στοιχείο Περιβάλλον με το δικό σας
NotebookήSpark Job Definition.
Τώρα μπορείτε να αρχίσετε να πειραματίζεστε με τις πιο πρόσφατες βελτιώσεις και λειτουργίες που παρουσιάστηκαν στο Fabric Runtime 2.0 (Spark 4.0 και Delta Lake 4.0).
Σημείωμα
Το πρωτόκολλο WASB για λογαριασμούς χώρου αποθήκευσης Azure γενικής χρήσης v2 (GPv2) αποσύρεται. Θα πρέπει να χρησιμοποιείτε το πιο πρόσφατο πρωτόκολλο ABFS για ανάγνωση και εγγραφή σε λογαριασμούς αποθήκευσης GPv2.
Δημόσια προεπισκόπηση
Το στάδιο δημόσιας προεπισκόπησης Fabric Runtime 2.0 σάς δίνει πρόσβαση σε νέες δυνατότητες και API τόσο από το Spark 4.0 όσο και από το Delta Lake 4.0. Η προεπισκόπηση σάς επιτρέπει να χρησιμοποιείτε αμέσως τις πιο πρόσφατες βελτιώσεις που βασίζονται σε Spark και Delta, καθώς και να διασφαλίζετε ομαλή ετοιμότητα και μετάβαση για βελτιωμένες και βελτιωμένες αλλαγές, όπως οι νεότερες εκδόσεις Java, Scala και Python.
Φιλοδώρημα
Για ενημερωμένες πληροφορίες, μια λεπτομερή λίστα αλλαγών και συγκεκριμένες σημειώσεις έκδοσης για τους χρόνους εκτέλεσης Fabric, ελέγξτε και εγγραφείτε στις εκδόσεις και τις ενημερώσεις Spark Runtimes.
Βασικά σημεία
Apache Spark 4.0
Το Apache Spark 4.0 σηματοδοτεί ένα σημαντικό ορόσημο ως η εναρκτήρια κυκλοφορία της σειράς 4.x, ενσωματώνοντας τη συλλογική προσπάθεια της ζωντανής κοινότητας ανοιχτού κώδικα.
Σε αυτήν την έκδοση, το Spark SQL εμπλουτίζεται σημαντικά με ισχυρά νέα χαρακτηριστικά που έχουν σχεδιαστεί για να ενισχύουν την εκφραστικότητα και την ευελιξία για φόρτους εργασίας SQL, όπως υποστήριξη τύπου δεδομένων VARIUM, συναρτήσεις SQL που ορίζονται από το χρήστη, μεταβλητές περιόδου λειτουργίας, σύνταξη σωλήνων και ταξινόμηση συμβολοσειρών. Το PySpark βλέπει συνεχή αφοσίωση τόσο στο λειτουργικό του εύρος όσο και στη συνολική εμπειρία προγραμματιστή, φέρνοντας ένα εγγενές API σχεδίασης, ένα νέο API πηγής δεδομένων Python, υποστήριξη για Python UDTF και ενοποιημένο προφίλ για PySpark UDF, μαζί με πολλές άλλες βελτιώσεις. Το Structured Streaming εξελίσσεται με βασικές προσθήκες που παρέχουν μεγαλύτερο έλεγχο και ευκολία εντοπισμού σφαλμάτων, ιδίως την εισαγωγή του Arbitrary State API v2 για πιο ευέλικτη διαχείριση κατάστασης και της πηγής δεδομένων κατάστασης για ευκολότερο εντοπισμό σφαλμάτων.
Μπορείτε να ελέγξετε την πλήρη λίστα και τις λεπτομερείς αλλαγές εδώ: https://spark.apache.org/releases/spark-release-4-0-0.html.
Σημείωμα
Στο Spark 4.0, το SparkR αποσύρεται και ενδέχεται να καταργηθεί σε μελλοντική έκδοση.
Λίμνη Δέλτα 4.0
Το Delta Lake 4.0 σηματοδοτεί μια συλλογική δέσμευση να γίνει το Delta Lake διαλειτουργικό σε όλες τις μορφές, πιο εύκολο στην εργασία και πιο αποδοτικό. Το Delta 4.0 είναι μια έκδοση ορόσημο γεμάτη με ισχυρά νέα χαρακτηριστικά, βελτιστοποιήσεις απόδοσης και θεμελιώδεις βελτιώσεις για το μέλλον των λιμνών ανοιχτών δεδομένων.
Μπορείτε να ελέγξετε την πλήρη λίστα και τις λεπτομερείς αλλαγές που εισήχθησαν με το Delta Lake 3.3 και 4.0 εδώ: https://github.com/delta-io/delta/releases/tag/v3.3.0. https://github.com/delta-io/delta/releases/tag/v4.0.0.
Σημαντικό
Οι συγκεκριμένες δυνατότητες του Delta Lake 4.0 είναι πειραματικές και λειτουργούν μόνο σε εμπειρίες Spark, όπως σημειωματάρια και ορισμούς εργασιών Spark. Εάν πρέπει να χρησιμοποιήσετε τους ίδιους πίνακες Delta Lake σε πολλούς φόρτους εργασίας Microsoft Fabric, μην ενεργοποιήσετε αυτές τις δυνατότητες. Για να μάθετε περισσότερα σχετικά με τις εκδόσεις πρωτοκόλλου και τις δυνατότητες που είναι συμβατές με όλες τις εμπειρίες Microsoft Fabric, διαβάστε το θέμα Διαλειτουργικότητα μορφής πίνακα Delta Lake.
Σχετικό περιεχόμενο
- Apache Spark Runtimes στο Fabric - Επισκόπηση, έκδοση εκδόσεων και υποστήριξη πολλαπλών χρόνων εκτέλεσης
- Οδηγός μετεγκατάστασης Spark Core
- Οδηγοί μετεγκατάστασης SQL, Συνόλων δεδομένων και DataFrame
- Οδηγός μετεγκατάστασης δομημένου streaming
- Οδηγός μετεγκατάστασης MLlib (Εκμάθηση μηχανής)
- Οδηγός μετεγκατάστασης PySpark (Python στο Spark)
- Οδηγός μετεγκατάστασης SparkR (R on Spark)