Λειτουργία υψηλής ταυτόχρονης εκτέλεσης στο Apache Spark για Fabric

Η λειτουργία υψηλής ταυτόχρονης εκτέλεσης επιτρέπει στους χρήστες να κάνουν κοινή χρήση των ίδιων περιόδων λειτουργίας Spark στο Spark for Fabric για τους φόρτους εργασίας μηχανικής δεδομένων και επιστήμης δεδομένων. Ένα στοιχείο όπως ένα σημειωματάριο χρησιμοποιεί μια τυπική περίοδο λειτουργίας Spark για την εκτέλεσή του. Σε λειτουργία υψηλής ταυτόχρονης εκτέλεσης, η περίοδος λειτουργίας Spark μπορεί να υποστηρίξει την ανεξάρτητη εκτέλεση πολλαπλών στοιχείων εντός μεμονωμένων πυρήνων εκτύπωσης ανάγνωσης-τιμής (REPL) που υπάρχουν στην εφαρμογή Spark. Αυτοί οι πυρήνες REPL παρέχουν απομόνωση για κάθε στοιχείο και αποτρέπουν την αντικατάσταση μεταβλητών τοπικού σημειωματάριου από μεταβλητές με το ίδιο όνομα από άλλα σημειωματάρια που κάνουν κοινή χρήση της ίδιας περιόδου λειτουργίας.

Καθώς η περίοδος λειτουργίας εκτελείται ήδη, αυτό παρέχει στους χρήστες μια εμπειρία άμεσης εκτέλεσης κατά την επανάληψη χρήσης της περιόδου λειτουργίας σε πολλά σημειωματάρια.

Σημείωμα

Στην περίπτωση προσαρμοσμένων συγκέντρωσης με υψηλή λειτουργία ταυτόχρονης εκτέλεσης, οι χρήστες αποκτούν 36X ταχύτερη εμπειρία έναρξης περιόδου λειτουργίας σε σύγκριση με μια τυπική περίοδο λειτουργίας Spark.

Σημαντικό

Οι συνθήκες κοινής χρήσης περιόδου λειτουργίας περιλαμβάνουν:

• Οι περίοδοι λειτουργίας πρέπει να είναι εντός ενός μοναδικού ορίου χρήστη.
• Οι περίοδοι λειτουργίας θα πρέπει να έχουν την ίδια προεπιλεγμένη ρύθμιση παραμέτρων lakehouse.
• Οι περίοδοι λειτουργίας θα πρέπει να έχουν τις ίδιες ιδιότητες Spark compute.

Ως μέρος της προετοιμασίας περιόδου λειτουργίας Spark, δημιουργείται ένας πυρήνας REPL. Κάθε φορά που ένα νέο στοιχείο ξεκινά την κοινή χρήση της ίδιας περιόδου λειτουργίας και οι εκτελέσεις εκχωρούνται με τρόπο FAIR σε αυτά τα σημειωματάρια που εκτελούνται σε αυτούς τους πυρήνες REPL μέσα στην εφαρμογή Spark, αποτρέποντας σενάρια λιμοκτονίας.

Σχετικό περιεχόμενο

• Για να ξεκινήσετε με τη λειτουργία υψηλής ταυτόχρονης εκτέλεσης σε σημειωματάρια, ανατρέξτε στο θέμα Ρύθμιση παραμέτρων λειτουργίας υψηλής ταυτόχρονης εκτέλεσης για σημειωματάρια Fabric.