Κοινοποίηση μέσω

Τι είναι το Livy API για τη διαχείριση δεδομένων;

Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Το Microsoft Fabric Livy API επιτρέπει στους χρήστες να υποβάλλουν και να εκτελέσουν κώδικα Spark εντός του Spark Compute που σχετίζεται με ένα Fabric Lakehouse, εξαλείφοντας την ανάγκη δημιουργίας οποιωνδήποτε αντικειμένων σχεδίασης Notebook ή Spark Job Definition. Αυτή η ενοποίηση με το Lakehouse εξασφαλίζει απλή πρόσβαση σε δεδομένα που είναι αποθηκευμένα στο OneLake.

Δυνατότητες

Το API Fabric Livy επιτρέπει την υποβολή εργασιών σε δύο διαφορετικούς τρόπους λειτουργίας:

  • Εργασίες περιόδου λειτουργίας
    • Η εργασία μιας συνεδρίας Livy συνεπάγεται τη δημιουργία μιας συνεδρίας Spark, η οποία παραμένει ενεργή καθ' όλη τη διάρκεια της αλληλεπίδρασης με το Livy API. Οι συνεδρίες Livy είναι χρήσιμες για διαδραστικούς φόρτους εργασίας.
    • Μια περίοδος λειτουργίας Spark ξεκινά όταν μια εργασία υποβάλλεται και διαρκεί μέχρι ο χρήστης να την τερματίσει ή το σύστημα να την τερματίσει μετά από 20 λεπτά αδράνειας. Σε όλη την περίοδο λειτουργίας, μπορούν να εκτελεστούν πολλές εργασίες, κοινοποιώντας δεδομένα κατάστασης και δεδομένα στο cache μεταξύ εκτελέσεων.
  • Δέσμες εργασιών
    • Μια μαζική εργασία Livy συνεπάγεται την υποβολή μιας αίτησης Spark για μία εκτέλεση μοναδικής εργασίας. Σε αντίθεση με μια εργασία περιόδου λειτουργίας Livy, μια μαζική εργασία δεν διατηρεί μια συνεχή περίοδο λειτουργίας Spark.
    • Με τις μαζικής εργασίες Livy, κάθε εργασία ξεκινά μια νέα περίοδο λειτουργίας Spark που τελειώνει όταν ολοκληρωθεί η εργασία. Αυτή η προσέγγιση λειτουργεί καλά για εργασίες που δεν βασίζονται σε προηγούμενους υπολογισμούς ή απαιτούν διατήρηση της κατάστασης μεταξύ των εργασιών.

Γρήγορα αποτελέσματα με το API Livy

Μάθετε πώς μπορείτε να δημιουργήσετε και να εκτελέσετε εργασίες Spark χρησιμοποιώντας το Livy API στο Fabric:

Σχετικό περιεχόμενο

  • Last updated on