Χρησιμοποιήστε το Livy API για την υποβολή και εκτέλεση εργασιών περιόδου λειτουργίας Spark με διαπιστευτήρια χρήστη

Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Ξεκινήστε με το Livy API για τη μηχανική δεδομένων Fabric δημιουργώντας ένα Lakehouse. έλεγχος ταυτότητας με διακριτικό Microsoft Entra να ανακαλύψετε το τελικό σημείο του API Livy. να υποβάλετε εργασίες περιόδου λειτουργίας δέσμης ή περιόδου λειτουργίας από ένα απομακρυσμένο πρόγραμμα-πελάτη στην υπολογιστική λειτουργία Fabric Spark, και παρακολουθήστε τα αποτελέσματα.

Προαπαιτούμενα στοιχεία

Χωρητικότητα Premium fabric ή δοκιμαστικής έκδοσης με ένα LakeHouse
Ενεργοποίηση της ρύθμισης διαχειριστή μισθωτή για το API Livy (προεπισκόπηση)
Ένα απομακρυσμένο πρόγραμμα-πελάτης, όπως το Visual Studio Code με υποστήριξη σημειωματάριου Jupyter, το PySpark και τη Βιβλιοθήκη ελέγχου ταυτότητας της Microsoft (MSAL) για Python
Είτε ένα διακριτικό εφαρμογής Microsoft Entra. Καταχώρηση μιας εφαρμογής στην πλατφόρμα ταυτότητας της Microsoft
Ή ένα διακριτικό SPN του Microsoft Entra. Προσθήκη και διαχείριση διαπιστευτηρίων εφαρμογής στο αναγνωριστικό Microsoft Entra

Επιλογή προγράμματος-πελάτη REST API

Μπορείτε να χρησιμοποιήσετε διάφορες γλώσσες προγραμματισμού ή προγράμματα-πελάτες GUI για να αλληλεπιδράσετε με τελικά σημεία REST API. Σε αυτό το άρθρο, χρησιμοποιούμε Κώδικα Visual Studio. Οι παράμετροι του Visual Studio Code πρέπει να ρυθμιστούν με τα Jupyter Notebooks, PySpark και τη Βιβλιοθήκη ελέγχου ταυτότητας της Microsoft (MSAL) για Python

Τρόπος εξουσιοδότησης των αιτήσεων API Livy με διακριτικό Entra SPN

Για να εργαστείτε με API Fabric συμπεριλαμβανομένου του Livy API, πρέπει πρώτα να δημιουργήσετε μια εφαρμογή Microsoft Entra και να δημιουργήσετε έναν μυστικό κωδικό και να χρησιμοποιήσετε αυτόν τον μυστικό κωδικό στον κώδικά σας. Η εφαρμογή σας πρέπει να καταχωρηθεί και ρυθμιστεί επαρκώς για την εκτέλεση κλήσεων API στο Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Προσθήκη και διαχείριση διαπιστευτηρίων εφαρμογής στο Αναγνωριστικό Microsoft Entra

Μετά τη δημιουργία της καταχώρησης της εφαρμογής, δημιουργήστε έναν μυστικό κωδικό προγράμματος-πελάτη.

Καθώς δημιουργείτε τον μυστικό κωδικό προγράμματος-πελάτη, βεβαιωθείτε ότι έχετε αντιγράψει την τιμή. Αυτό το χρειάζεστε αργότερα στον κώδικα και δεν θα μπορείτε να το δείτε ξανά. Θα χρειαστείτε επίσης το Αναγνωριστικό εφαρμογής (πρόγραμμα-πελάτης) και τον Κατάλογο (αναγνωριστικό μισθωτή) επιπλέον του μυστικού κωδικού στον κώδικά σας.
Στη συνέχεια, πρέπει να προσθέσουμε τον μυστικό κωδικό προγράμματος-πελάτη στον χώρο εργασίας μας.
Κάντε αναζήτηση για τον μυστικό κωδικό προγράμματος-πελάτη Entra και προσθέστε τον μυστικό κωδικό στον χώρο εργασίας και βεβαιωθείτε ότι ο μυστικός κωδικός που προστέθηκε πρόσφατα έχει δικαιώματα διαχειριστή.

Πώς μπορείτε να εξουσιοδοτήσετε τις αιτήσεις API Livy με ένα διακριτικό εφαρμογής Entra

Για να εργαστείτε με API Fabric συμπεριλαμβανομένου του API Livy, πρέπει πρώτα να δημιουργήσετε μια εφαρμογή Microsoft Entra και να λάβετε ένα διακριτικό. Η εφαρμογή σας πρέπει να καταχωρηθεί και ρυθμιστεί επαρκώς για την εκτέλεση κλήσεων API στο Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Καταχώρηση μιας εφαρμογής με την πλατφόρμα ταυτότητας της Microsoft.

Υπάρχουν πολλά δικαιώματα εμβέλειας Microsoft Entra που απαιτούνται για την εκτέλεση εργασιών Livy. Αυτό το παράδειγμα χρησιμοποιεί απλό κώδικα Spark + πρόσβαση στον χώρο αποθήκευσης + SQL:

Code.AccessAzureDataExplorer.All
Code.AccessAzureDataLake.All
Code.AccessAzureKeyvault.All
Code.AccessFabric.All
Code.AccessStorage.All
Item.ReadWrite.All
Lakehouse.Execute.All
Workspace.ReadWrite.All

Σημείωμα

Κατά τη διάρκεια της δημόσιας προεπισκόπησης, αυτές οι εμβέλειες ενδέχεται να αλλάξουν καθώς προσθέτουμε μερικές ακόμα λεπτομερείς εμβέλειες. Όταν αυτές οι αλλαγές εμβέλειας συμβούν, η εφαρμογή Livy ενδέχεται να διακοπεί. Ελέγξτε αυτήν τη λίστα καθώς θα ενημερώνεται με τις πρόσθετες εμβέλειες.

Ορισμένοι πελάτες θέλουν πιο λεπτομερή δικαιώματα από την προηγούμενη λίστα. Θα μπορούσατε να καταργήσετε την Item.ReadWrite.All και να αντικαταστήσετε αυτά τα πιο λεπτομερή δικαιώματα εμβέλειας:

Code.AccessAzureDataExplorer.All
Code.AccessAzureDataLake.All
Code.AccessAzureKeyvault.All
Code.AccessFabric.All
Code.AccessStorage.All
Lakehouse.Execute.All
Lakehouse.ReadWrite.All
Workspace.ReadWrite.All
Notebook.ReadWrite.All
SparkJobDefinition.ReadWrite.All
MLModel.ReadWrite.All
MLExperiment.ReadWrite.All
Dataset.ReadWrite.All

Όταν καταχωρήσετε την εφαρμογή σας, θα χρειαστείτε το Αναγνωριστικό εφαρμογής (πρόγραμμα-πελάτης) και το Αναγνωριστικό καταλόγου (μισθωτή).

Ο εξουσιοδοτημένος χρήστης που καλεί το API Livy πρέπει να είναι μέλος του χώρου εργασίας όπου βρίσκονται τόσο το API όσο και τα στοιχεία προέλευσης δεδομένων με ρόλο Συμβάλλοντα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παροχή πρόσβασης στους χρήστες σε χώρους εργασίας.

Πώς να ανακαλύψετε το τελικό σημείο API Fabric Livy

Ένα αντικείμενο σχεδίασης Lakehouse απαιτείται για πρόσβαση στο τελικό σημείο Livy. Μόλις δημιουργηθεί το Lakehouse, το τελικό σημείο του Livy API μπορεί να βρίσκεται στον πίνακα ρυθμίσεων.

Το τελικό σημείο του API Livy θα ακολουθήσει το εξής μοτίβο:

https://api.fabric.microsoft.com/v1/workspaces/><ws_id>/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

Η διεύθυνση URL προσαρτάται με <περιόδους λειτουργίας> ή <δέσμες> ανάλογα με αυτό που επιλέγετε.

Λήψη των αρχείων Livy API Swagger

Τα πλήρη αρχεία swagger για το API Livy είναι διαθέσιμα εδώ.

Υποβολή εργασιών API Livy

Τώρα που ολοκληρώθηκε η εγκατάσταση του API Livy, μπορείτε να επιλέξετε να υποβάλετε εργασίες δέσμης ή περιόδου λειτουργίας.

Ενοποίηση με περιβάλλοντα Fabric

Από προεπιλογή, αυτή η περίοδος λειτουργίας API Livy εκτελείται σε σχέση με την προεπιλεγμένη ομάδα εκκίνησης για τον χώρο εργασίας. Εναλλακτικά, μπορείτε να χρησιμοποιήσετε τα Περιβάλλοντα Fabric Δημιουργία, ρύθμιση παραμέτρων και χρήση ενός περιβάλλοντος στο Microsoft Fabric για να προσαρμόσετε τον χώρο συγκέντρωσης Spark που χρησιμοποιεί η περίοδος λειτουργίας Του Livy API για αυτές τις εργασίες Spark.

Για να χρησιμοποιήσετε ένα περιβάλλον Fabric σε μια περίοδο λειτουργίας Livy Spark, απλώς ενημερώστε το json για να συμπεριλάβετε αυτό το ωφέλιμο φορτίο.

create_livy_session = requests.post(livy_base_url, headers = headers, json={
    "conf" : {
        "spark.fabric.environmentDetails" : "{\"id\" : \""EnvironmentID""}"}
    }
)

Για να χρησιμοποιήσετε ένα περιβάλλον Fabric σε μια περίοδο λειτουργίας δέσμης Livy Spark, απλώς ενημερώστε το ωφέλιμο φορτίο json όπως φαίνεται παρακάτω.

payload_data = {
"name":"livybatchdemo_with"+ newlakehouseName,
"file":"abfss://YourABFSPathToYourPayload.py", 
"conf": {
    "spark.targetLakehouse": "Fabric_LakehouseID",
    "spark.fabric.environmentDetails" : "{\"id\" : \""EnvironmentID"\"}"  # remove this line to use starter pools instead of an environment, replace "EnvironmentID" with your environment ID
    }
}

Τρόπος παρακολούθησης του ιστορικού αιτήσεων

Μπορείτε να χρησιμοποιήσετε το Κέντρο παρακολούθησης για να δείτε τις προηγούμενες υποβολές σας API Livy και να εντοπίσετε σφάλματα στις υποβολές σας.

Ανάδραση

Ήταν χρήσιμη αυτή η σελίδα;

Last updated on 2025-11-05