Freigeben über


Abrufen von Spark-Anwendungsdetails mithilfe von Apache Spark-Open-Source-APIs

Fabric Spark History Server-APIs folgen denselben Strukturen, Abfrageparametern und Verträgen wie Spark Open Source Monitoring-REST-API und stellen den gleichen Satz Endpunkte zum Abrufen von Spark-Anwendungsdetails bereit, einschließlich grundlegender Anwendungsinformationen, Phasen, Aufträge, Aufgaben, Executors, Speicher, Streaming und mehr.

Hinweis

Der /applications-Endpunkt, der eine Liste aller Anwendungen abruft, und der /version-Endpunkt, der die aktuelle Spark-Version abruft, sind die einzigen Endpunkte, die hier nicht unterstützt werden. Als Alternative zum /applications-Endpunkt können Sie jedoch eine Liste von Spark-Anwendungen für einen bestimmten Fabric-Arbeitsbereich oder ein element mit anderen verfügbaren Überwachungs-APIs abrufen.

Erlaubnisse

Die aufrufende Person muss über die Berechtigung „Lesen“ für das Element verfügen

Erforderliche delegierte Bereiche

Item.Read.All oder Item.ReadWrite.All oder eine der folgenden drei Gruppen (entsprechend dem Element, das die Spark-Anwendung ausgelöst hat)

  • Notebook.Read.All oder Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All oder SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All oder Lakehouse.ReadWrite.All

Von Microsoft Entra unterstützte Identitäten

Diese API unterstützt die in diesem Abschnitt aufgeführten Microsoft Identitäten.

Identität Unterstützung
Benutzer Ja
Dienstprinzipal und verwaltete Identitäten Ja

Schnittstelle

Mit attemptId:

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/...

Ohne attemptId:

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/...

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
Artikel-ID Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die Livy-Sitzungs-ID.
Anwendungs-ID Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
attemptId Pfad Falsch INT Die Versuchs-ID dieser Anwendungs-ID. Wenn nicht angegeben, wird die ID des letzten Versuchs verwendet.

Beispiele

Beispielanforderung 1: Abrufen von Details eines bestimmten Auftrags in einer Spark-Anwendung

GET https://api.fabric.microsoft.com/v1/workspaces/00bb0307-033d-415b-9917-e0b19df28539/notebooks/46884990-6ea1-4dbf-93e5-daf2608930d6/livySessions/b90eee82-765c-4393-b3da-2a11eeb73b34/applications/application_1742369571479_0001/jobs/1 

Beispielantwort 1

Statuscode: 200

{ 
    "jobId": 1, 
    "name": "save at <console>:38", 
    "description": "Accelerate the processing of subsequent queries", 
    "submissionTime": "2025-03-19T07:33:40.386GMT", 
    "completionTime": "2025-03-19T07:33:46.102GMT", 
    "stageIds": [ 
                    1, 
                    2 
                ], 
    "jobGroup": "SystemJob", 
    "jobTags": [], 
    "status": "SUCCEEDED", 
    "numTasks": 4, 
    "numActiveTasks": 0, 
    "numCompletedTasks": 1, 
    "numSkippedTasks": 3, 
    "numFailedTasks": 0, 
    "numKilledTasks": 0, 
    "numCompletedIndices": 1, 
    "numActiveStages": 0, 
    "numCompletedStages": 1, 
    "numSkippedStages": 1, 
    "numFailedStages": 0, 
    "killedTasksSummary": {} 
} 

Beispielanforderung 2: Abrufen von Details einer bestimmten SQL-Abfrage in einer Spark-Anwendung

GET  https://api.fabric.microsoft.com/v1/workspaces/00bb0307-033d-415b-9917-e0b19df28539/notebooks/46884990-6ea1-4dbf-93e5-daf2608930d6/livySessions/b90eee82-765c-4393-b3da-2a11eeb73b34/applications/application_1742369571479_0001/sql/1?details=false 

Beispielantwort 2

Statuscode: 200

{ 
    "id": 1, 
    "status": "COMPLETED", 
    "description": "Accelerate the processing of subsequent queries", 
    "planDescription": "== Physical Plan ==\nLocalTableScan (1)\n\n\n(1) LocalTableScan\nOutput [2]: [CommonName#7, ScientificName#8]\nArguments: [CommonName#7, ScientificName#8]\n\n", 
    "submissionTime": "2025-03-19T07:33:38.090GMT", 
    "duration": 8020, 
    "runningJobIds": [], 
    "successJobIds": [ 
                0, 
                1 
        ], 
    "failedJobIds": [], 
    "nodes": [], 
    "edges": [] 
} 

Beispielanforderung 3: Abrufen des Ereignisprotokolls eines bestimmten Versuchs in einer Spark-Anwendung

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/applications/application_1741176604085_0001/1/logs  

Beispielantwort 3

Nicht angezeigt, da es nicht lesbarer Code ist