Freigeben über


Spark-Treiberprotokolle mit Spark-Überwachungs-APIs abrufen

In diesem Artikel wird erklärt, wie Sie Spark-Treiberprotokolle abrufen.

Erlaubnisse

Die aufrufende Person muss über die Berechtigung „Lesen“ für das Element verfügen.

Erforderliche delegierte Bereiche

Item.Read.All oder Item.ReadWrite.All oder eine der folgenden drei Gruppen (entsprechend dem Element, das die Spark-Anwendung ausgelöst hat).

  • Notebook.Read.All oder Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All oder SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All oder Lakehouse.ReadWrite.All

Von Microsoft Entra unterstützte Identitäten

Diese API unterstützt die in diesem Abschnitt aufgeführten Microsoft Identitäten.

Identität Unterstützung
Benutzer Ja
Service Principal und Verwaltete Identitäten Ja

Abrufen von Treiberprotokollmetadaten

Abrufen von Metadaten einer Protokolldatei des Treibers einer Spark-Anwendung.

Schnittstelle

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName} 

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName} 

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
itemId Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die ID der Livy-Sitzung.
appId Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
attemptId Pfad Falsch int Die Versuchs-ID dieser Anwendungs-ID. Wenn nicht angegeben, wird die ID des letzten Versuchs verwendet.
fileName Abfrage Richtig Schnur Der spezifische Dateiname, um die Metadaten abzurufen

Anforderungstext

Nichts

Antworten

Name Typ BESCHREIBUNG
200 – OK ContainerLogMeta Anforderung erfolgreich abgeschlossen

Beispiele

Musteranforderung

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr 

Beispielantwort

Statuscode: 200

{ 
   "containerId": "container_1741176604085_0001_01_000001", 
   "nodeId": "vm-76895939:44851" 
   "containerLogMeta": { 
      "fileName": "stderr", 
      "length": 99067, 
      "lastModified": "2025-03-05T12:31:31.000GMT", 
      "creationTime": "2025-03-05T10:30:30.000GMT", 
      "metaData": {} 
   } 
} 

Abrufen von rollierenden Treiberprotokollmetadaten

Metadaten von rollierenden Protokolldateien des Treibers einer Spark-Anwendung abrufen.

Schnittstelle

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true 

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true

Mit optionalen Parametern:

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
itemId Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die ID der Livy-Sitzung.
appId Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
attemptId Pfad Falsch int Die Versuchs-ID dieser Anwendungs-ID. Wenn nicht angegeben, wird die ID des letzten Versuchs verwendet.
filenamePrefix Abfrage Falsch Schnur Das Präfix der zu filternden Protokolldateien kann entweder „stdout“ oder „stderr“ lauten.
offset, maxResults Abfrage Falsch int Der Startindex und die Anzahl der abzurufenden Protokolldateien:
– Für „offset“ beginnt er bei 0. Der gültige Bereich liegt zwischen 0 und 20.000. Der Standardwert ist 0.

– Für „maxResults“ beträgt der gültige Bereich 1 bis 3.000. Der Standardwert ist 3.000.

Anforderungstext

Nichts

Antworten

Name Typ BESCHREIBUNG
200 – OK ContainerLogMeta Anforderung erfolgreich abgeschlossen

Beispiele

Musteranforderung

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr

Beispielantwort

Statuscode: 200

{
	"containerId": "container_1725346176782_0001_01_000001",
	"nodeId": "vm-fe289417:42885",
	"containerLogMeta": [
		{
			"fileName": "stderr",
			"length": 205541,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-2024-09-03-06",
			"length": 100030,
			"lastModified": "2024-09-03T06:50:45.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-active",
			"length": 105511,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		}
	]
}

Abrufen von Treiberprotokollinhalten

Rufen Sie den Protokolldateiinhalt eines Treibers einer Spark-Anwendung ab.

Schnittstelle

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName} 

Mit optionalen Parametern:

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
itemId Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die ID der Livy-Sitzung.
appId Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
attemptId Pfad Falsch int Die Versuchs-ID dieser Anwendungs-ID. Wenn nicht angegeben, wird die ID des letzten Versuchs verwendet.
fileName Abfrage Richtig Schnur Der spezifische Dateiname, um den Inhalt abzurufen
containerId Abfrage Falsch Schnur Die spezifische Treibercontainer-ID. Machen Sie keine Angabe, wenn Sie die Treibercontainer-ID nicht kennen.
isDownload Abfrage Falsch Boolesch Setzen Sie „True“, um die Protokolldatei als Datenstrom herunterzuladen. Der Standardwert lautet „false“.
isPartial Abfrage Falsch Boolesch Wird nur wirksam, wenn isDownload „true“ ist. „True“, um einen Teil des Dateiinhalts entsprechend dem angegebenen Offset und der Größe herunterzuladen. Der Standardwert zum Herunterladen der gesamten Datei lautet „false.“
offset, size Abfrage Falsch long Der Anfangsoffset (in Byte) und die Größe (in Byte), um den Dateiinhalt zu lesen. Nur wirksam, wenn isDownload und isPartial jeweils „true“ sind.
– Für „offset“ beginnt er bei 0. Der gültige Bereich liegt zwischen 0 und 20.000. Der Standardwert ist 0.

– Für die Größe ist der Standardwert 1 Mio. Bytes (1024*1024).

Anforderungstext

Nichts

Antworten

Name Typ BESCHREIBUNG
200 – OK Anforderung erfolgreich abgeschlossen

Beispiele

Musteranforderung

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000

Nächste Schritte