Freigeben über

Batchauftrag

  • Artikel

Allgemeine Parameter und Header

Die folgenden Informationen sind allen Aufgaben im Zusammenhang mit Clustern gemeinsam, die Sie möglicherweise ausführen:

  • Ersetzen Sie {cluster-endpoint} durch die URL des Verwaltungsendpunkts Ihres Clusters. (z. B. myendpoint.azurehdinsight.net)

  • Ersetzen Sie {batch-id} durch die Batch-ID, die bei der Auftragsübermittlung zurückgegeben wird.

  • Legen Sie den "Content-Type"-Header auf application/json fest.

  • Authentifizieren Sie sich mit dem Endpunkt mithilfe der HTTP-Standardauthentifizierung.

Erstellen eines neuen Batchauftrags

Übermitteln Sie einen neuen Batchauftrag aus einer JAR-Datei.

Anforderung

Weitere Informationen finden Sie unter Allgemeine Parameter und Header für Header und Parameter, die von Clustern verwendet werden.

Methode Anforderungs-URI
POST https://{cluster-endpoint}/livy/batches

Im Folgenden sehen Sie eine Beispielanforderung zum Erstellen eines neuen Batchauftrags

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Elementname Erforderlich type BESCHREIBUNG
proxyUser Nein String Der Benutzer, der die Identität annehmen soll, der den Auftrag ausführt
file Ja String Pfad zur JAR-Datei des Batchauftrags.
args Nein Ein Zeichenfolgenarray. Befehlszeilenargumente, die an den Batchauftrag übergeben werden.
className Ja String Der Klassenname der Standard-Klasse.
jars Nein Ein Zeichenfolgenarray. Dateien, die im Java-Klassenpfad platziert werden sollen
pyFiles Nein Ein Zeichenfolgenarray. Dateien, die auf dem PYTHONPATH platziert werden sollen
Dateien Nein Ein Zeichenfolgenarray. Dateien, die im Arbeitsverzeichnis des Executors abgelegt werden sollen
driverMemory Nein String Arbeitsspeicher für Treiber (1000M, 2G)
driverCores Nein Integer Anzahl der vom Treiber verwendeten Kerne
executorMemory Nein String Arbeitsspeicher für Executor (1000M, 2G)
executorCores Nein Integer Anzahl der vom Executor verwendeten Kerne
numExecutors Nein Integer Anzahl von Executors
archives Nein Ein Zeichenfolgenarray. Zu entpackende Archive (nur YARN-Modus)

Antwort

Der Vorgang gibt 200 (OK) zurück, wenn die Anforderung erfolgreich abgeschlossen wurde.

Statuscode: 200 OK

Antworttext:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Elementname Erforderlich type BESCHREIBUNG
id Ja Integer Die Batchsitzungs-ID
log Ja Zeichenfolgenarray Array von Protokollzeilen für diesen Batchauftrag.
state Nein String Der Sitzungsstatus. Möglicher Wert: ["starting", "idle", "error"]

Abrufen des vollständigen Protokolls eines Batchauftrags

Anforderung

Weitere Informationen finden Sie unter Allgemeine Parameter und Header für Header und Parameter, die von Clustern verwendet werden.

Methode Anforderungs-URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Antwort

Wenn die Überprüfung abgeschlossen ist und die Anforderung akzeptiert wird, gibt der Vorgang 200 (OK) zurück.

Statuscode: 200 OK

Antworttext:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Elementname Erforderlich type BESCHREIBUNG
id Ja Integer Die Batchsitzungs-ID
from Ja Integer Offset
size Ja Integer Gesamtanzahl der Zeilen
log Ja Zeichenfolgenarray Array von Protokollzeilen für diesen Batchauftrag.

Abrufen des Status eines Batchauftrags

Anforderung

Weitere Informationen finden Sie unter Allgemeine Parameter und Header für Header und Parameter, die von Clustern verwendet werden.

Methode Anforderungs-URI
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Antwort

Wenn die Überprüfung abgeschlossen ist und die Anforderung akzeptiert wird, gibt der Vorgang 200 (OK) zurück.

Statuscode: 200 OK

Antworttext:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Elementname Erforderlich type BESCHREIBUNG
id Ja Integer Die Batchsitzungs-ID
log Ja Array von Zeichenfolgen Array von Protokollzeilen für diesen Batchauftrag.
state Ja String Der Sitzungsstatus. Möglicher Wert: ["starting", "idle", "error"]

Beenden eines Batchauftrags

Anforderung

Weitere Informationen finden Sie unter Allgemeine Parameter und Header für Header und Parameter, die von Clustern verwendet werden.

Methode Anforderungs-URI
Delete https://{cluster-endpoint}/livy/batches/{batch-id}

Antwort

Wenn die Überprüfung abgeschlossen ist und die Anforderung akzeptiert wird, gibt der Vorgang 200 (OK) zurück.

Statuscode: 200 OK

Antworttext:

{  
"msg" : "deleted"  
}
Elementname Erforderlich type BESCHREIBUNG
Meldung Ja String Die Meldung des Löschens.

Interaktive Sitzungen

  • Starten, Übermitteln einer Anweisung, Abrufen von Anweisungsergebnissen und Beenden einer interaktiven Sitzung

Zurückgeben aller aktiven Batchaufträge

Anforderung

Weitere Informationen finden Sie unter Allgemeine Parameter und Header für Header und Parameter, die von Clustern verwendet werden.

Methode Anforderungs-URI
GET https://{cluster-endpoint}/livy/batches

Antwort

Wenn die Überprüfung abgeschlossen ist und die Anforderung akzeptiert wird, gibt der Vorgang 200 (OK) zurück.

Statuscode: 200 OK

Antworttext:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Elementname Erforderlich type BESCHREIBUNG
from Ja String Offset
total Ja String Anzahl der zurückzugebenden Batches
session Ja Array des komplexen Typs (Batch) Eine Liste mit aktiven Batchaufträgen

Batch

Elementname Erforderlich type BESCHREIBUNG
id Ja Integer Die Batchsitzungs-ID
log Ja Array von Zeichenfolgen Array von Protokollzeilen für diesen Batchauftrag.
state Ja String Der Sitzungsstatus. Möglicher Wert: ["starting", "idle", "error"]