Bagikan melalui

Tugas Batch

  • Artikel

Parameter dan header umum

Informasi berikut ini umum untuk semua tugas yang terkait dengan kluster yang mungkin Anda lakukan:

  • Ganti {cluster-endpoint} dengan url titik akhir manajemen kluster Anda. (misalnya, myendpoint.azurehdinsight.net)

  • Ganti {batch-id} dengan ID batch yang dikembalikan pada pengiriman pekerjaan.

  • Atur header Content-Type ke application/json.

  • Autentikasi dengan titik akhir menggunakan autentikasi dasar HTTP.

Membuat pekerjaan batch baru

Kirim pekerjaan batch baru dari jar.

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode URI Permintaan
POST https://{cluster-endpoint}/livy/batches

Berikut ini memperlihatkan contoh permintaan untuk membuat pekerjaan batch baru

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Nama Elemen Diperlukan Jenis Deskripsi
proxyUser Tidak String Pengguna untuk meniru yang akan menjalankan pekerjaan
file Ya String Jalur ke jar pekerjaan batch.
args Tidak Array String Argumen baris perintah diteruskan ke pekerjaan batch.
className Ya String Nama kelas kelas utama.
jar Tidak Array String File yang akan ditempatkan pada classpath java
pyFile Tidak Array String File yang akan ditempatkan pada PYTHONPATH
file Tidak Array String File yang akan ditempatkan di direktori kerja pelaksana
driverMemory Tidak String Memori untuk driver (1000M, 2G)
driverCores Tidak Bilangan bulat Jumlah inti yang digunakan oleh driver
executorMemory Tidak String Memori untuk eksekutor (1000M, 2G)
executorCores Tidak Bilangan bulat Jumlah inti yang digunakan oleh eksekutor
NumExecutors Tidak Bilangan bulat jumlah pelaksana
arsip Tidak Array String Arsip yang tidak dikompresi (hanya mode YARN)

Respons

Operasi akan mengembalikan 200 (OK) jika permintaan berhasil diselesaikan

Kode status: 200 OK

Isi respons:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Nama Elemen Diperlukan Jenis Deskripsi
id Ya Bilangan bulat Id sesi batch
log Ya Array string Array baris log untuk pekerjaan batch ini.
state Tidak String Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]

Mendapatkan log lengkap dari pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode URI Permintaan
DAPATKAN https://{cluster-endpoint}/livy/batches/{batch-id}/log

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Nama elemen Diperlukan Jenis Deskripsi
id Ya Bilangan bulat Id sesi batch
dari Ya Bilangan bulat Offset
Ukuran Ya Bilangan bulat Jumlah total baris
log Ya Array string Array baris log untuk pekerjaan batch ini.

Mendapatkan status pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode URI Permintaan
DAPATKAN https://{cluster-endpoint}/livy/batches/{batch-id}

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Nama elemen Diperlukan Jenis Deskripsi
id Ya Bilangan bulat Id sesi batch
log Ya Array string Array baris log untuk pekerjaan batch ini.
state Ya String Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]

Membunuh pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode URI Permintaan
HAPUS https://{cluster-endpoint}/livy/batches/{batch-id}

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"msg" : "deleted"  
}
Nama elemen Diperlukan Jenis Deskripsi
Pesan Ya String Pesan penghapusan.

Sesi interaktif

  • Mulai, kirim pernyataan, ambil hasil pernyataan, dan hentikan sesi interaktif

Mengembalikan semua pekerjaan batch aktif

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode URI Permintaan
DAPATKAN https://{cluster-endpoint}/livy/batches

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Nama elemen Diperlukan Jenis Deskripsi
dari Ya String Offset
total Ya String Jumlah batch yang akan dikembalikan
sesi Ya Array Tipe Kompleks (Batch) Daftar pekerjaan batch aktif

Batch

Nama elemen Diperlukan Jenis Deskripsi
id Ya Bilangan bulat Id sesi batch
log Ya Array string Array baris log untuk pekerjaan batch ini.
state Ya String Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]