Tugas Batch

Parameter dan header umum

Informasi berikut ini umum untuk semua tugas yang terkait dengan kluster yang mungkin Anda lakukan:

• Ganti {cluster-endpoint} dengan url titik akhir manajemen kluster Anda. (misalnya, myendpoint.azurehdinsight.net)

• Ganti {batch-id} dengan ID batch yang dikembalikan pada pengiriman pekerjaan.

• Atur header Content-Type ke application/json.

• Autentikasi dengan titik akhir menggunakan autentikasi dasar HTTP.

Membuat pekerjaan batch baru

Kirim pekerjaan batch baru dari jar.

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode	URI Permintaan
POST	https://{cluster-endpoint}/livy/batches

Berikut ini memperlihatkan contoh permintaan untuk membuat pekerjaan batch baru

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}  
  

Nama Elemen	Diperlukan	Jenis	Deskripsi
proxyUser	Tidak	String	Pengguna untuk meniru yang akan menjalankan pekerjaan
file	Ya	String	Jalur ke jar pekerjaan batch.
args	Tidak	Array String	Argumen baris perintah diteruskan ke pekerjaan batch.
className	Ya	String	Nama kelas kelas utama.
jar	Tidak	Array String	File yang akan ditempatkan pada classpath java
pyFile	Tidak	Array String	File yang akan ditempatkan pada PYTHONPATH
file	Tidak	Array String	File yang akan ditempatkan di direktori kerja pelaksana
driverMemory	Tidak	String	Memori untuk driver (1000M, 2G)
driverCores	Tidak	Bilangan bulat	Jumlah inti yang digunakan oleh driver
executorMemory	Tidak	String	Memori untuk eksekutor (1000M, 2G)
executorCores	Tidak	Bilangan bulat	Jumlah inti yang digunakan oleh eksekutor
NumExecutors	Tidak	Bilangan bulat	jumlah pelaksana
arsip	Tidak	Array String	Arsip yang tidak dikompresi (hanya mode YARN)

Respons

Operasi akan mengembalikan 200 (OK) jika permintaan berhasil diselesaikan

Kode status: 200 OK

Isi respons:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}  
  

Nama Elemen	Diperlukan	Jenis	Deskripsi
id	Ya	Bilangan bulat	Id sesi batch
log	Ya	Array string	Array baris log untuk pekerjaan batch ini.
state	Tidak	String	Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]

Mendapatkan log lengkap dari pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode	URI Permintaan
DAPATKAN	https://{cluster-endpoint}/livy/batches/{batch-id}/log

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}  
  

Nama elemen	Diperlukan	Jenis	Deskripsi
id	Ya	Bilangan bulat	Id sesi batch
dari	Ya	Bilangan bulat	Offset
Ukuran	Ya	Bilangan bulat	Jumlah total baris
log	Ya	Array string	Array baris log untuk pekerjaan batch ini.

Mendapatkan status pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode	URI Permintaan
DAPATKAN	https://{cluster-endpoint}/livy/batches/{batch-id}

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}  
  

Nama elemen	Diperlukan	Jenis	Deskripsi
id	Ya	Bilangan bulat	Id sesi batch
log	Ya	Array string	Array baris log untuk pekerjaan batch ini.
state	Ya	String	Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]

Membunuh pekerjaan batch

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode	URI Permintaan
HAPUS	https://{cluster-endpoint}/livy/batches/{batch-id}

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
"msg" : "deleted"  
}  
  

Nama elemen	Diperlukan	Jenis	Deskripsi
Pesan	Ya	String	Pesan penghapusan.

Sesi interaktif

• Mulai, kirim pernyataan, ambil hasil pernyataan, dan hentikan sesi interaktif

Mengembalikan semua pekerjaan batch aktif

Minta

Lihat Parameter dan header umum untuk header dan parameter yang digunakan oleh kluster.

Metode	URI Permintaan
DAPATKAN	https://{cluster-endpoint}/livy/batches

Respons

Jika validasi selesai dan permintaan diterima, operasi akan mengembalikan 200 (OK).

Kode status: 200 OK

Isi respons:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}  
  

Nama elemen	Diperlukan	Jenis	Deskripsi
dari	Ya	String	Offset
total	Ya	String	Jumlah batch yang akan dikembalikan
sesi	Ya	Array Tipe Kompleks (Batch)	Daftar pekerjaan batch aktif

Batch

Nama elemen	Diperlukan	Jenis	Deskripsi
id	Ya	Bilangan bulat	Id sesi batch
log	Ya	Array string	Array baris log untuk pekerjaan batch ini.
state	Ya	String	Status sesi. Nilai yang mungkin: ["starting", "idle", "error"]