일괄 처리 작업
공통 매개 변수 및 헤더
다음 정보는 수행할 수 있는 클러스터와 관련된 모든 작업에 공통적으로 적용됩니다.
{cluster-endpoint}를 클러스터 관리 엔드포인트의 URL로 바꿉니다. (예: myendpoint.azurehdinsight.net)
{batch-id}를 작업 제출에서 반환된 일괄 처리 ID로 바꿉니다.
Content-Type 헤더를 application/json으로 설정합니다.
HTTP 기본 인증을 사용하여 엔드포인트로 인증합니다.
새 일괄 처리 작업 만들기
jar에서 새 일괄 처리 작업을 제출합니다.
요청
클러스터에서 사용되는 헤더 및 매개 변수에 대한 일반적인 매개 변수 및 헤더를 참조하세요.
| 메서드 | 요청 URI |
|---|---|
| POST | https://{cluster-endpoint}/livy/batches |
다음은 새 일괄 처리 작업을 만들기 위한 예제 요청을 보여줍니다.
{
"file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",
"args" : ["arg0", "arg1"],
"className" : "com.sample.Job1",
"jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],
"files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],
"driverMemory" : "1G",
"driverCores" : 2,
"executorMemory" : "1G",
"executorCores" : 10,
"numExecutors" : 10
}
| 요소 이름 | 필수 | 형식 | 설명 |
|---|---|---|---|
| proxyUser | 예 | String | 작업을 실행할 가장할 사용자 |
| 파일 | 예 | String | 일괄 처리 작업의 jar 경로입니다. |
| args | 아니요 | 문자열 배열 | 일괄 처리 작업에 전달된 명령줄 인수입니다. |
| className | 예 | String | 기본 클래스의 클래스 이름입니다. |
| jars | 아니요 | 문자열 배열 | java 클래스 경로에 배치할 파일 |
| pyFiles | 아니요 | 문자열 배열 | PYTHONPATH에 배치할 파일 |
| files | 아니요 | 문자열 배열 | 실행기 작업 디렉터리에 배치할 파일 |
| driverMemory | 예 | String | 드라이버용 메모리(1000M, 2G) |
| driverCores | 예 | 정수 | 드라이버에서 사용하는 코어 수 |
| executorMemory | 예 | String | 실행기용 메모리(1000M, 2G) |
| executorCores | 예 | 정수 | 실행기에서 사용하는 코어 수 |
| numExecutors | 예 | 정수 | 실행기 수 |
| archives | 아니요 | 문자열 배열 | 압축을 해제할 보관 파일(YARN 모드에만 해당) |
응답
요청이 성공적으로 완료되면 작업이 200(확인)을 반환합니다.
상태 코드: 200 OK
응답 본문:
{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}
| 요소 이름 | 필수 | 형식 | Description |
|---|---|---|---|
| id | 예 | 정수 | 일괄 처리 세션 ID |
| log | 예 | 문자열 배열 | 이 일괄 처리 작업에 대한 로그 줄의 배열입니다. |
| state | 예 | String | 세션 상태입니다. 가능한 값: ["starting", "유휴", "error"] |
일괄 처리 작업의 전체 로그 가져오기
요청
클러스터에서 사용되는 헤더 및 매개 변수에 대한 일반적인 매개 변수 및 헤더를 참조하세요.
| 메서드 | 요청 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches/{batch-id}/log |
응답
유효성 검사가 완료되고 요청이 수락되면 작업은 200(OK)을 반환합니다.
상태 코드: 200 OK
응답 본문:
{
"id" : 1,
"from":0,
"total":54
“log" : ["logline1", “logline2”]
}
| 요소 이름 | 필수 | 형식 | Description |
|---|---|---|---|
| id | 예 | 정수 | 일괄 처리 세션 ID |
| 원본 | 예 | 정수 | Offset |
| 크기 | 예 | 정수 | 총 줄 수 |
| log | 예 | 문자열 배열 | 이 일괄 처리 작업에 대한 로그 줄의 배열입니다. |
일괄 작업 상태 가져오기
요청
클러스터에서 사용되는 헤더 및 매개 변수에 대한 일반적인 매개 변수 및 헤더를 참조하세요.
| 메서드 | 요청 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches/{batch-id} |
응답
유효성 검사가 완료되고 요청이 수락되면 작업은 200(OK)을 반환합니다.
상태 코드: 200 OK
응답 본문:
{
"id" : 1,
"state" : "starting",
“log" : ["logline"]
}
| 요소 이름 | 필수 | 형식 | Description |
|---|---|---|---|
| id | 예 | 정수 | 일괄 처리 세션 ID |
| log | 예 | 문자열 배열 | 이 일괄 처리 작업에 대한 로그 줄의 배열입니다. |
| state | 예 | String | 세션 상태입니다. 가능한 값: ["starting", "유휴", "error"] |
일괄 처리 작업 종료
요청
클러스터에서 사용되는 헤더 및 매개 변수에 대한 일반적인 매개 변수 및 헤더를 참조하세요.
| 메서드 | 요청 URI |
|---|---|
| DELETE | https://{cluster-endpoint}/livy/batches/{batch-id} |
응답
유효성 검사가 완료되고 요청이 수락되면 작업은 200(OK)을 반환합니다.
상태 코드: 200 OK
응답 본문:
{
"msg" : "deleted"
}
| 요소 이름 | 필수 | 형식 | Description |
|---|---|---|---|
| 메시지 | 예 | String | 삭제의 메시지입니다. |
대화형 세션
- 문 시작, 제출, 문 결과 검색 및 대화형 세션 종료
모든 활성 일괄 처리 작업 반환
요청
클러스터에서 사용되는 헤더 및 매개 변수에 대한 일반적인 매개 변수 및 헤더를 참조하세요.
| 메서드 | 요청 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches |
응답
유효성 검사가 완료되고 요청이 수락되면 작업은 200(OK)을 반환합니다.
상태 코드: 200 OK
응답 본문:
{
"from" : 0,
"total" : 2,
"sessions" : [{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}, {
"id" : 0,
"state" : "idle",
"log" : ["logline"]
}
]
}
| 요소 이름 | 필수 | 형식 | 설명 |
|---|---|---|---|
| 원본 | 예 | String | Offset |
| total | 예 | String | 반환할 일괄 처리 수 |
| 세션 | 예 | 복합 형식의 배열(Batch) | 활성 일괄 처리 작업 목록 |
Batch
| 요소 이름 | 필수 | 형식 | Description |
|---|---|---|---|
| id | 예 | 정수 | 일괄 처리 세션 ID |
| log | 예 | 문자열 배열 | 이 일괄 처리 작업에 대한 로그 줄의 배열입니다. |
| state | 예 | String | 세션 상태입니다. 가능한 값: ["starting", "유휴", "error"] |