azdata bdc spark batch

적용 대상: Azure Data CLI()azdata

다음 문서에서는 azdata 도구의 sql 명령에 대한 참조를 제공합니다. 다른 azdata 명령에 대한 자세한 내용은 azdata 참조를 참조하세요.

명령

명령	설명
azdata bdc spark batch create	새 Spark 일괄 처리를 만듭니다.
azdata bdc spark batch list	Spark의 모든 일괄 처리를 나열합니다.
azdata bdc spark batch info	활성 Spark 일괄 처리에 대한 정보를 가져옵니다.
azdata bdc spark batch log	Spark 일괄 처리의 실행 로그를 가져옵니다.
azdata bdc spark batch state	Spark 일괄 처리에 대한 실행 상태를 가져옵니다.
azdata bdc spark batch delete	Spark 일괄 처리를 삭제합니다.

azdata bdc spark batch create

그러면 제공된 코드를 실행하는 새 Batch Spark 작업이 만들어집니다.

azdata bdc spark batch create --file -f 
                              [--class-name -c]  
                              
[--arguments -a]  
                              
[--jar-files -j]  
                              
[--py-files -p]  
                              
[--files]  
                              
[--driver-memory]  
                              
[--driver-cores]  
                              
[--executor-memory]  
                              
[--executor-cores]  
                              
[--executor-count]  
                              
[--archives]  
                              
[--queue -q]  
                              
[--name -n]  
                              
[--config]

예제

새 Spark 일괄 처리를 만듭니다.

azdata spark batch create --code "2+2"

필수 매개 변수

--file -f

실행할 파일의 경로입니다.

선택적 매개 변수

--class-name -c

하나 이상의 jar 파일을 전달할 때 실행할 클래스의 이름입니다.

--arguments -a

인수 목록입니다. 목록을 전달하려면 JSON에서 값을 인코딩합니다. 예: ‘[“entry1”, “entry2”]‘

--jar-files -j

jar 파일 경로 목록입니다. 목록을 전달하려면 JSON에서 값을 인코딩합니다. 예: ‘[“entry1”, “entry2”]‘

--py-files -p

python 파일 경로의 목록입니다. 목록을 전달하려면 JSON에서 값을 인코딩합니다. 예: ‘[“entry1”, “entry2”]‘

--files

파일 경로 목록입니다. 목록을 전달하려면 JSON에서 값을 인코딩합니다. 예: ‘[“entry1”, “entry2”]‘

--driver-memory

드라이버에 할당할 메모리 양입니다. 단위를 값의 일부로 지정합니다. 예: 512M 또는 2G

--driver-cores

드라이버에 할당할 CPU 코어의 양입니다.

--executor-memory

실행기에 할당할 메모리 크기입니다. 단위를 값의 일부로 지정합니다. 예: 512M 또는 2G

--executor-cores

실행자에 할당할 CPU 코어의 양입니다.

--executor-count

실행할 실행기의 인스턴스 수입니다.

--archives

보관 경로 목록입니다. 목록을 전달하려면 JSON에서 값을 인코딩합니다. 예: ‘[“entry1”, “entry2”]‘

--queue -q

세션을 실행할 Spark 큐의 이름입니다.

--name -n

Spark 세션의 이름입니다.

--config

Spark 구성 값을 포함하는 이름 값 쌍의 목록입니다. JSON 사전으로 인코딩됩니다. 예: '{"name":"value", "name2":"value2"}'.

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

azdata bdc spark batch list

Spark의 모든 일괄 처리를 나열합니다.

azdata bdc spark batch list 

예제

모든 활성 일괄 처리를 나열합니다.

azdata spark batch list

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

azdata bdc spark batch info

지정된 ID를 사용하여 Spark 일괄 처리에 대한 정보를 가져옵니다. 일괄 처리 ID는 'spark batch create'에서 반환됩니다.

azdata bdc spark batch info --batch-id -i 
                            

예제

ID가 0인 일괄 처리에 대한 일괄 처리 정보를 가져옵니다.

azdata spark batch info --batch-id 0

필수 매개 변수

--batch-id -i

Spark 일괄 처리 ID 번호입니다.

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

azdata bdc spark batch log

지정된 ID를 사용하여 Spark 일괄 처리에 대한 일괄 처리 로그 항목을 가져옵니다. 일괄 처리 ID는 'spark batch create'에서 반환됩니다.

azdata bdc spark batch log --batch-id -i 
                           

예제

ID가 0인 일괄 처리에 대한 일괄 처리 로그를 가져옵니다.

azdata spark batch log --batch-id 0

필수 매개 변수

--batch-id -i

Spark 일괄 처리 ID 번호입니다.

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

azdata bdc spark batch state

지정된 ID를 가진 Spark 일괄 처리의 일괄 처리 상태를 가져옵니다. 일괄 처리 ID는 'spark batch create'에서 반환됩니다.

azdata bdc spark batch state --batch-id -i 
                             

예제

ID가 0인 일괄 처리의 일괄 처리 상태를 가져옵니다.

azdata spark batch state --batch-id 0

필수 매개 변수

--batch-id -i

Spark 일괄 처리 ID 번호입니다.

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

azdata bdc spark batch delete

그러면 Spark 일괄 처리가 삭제됩니다. 일괄 처리 ID는 'spark batch create'에서 반환됩니다.

azdata bdc spark batch delete --batch-id -i 
                              

예제

일괄 처리를 삭제합니다.

azdata spark batch delete --batch-id 0

필수 매개 변수

--batch-id -i

Spark 일괄 처리 ID 번호입니다.

전역 인수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--output -o

출력 형식입니다. 허용되는 값: json, jsonc, table, tsv 기본값: json

--query -q

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

다음 단계

다른 azdata 명령에 대한 자세한 내용은 azdata 참조를 참조하세요.

azdata 도구를 설치하는 방법에 대한 자세한 내용은 azdata 설치를 참조하세요.