clusters 명령 그룹

Note

이 정보는 Databricks CLI 버전 0.205 이상에 적용됩니다. Databricks CLI는 공개 미리 보기로 제공됩니다.

Databricks CLI 사용은 Databricks 라이선스 및 Databricks 개인 정보 보호 고지, 그리고 모든 사용 데이터 관련 조항의 적용을 받습니다.

clusters Databricks CLI 내의 명령 그룹을 사용하면 클러스터를 만들고, 시작하고, 편집하고, 나열하고, 종료하고, 삭제할 수 있습니다.

Databricks 클러스터는 프로덕션 ETL 파이프라인, 스트리밍 분석, 임시 분석 및 기계 학습과 같은 데이터 엔지니어링, 데이터 과학 및 데이터 분석 워크로드를 실행하는 계산 리소스 및 구성 집합입니다. 클래식 컴퓨팅 개요를 참조하세요.

Important

Databricks는 종료된 클러스터에 대한 클러스터 구성 정보를 30일 동안 유지합니다. 30일 이상 종료된 후에도 다목적 클러스터 구성을 유지하려면 관리자가 클러스터 목록에 클러스터를 고정할 수 있습니다.

databricks 클러스터 소유자 변경

클러스터의 소유자를 변경합니다. 관리자여야 하며 이 작업을 수행하려면 클러스터를 종료해야 합니다. 서비스 주체 애플리케이션 ID는 owner_username 인수로 제공할 수 있습니다.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Arguments

CLUSTER_ID

    클러스터 ID입니다.

OWNER_USERNAME

    이 RPC 이후에 cluster_id의 새로운 소유자는 다음과 같습니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

databricks 클러스터 만들기

새 클러스터 만들기 이 명령은 필요한 경우 클라우드 공급자로부터 새 인스턴스를 획득합니다. 이 명령은 비동기입니다. 반환된 cluster_id 사용하여 클러스터 상태를 폴링할 수 있습니다. 이 명령이 반환되면 클러스터는 PENDING 상태입니다. 클러스터가 실행 중 상태가 되면 사용할 수 있습니다. 클라우드 공급자 제한(계정 제한, 현물 가격 등) 또는 일시적인 네트워크 문제로 인해 Databricks가 요청된 노드 중 일부를 획득하지 못할 수 있습니다.

Databricks가 요청된 주문형 노드 중 85개 이상의% 획득하면 클러스터 생성이 성공합니다. 그렇지 않으면 클러스터가 정보 오류 메시지로 종료됩니다.

Databricks는 클러스터의 JSON 정의를 처음부터 작성하는 대신 컴퓨팅 UI 만들기 를 작성한 다음 생성된 JSON 정의를 UI에서 복사하는 것이 좋습니다.

databricks clusters create SPARK_VERSION [flags]

Arguments

SPARK_VERSION

    클러스터의 Spark 버전(예: 13.3.x-scala2.12)입니다. 사용 가능한 Spark 버전 목록 API를 사용하여 사용 가능한 Spark 버전 목록을 검색할 수 있습니다.

Options

--apply-policy-default-values

    true로 설정하면 정책의 고정 및 기본값이 생략된 필드에 사용됩니다.

--autotermination-minutes int

    지정된 시간(분) 동안 비활성 상태인 경우 클러스터를 자동으로 종료합니다.

--cluster-name string

    사용자가 요청한 클러스터 이름입니다.

--data-security-mode DataSecurityMode

    데이터 보안 모드는 클러스터에서 데이터에 액세스할 때 사용할 데이터 거버넌스 모델을 결정합니다. 지원되는 값: ,, ,DATA_SECURITY_MODE_AUTODATA_SECURITY_MODE_DEDICATEDDATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACLNONESINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    클러스터 드라이버에 대한 인스턴스 풀의 선택적 ID가 속합니다.

--driver-node-type-id string

    Spark 드라이버의 노드 형식입니다.

--enable-elastic-disk

    로컬 스토리지 자동 크기 조정: 사용하도록 설정하면 Spark 작업자가 디스크 공간이 부족할 때 이 클러스터는 추가 디스크 공간을 동적으로 확보합니다.

--enable-local-disk-encryption

    클러스터 VM의 로컬 디스크에서 LUKS를 사용하도록 설정할지 여부입니다.

--instance-pool-id string

    클러스터가 속한 인스턴스 풀의 선택적 ID입니다.

--is-single-node

    이 필드는 kind = CLASSIC_PREVIEW일 경우에만 사용할 수 있습니다.

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--kind Kind

    이 컴퓨팅 사양에서 설명하는 컴퓨팅 종류입니다. 지원되는 값: CLASSIC_PREVIEW

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--node-type-id string

    이 필드는 단일 값을 통해 이 클러스터의 각 Spark 노드에서 사용할 수 있는 리소스를 인코딩합니다.

--num-workers int

    이 클러스터에 있어야 하는 작업자 노드의 수입니다.

--policy-id string

    해당하는 경우 클러스터를 만드는 데 사용되는 클러스터 정책의 ID입니다.

--runtime-engine RuntimeEngine

    클러스터의 런타임 엔진(표준 또는 Photon)을 결정합니다. 지원되는 값: NULL, PHOTON, STANDARD

--single-user-name string

    data_security_mode가 SINGLE_USER인 경우 단일 사용자 이름.

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

--use-ml-runtime

    이 필드는 kind = CLASSIC_PREVIEW일 경우에만 사용할 수 있습니다.

전역 플래그

databricks 클러스터 삭제

지정된 ID로 클러스터를 종료합니다. 클러스터가 비동기적으로 제거됩니다. 클러스터가 TERMINATED 상태에 있습니다, 종료가 완료되면. 클러스터가 이미 TERMINATING 또는 TERMINATED 상태인 경우 아무 작업도 수행되지 않습니다.

databricks clusters delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    종료할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--no-wait

    상태에 도달하기 TERMINATED 위해 기다리지 마세요.

--timeout duration

    상태에 도달하는 TERMINATED 최대 시간(기본값 20m0s)

전역 플래그

databricks 클러스터 편집

제공된 특성 및 크기와 일치하도록 클러스터의 구성을 업데이트합니다. 클러스터가 실행 중이거나 종료된 상태인 경우 클러스터를 업데이트할 수 있습니다.

실행 중 상태인 동안 클러스터가 업데이트되면 새 특성이 적용되도록 클러스터가 다시 시작됩니다.

종료된 상태인 동안 클러스터가 업데이트되면 종료된 상태로 유지됩니다. 다음에 클러스터/시작 API를 사용하여 시작할 때 새 특성이 적용됩니다. 다른 상태에서 클러스터를 업데이트하려는 시도는 INVALID_STATE 오류 코드로 거부됩니다.

Databricks 작업 서비스에서 만든 클러스터는 편집할 수 없습니다.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Arguments

CLUSTER_ID

    클러스터의 ID

SPARK_VERSION

    클러스터의 Spark 버전(예: 13.3.x-scala2.12)입니다. 사용 가능한 Spark 버전 목록 API를 사용하여 사용 가능한 Spark 버전 목록을 검색할 수 있습니다.

Options

--apply-policy-default-values

    생략된 필드에 대해 정책의 고정 및 기본값을 사용합니다.

--autotermination-minutes int

    클러스터가 비활성 상태로 이 시간(분) 동안 지나면 자동으로 종료됩니다.

--cluster-name string

    사용자가 요청한 클러스터 이름입니다.

--data-security-mode DataSecurityMode

    데이터 보안 모드는 클러스터에서 데이터에 액세스할 때 사용할 데이터 거버넌스 모델을 결정합니다. 지원되는 값: DATA_SECURITY_MODE_AUTO,DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACLNONE, SINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    클러스터 드라이버에 대한 인스턴스 풀의 선택적 ID가 속합니다.

--driver-node-type-id string

    Spark 드라이버의 노드 형식입니다.

--enable-elastic-disk

    로컬 스토리지 자동 크기 조정: 사용하도록 설정하면 Spark 작업자가 디스크 공간이 부족할 때 이 클러스터는 추가 디스크 공간을 동적으로 확보합니다.

--enable-local-disk-encryption

    클러스터 VM의 로컬 디스크에서 LUKS를 사용하도록 설정할지 여부입니다.

--instance-pool-id string

    클러스터가 속한 인스턴스 풀의 선택적 ID입니다.

--is-single-node

    이 필드는 kind = CLASSIC_PREVIEW일 경우에만 사용할 수 있습니다.

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--kind Kind

    이 컴퓨팅 사양에서 설명하는 컴퓨팅 종류입니다. 지원되는 값: CLASSIC_PREVIEW

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--node-type-id string

    이 필드는 단일 값을 통해 이 클러스터의 각 Spark 노드에서 사용할 수 있는 리소스를 인코딩합니다.

--num-workers int

    이 클러스터에 있어야 하는 작업자 노드의 수입니다.

--policy-id string

    해당하는 경우 클러스터를 만드는 데 사용되는 클러스터 정책의 ID입니다.

--runtime-engine RuntimeEngine

    클러스터의 런타임 엔진(표준 또는 Photon)을 결정합니다. 지원되는 값: NULL, PHOTON, STANDARD

--single-user-name string

    "data_security_mode가 'SINGLE_USER'인 경우 단일 사용자 이름입니다."

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

--use-ml-runtime

    이 필드는 kind = CLASSIC_PREVIEW일 경우에만 사용할 수 있습니다.

전역 플래그

databricks 클러스터 이벤트

클러스터의 활동에 대한 이벤트를 나열합니다. 이 API는 페이지로 구분됩니다. 읽을 이벤트가 더 많은 경우 응답에는 다음 이벤트 페이지를 요청하는 데 필요한 모든 매개 변수가 포함됩니다.

databricks clusters events CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    이벤트를 검색할 클러스터의 ID입니다.

Options

--end-time int

    Epoch의 종료 시간(밀리초)입니다.

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--limit int

    더 이상 사용되지 않음: 대신 page_size과 함께 page_token을 사용합니다.

--offset int

    더 이상 사용되지 않음: 대신 page_size과 함께 page_token을 사용합니다.

--order GetEventsOrder

    이벤트를 나열하는 순서입니다. 지원되는 값: ASC, DESC

--page-size int

    이벤트 페이지에 포함할 최대 이벤트 수입니다.

--page-token string

    이전 요청에서 반환된 next_page_token 또는 prev_page_token 사용하여 이벤트의 다음 또는 이전 페이지를 각각 나열합니다.

--start-time int

    에포크 밀리초로 표시된 시작 시간입니다.

전역 플래그

databricks 클러스터 가져오기

식별자가 지정된 클러스터에 대한 정보를 가져옵니다. 클러스터를 실행하는 동안 또는 종료된 후 최대 60일 후에 설명할 수 있습니다.

databricks clusters get CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    정보를 조회할 클러스터입니다.

Options

전역 플래그

databricks 클러스터 목록

고정된 모든 활성 클러스터 및 지난 30일 이내에 종료된 모든 클러스터에 대한 정보를 나열합니다. 이 기간 이전에 종료된 클러스터는 포함되지 않습니다.

databricks clusters list [flags]

Arguments

None

Options

--cluster-sources []string

    원본별로 클러스터 필터링

--cluster-states []string

    상태별로 클러스터 필터링

--is-pinned

    고정 상태별로 클러스터 필터링

--page-size int

    이 필드를 사용하여 서버에서 반환할 최대 결과 수를 지정할 수 있습니다.

--page-token string

    이전 요청에서 반환된 next_page_token 또는 prev_page_token 사용하여 클러스터의 다음 또는 이전 페이지를 각각 나열합니다.

--policy-id string

    정책 ID로 클러스터 필터링

전역 플래그

databricks 클러스터 list-node-types

지원되는 Spark 노드 유형을 나열합니다. 이러한 노드 유형을 사용하여 클러스터를 시작할 수 있습니다.

databricks clusters list-node-types [flags]

Arguments

None

Options

전역 플래그

databricks 클러스터 목록 영역

클러스터를 만들 수 있는 가용성 영역을 나열합니다(예: us-west-2a). 이러한 영역을 사용하여 클러스터를 시작할 수 있습니다.

databricks clusters list-zones [flags]

Arguments

None

Options

전역 플래그

databricks 클러스터 영구 삭제

클러스터를 영구적으로 삭제합니다. 이 클러스터는 종료되고 리소스는 비동기적으로 제거됩니다.

또한 사용자는 클러스터 목록에 영구적으로 삭제된 클러스터를 더 이상 볼 수 없으며, API 사용자는 더 이상 영구적으로 삭제된 클러스터에 대해 아무 작업도 수행할 수 없습니다.

databricks clusters permanent-delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    삭제할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

databricks 클러스터 핀

클러스터를 고정하여 클러스터가 항상 ListClusters API에서 반환되도록 합니다. 이미 고정된 클러스터를 고정해도 아무런 효과가 없습니다. 이 API는 작업 영역 관리자만 호출할 수 있습니다.

databricks clusters pin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    클러스터 ID입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

databricks 클러스터 크기 조정

원하는 수의 작업자를 갖도록 클러스터 크기를 조정합니다. 클러스터가 실행 중 상태가 아닌 한 실패합니다.

databricks clusters resize CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    크기를 조정할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--num-workers int

    이 클러스터에 있어야 하는 작업자 노드의 수입니다.

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

전역 플래그

databricks 클러스터 다시 시작

지정된 ID를 사용하여 클러스터를 다시 시작합니다. 클러스터가 현재 실행 중 상태가 아니면 아무 작업도 수행되지 않습니다.

databricks clusters restart CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    시작할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--restart-user string

    클러스터를 다시 시작한 사용자입니다.

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

전역 플래그

Databricks 클러스터 Spark 버전

사용 가능한 Spark 버전을 나열합니다. 이러한 버전은 클러스터를 시작하는 데 사용할 수 있습니다.

databricks clusters spark-versions [flags]

Arguments

None

Options

전역 플래그

databricks 클러스터 시작

지정된 ID를 사용하여 종료된 클러스터를 시작합니다. 다음을 제외하고 createCluster와 유사하게 작동합니다. - 이전 클러스터 ID 및 특성이 유지됩니다. - 클러스터가 마지막으로 지정된 클러스터 크기로 시작합니다. - 이전 클러스터가 자동 크기 조정 클러스터인 경우 현재 클러스터는 최소 노드 수로 시작합니다. - 클러스터가 현재 TERMINATED 상태가 아니면 아무 작업도 수행되지 않습니다. - 작업을 실행하기 위해 시작된 클러스터를 시작할 수 없습니다.

databricks clusters start CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    시작할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

전역 플래그

Databricks 클러스터 고정 해제하기

클러스터를 고정 해제하여 클러스터가 결국 ListClusters API에서 제거되도록 합니다. 고정되지 않은 클러스터의 고정 해제는 아무런 영향을 주지 않습니다. 이 API는 작업 영역 관리자만 호출할 수 있습니다.

databricks clusters unpin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    클러스터 ID입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

databricks 클러스터 업데이트

특성 및 크기의 부분 집합과 일치하도록 클러스터의 구성을 업데이트합니다. 요청 본문의 update_mask 필드를 사용하여 업데이트할 필드를 나타냅니다. 클러스터가 실행 중이거나 종료된 상태인 경우 클러스터를 업데이트할 수 있습니다. 실행 중 상태인 동안 클러스터가 업데이트되면 새 특성이 적용되도록 클러스터가 다시 시작됩니다. 종료된 상태인 동안 클러스터가 업데이트되면 종료된 상태로 유지됩니다. 업데이트된 특성은 다음에 클러스터 시작 API를 사용하여 클러스터를 시작할 때 적용됩니다. 다른 상태에서 클러스터를 업데이트하려는 시도는 INVALID_STATE 오류 코드로 거부됩니다. Databricks 작업 서비스에서 만든 클러스터는 업데이트할 수 없습니다.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Arguments

CLUSTER_ID

    클러스터의 ID입니다.

UPDATE_MASK

    업데이트할 클러스터 특성 및 크기 필드를 지정하는 데 사용됩니다. 자세한 내용은 https://google.aip.dev/161 참조하세요. 필드 마스크는 쉼표(공백 없음)로 구분된 여러 필드가 있는 단일 문자열이어야 합니다. 필드 경로는 점(.)을 사용하여 하위 필드(예 author.given_name: )를 탐색하는 리소스 개체를 기준으로 합니다. 전체 컬렉션 필드만 지정할 수 있으므로 시퀀스 또는 맵 필드의 요소 사양은 허용되지 않습니다. 필드 이름은 리소스 필드 이름과 정확히 일치해야 합니다. _ 필드 마스크는 전체 대체를 나타냅니다. API가 나중에 변경될 경우 의도하지 않은 결과가 발생할 수 있으므로 항상 업데이트되는 필드를 명시적으로 나열하고 와일드카드를 사용하지 _ 않는 것이 좋습니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

--no-wait

    실행 중 상태에 도달할 때까지 기다리지 마세요.

--timeout duration

    실행 상태에 도달하는 최대 시간(기본값 20m0s)

전역 플래그

databricks 클러스터 권한 수준 가져오기

클러스터 사용 권한 수준을 가져옵니다.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    사용 권한을 얻거나 관리할 클러스터입니다.

Options

전역 플래그

databricks 클러스터 권한 확인하기

클러스터 권한을 가져옵니다. 클러스터는 루트 개체에서 권한을 상속할 수 있습니다.

databricks clusters get-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    사용 권한을 얻거나 관리할 클러스터입니다.

Options

전역 플래그

databricks 클러스터 권한 설정

클러스터 사용 권한을 설정하고 기존 사용 권한이 있는 경우 대체합니다. 지정되지 않은 경우 모든 직접 권한을 삭제합니다. 개체는 루트 개체에서 사용 권한을 상속할 수 있습니다.

databricks clusters set-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    사용 권한을 얻거나 관리할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

databricks 클러스터 업데이트 권한

클러스터에 대한 권한을 업데이트합니다. 클러스터는 루트 개체에서 권한을 상속할 수 있습니다.

databricks clusters update-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    사용 권한을 얻거나 관리할 클러스터입니다.

Options

--json JSON

    요청 본문이 @path 있는 인라인 JSON 문자열 또는 JSON 파일에 대한 문자열

전역 플래그

전역 플래그

--debug

  디버그 로깅을 사용할지 여부입니다.

-h 또는 --help

    Databricks CLI 또는 관련 명령 그룹 또는 관련 명령에 대한 도움말을 표시합니다.

--log-file 문자열

    출력 로그를 쓸 파일을 나타내는 문자열입니다. 이 플래그가 지정되지 않으면 출력 로그는 기본적으로 stderr에 기록됩니다.

--log-format 판

    로그 형식 형식 text 또는 json. 기본값은 text입니다.

--log-level 문자열

    로그 형식 수준을 나타내는 문자열입니다. 지정하지 않으면 로그 형식 수준을 사용할 수 없습니다.

-o, --output 유형

    명령 출력 형식 text 또는 json. 기본값은 text입니다.

-p, --profile 문자열

    명령을 실행하는 데 사용할 파일의 프로필 ~/.databrickscfg 이름입니다. 이 플래그를 지정하지 않으면 해당 플래그가 있으면 명명 DEFAULT 된 프로필이 사용됩니다.

--progress-format 판

    진행률 로그를 표시할 형식: default, append, inplace또는 json

-t, --target 문자열

    해당하는 경우 사용할 번들 대상