다음을 통해 공유

DatabricksCluster 클래스

  • 참조

DatabricksSection에 사용할 Databricks 클러스터 정보를 정의합니다.

초기화.

상속
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

생성자

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

매개 변수

existing_cluster_id
str
기본값: None

Databricks 작업 영역에 있는 기존 대화형 클러스터의 클러스터 ID입니다. 이 매개 변수를 지정하면 다른 매개 변수를 지정하지 않아야 합니다.

spark_version
str
기본값: None

Databricks 실행 클러스터용 Spark 버전입니다. 예: "10.4.x-scala2.12".

node_type
str
기본값: None

Databricks 실행 클러스터에 대한 Azure VM 노드 유형입니다. 예: “Standard_D3_v2”.

instance_pool_id
str
기본값: None

클러스터를 연결해야 하는 인스턴스 풀 ID입니다.

num_workers
int
기본값: None

Databricks 실행 클러스터에 대한 작업자 수입니다. 이 매개 변수를 지정하면 min_workers 및 max_workers 매개 변수를 지정하지 않아야 합니다.

min_workers
int
기본값: None

자동 크기 조정된 Databricks 클러스터의 최소 작업자 수입니다.

max_workers
int
기본값: None

자동 크기 조정된 Databricks 실행 클러스터의 작업자 수입니다.

spark_env_variables
dict(<xref:{str:str}>)
기본값: None

Databricks 실행 클러스터에 대한 Spark 환경 변수입니다.

spark_conf
dict(<xref:{str:str}>)
기본값: None

Databricks 실행 클러스터에 대한 Spark 구성입니다.

init_scripts
list[str]
기본값: None

더 이상 사용되지 않습니다. Databricks는 DBFS에 저장된 init 스크립트가 2023년 12월 1일 이후에 작업을 중지할 것이라고 발표했습니다. 문제를 완화하려면 1) 다음 https://learn.microsoft.com/azure/databricks/init-scripts/global databricks에서 전역 init 스크립트를 사용하세요. 2) AzureML databricks 단계에서 init_scripts 줄을 주석 처리합니다.

cluster_log_dbfs_path
str
기본값: None

클러스터 로그를 배달해야 하는 DBFS 경로입니다.

permit_cluster_restart
bool
기본값: None

existing_cluster_id가 지정되면 이 매개 변수는 사용자를 대신하여 클러스터를 다시 시작할 수 있는지 여부를 알려줍니다.

메서드

validate

지정된 Databricks 클러스터 세부 정보의 유효성을 검사합니다.

제공된 매개 변수의 형식과 매개 변수의 올바른 조합이 제공되는지 확인합니다. 예를 들어 existing_cluster_id를 지정하거나 클러스터 매개 변수의 나머지 부분을 지정해야 합니다. 자세한 내용은 생성자 매개 변수 정의를 참조하세요.

validate

지정된 Databricks 클러스터 세부 정보의 유효성을 검사합니다.

제공된 매개 변수의 형식과 매개 변수의 올바른 조합이 제공되는지 확인합니다. 예를 들어 existing_cluster_id를 지정하거나 클러스터 매개 변수의 나머지 부분을 지정해야 합니다. 자세한 내용은 생성자 매개 변수 정의를 참조하세요.

validate()

예외

class:azureml.exceptions.UserErrorException