Sdílet prostřednictvím

DatabricksCluster Třída

  • Reference

Definuje informace o clusteru Databricks pro použití v DatabricksSection.

Inicializovat.

Dědičnost
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Konstruktor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parametry

Name Description
existing_cluster_id
str

ID clusteru existujícího interaktivního clusteru v pracovním prostoru Databricks Pokud je tento parametr zadán, neměl by být zadán žádný z ostatních parametrů.

Default value: None
spark_version
str

Verze Sparku pro cluster spuštění Databricks. Příklad: "10.4.x-scala2.12".

Default value: None
node_type
str

Typy uzlů virtuálních počítačů Azure pro cluster spuštění Databricks Příklad: "Standard_D3_v2".

Default value: None
instance_pool_id
str

ID fondu instancí, ke kterému musí být cluster připojený.

Default value: None
num_workers
int

Počet pracovních procesů v clusteru se spuštěním Databricks. Pokud je tento parametr zadán, min_workers parametry a max_workers by neměly být zadány.

Default value: None
min_workers
int

Minimální počet pracovních procesů pro cluster Databricks s automatickým škálováním

Default value: None
max_workers
int

Počet pracovních procesů pro cluster s automatickým škálováním Databricks.

Default value: None
spark_env_variables
dict(<xref:{str:str}>)

Proměnné prostředí Spark pro cluster spuštění Databricks

Default value: None
spark_conf
dict(<xref:{str:str}>)

Konfigurace Sparku pro cluster spuštění Databricks

Default value: None
init_scripts
list[str]

Zastaralé Databricks oznámila, že inicializační skript uložený v DBFS přestane fungovat po 1. prosinci 2023. Pokud chcete tento problém zmírnit, 1) použijte globální inicializační skripty v databricks a https://learn.microsoft.com/azure/databricks/init-scripts/global 2) okomentujte řádek init_scripts v kroku AzureML Databricks.

Default value: None
cluster_log_dbfs_path
str

Cesta DBFS do místa, kam je potřeba doručovat protokoly clusterů.

Default value: None
permit_cluster_restart
bool

Pokud je zadána existing_cluster_id, tento parametr určuje, jestli je možné cluster restartovat jménem uživatele.

Default value: None

Metody

validate

Ověřte podrobnosti o zadaném clusteru Databricks.

Ověření zkontroluje typy zadaných parametrů a také to, jestli je zadána správná kombinace parametrů. Je třeba zadat nebo zadat existing_cluster_id zbytek parametrů clusteru. Další informace najdete v definicích parametrů konstruktoru.

validate

Ověřte podrobnosti o zadaném clusteru Databricks.

Ověření zkontroluje typy zadaných parametrů a také to, jestli je zadána správná kombinace parametrů. Je třeba zadat nebo zadat existing_cluster_id zbytek parametrů clusteru. Další informace najdete v definicích parametrů konstruktoru.

validate()

Výjimky

Typ Description
class:azureml.exceptions.UserErrorException