Dela via

DatabricksCluster Klass

  • Referens

Definierar Databricks-klusterinformation för användning i en DatabricksSection.

Initiera.

Arv
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Konstruktor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parametrar

existing_cluster_id
str
standardvärde: None

Ett kluster-ID för ett befintligt interaktivt kluster på Databricks-arbetsytan. Om den här parametern anges ska ingen av de andra parametrarna anges.

spark_version
str
standardvärde: None

Versionen av Spark för Databricks-körklustret. Exempel: "10.4.x-scala2.12".

node_type
str
standardvärde: None

Nodtyperna för virtuella Azure-datorer för Databricks-körklustret. Exempel: "Standard_D3_v2".

instance_pool_id
str
standardvärde: None

Det instanspools-ID som klustret måste kopplas till.

num_workers
int
standardvärde: None

Antalet arbetare för ett Databricks-körkluster. Om den här parametern anges ska parametrarna min_workers och max_workers inte anges.

min_workers
int
standardvärde: None

Det minsta antalet arbetare för ett autoskalat Databricks-kluster.

max_workers
int
standardvärde: None

Antalet arbetare för ett autoskalat Databricks-körkluster.

spark_env_variables
dict(<xref:{str:str}>)
standardvärde: None

Spark-miljövariablerna för Databricks kör klustret.

spark_conf
dict(<xref:{str:str}>)
standardvärde: None

Spark-konfigurationen för Databricks kör klustret.

init_scripts
list[str]
standardvärde: None

Inaktuellt. Databricks meddelade att init-skriptet som lagras i DBFS slutar fungera efter den 1 december 2023. Du kan åtgärda problemet genom att 1) använda globala init-skript i databricks följande https://learn.microsoft.com/azure/databricks/init-scripts/global 2) kommentera ut raden med init_scripts i ditt AzureML-databricks-steg.

cluster_log_dbfs_path
str
standardvärde: None

DBFS-sökvägen till den plats där klusterloggar måste levereras.

permit_cluster_restart
bool
standardvärde: None

Om existing_cluster_id anges anger den här parametern om klustret kan startas om för användarens räkning.

Metoder

validate

Verifiera den angivna informationen om Databricks-klustret.

Verifiera kontrollerar typerna av angivna parametrar samt om rätt kombination av parametrar tillhandahålls. Du måste till exempel antingen ange existing_cluster_id eller ange resten av klusterparametrarna. Mer information finns i definitionerna för konstruktorparametern.

validate

Verifiera den angivna informationen om Databricks-klustret.

Verifiera kontrollerar typerna av angivna parametrar samt om rätt kombination av parametrar tillhandahålls. Du måste till exempel antingen ange existing_cluster_id eller ange resten av klusterparametrarna. Mer information finns i definitionerna för konstruktorparametern.

validate()

Undantag

class:azureml.exceptions.UserErrorException