Partager via

DatabricksCluster Classe

  • Référence

Définit des informations de cluster Databricks à utiliser dans un DatabricksSection.

Initialiser.

Héritage
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Constructeur

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Paramètres

Nom Description
existing_cluster_id
str

ID de cluster d’un cluster interactif existant dans l’espace de travail Databricks. Si ce paramètre est spécifié, aucun autre paramètre ne doit être spécifié.

Valeur par défaut: None
spark_version
str

Version de Spark pour le cluster d’exécution Databricks. Exemple : « 10.4.x-scala2.12 ».

Valeur par défaut: None
node_type
str

Types de nœuds de machine virtuelle Azure pour le cluster d’exécution Databricks. Exemple : « Standard_D3_v2 ».

Valeur par défaut: None
instance_pool_id
str

ID du pool d’instances auquel le cluster doit être joint.

Valeur par défaut: None
num_workers
int

Nombre de Workers pour un cluster d’exécution Databricks. Si ce paramètre est spécifié, les paramètres min_workers et max_workers ne doivent pas être spécifiés.

Valeur par défaut: None
min_workers
int

Nombre minimal de Workers pour un cluster Databricks mis à l’échelle automatiquement.

Valeur par défaut: None
max_workers
int

Nombre de Workers pour un cluster d’exécution Databricks mis à l’échelle automatiquement.

Valeur par défaut: None
spark_env_variables
dict(<xref:{str:str}>)

Variables d’environnement Spark pour le cluster d’exécution Databricks.

Valeur par défaut: None
spark_conf
dict(<xref:{str:str}>)

Configuration Spark pour le cluster d’exécution Databricks.

Valeur par défaut: None
init_scripts
list[str]

Action déconseillée. Databricks a annoncé que le script init stocké dans DBFS cessera de fonctionner après le 1er décembre 2023. Pour atténuer le problème, veuillez 1) utiliser des scripts init globaux dans databricks https://learn.microsoft.com/azure/databricks/init-scripts/global 2) commentez la ligne de init_scripts dans votre étape AzureML databricks.

Valeur par défaut: None
cluster_log_dbfs_path
str

Chemin d’accès DBFS à l’emplacement où les journaux des clusters doivent être remis.

Valeur par défaut: None
permit_cluster_restart
bool

Si existing_cluster_id est spécifié, ce paramètre indique si le cluster peut être redémarré pour le compte de l’utilisateur.

Valeur par défaut: None

Méthodes

validate

Validez les détails spécifiés du cluster Databricks.

La fonction « validate » vérifie les types de paramètres fournis et si la combinaison correcte de paramètres est fournie. Par exemple, vous devez spécifier existing_cluster_id ou spécifier le reste des paramètres de cluster. Pour plus d’informations, consultez les définitions de paramètres de constructeur.

validate

Validez les détails spécifiés du cluster Databricks.

La fonction « validate » vérifie les types de paramètres fournis et si la combinaison correcte de paramètres est fournie. Par exemple, vous devez spécifier existing_cluster_id ou spécifier le reste des paramètres de cluster. Pour plus d’informations, consultez les définitions de paramètres de constructeur.

validate()

Exceptions

Type Description
class:azureml.exceptions.UserErrorException