DatabricksCluster Clase

Define la información del clúster de Databricks para su uso en DatabricksSection.

Inicializar.

Herencia

azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement

DatabricksCluster

Constructor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parámetros

Nombre	Description
existing_cluster_id	str Id. de un clúster interactivo existente en el área de trabajo de Databricks. Si se especifica este parámetro, no se debe especificar ninguno de los demás parámetros. Valor predeterminado: None
spark_version	str La versión de Spark para el clúster de ejecución de Databricks. Ejemplo: "10.4.x-scala2.12". Valor predeterminado: None
node_type	str Los tipos de nodo de máquina virtual de Azure para el clúster de ejecución de Databricks. Example: "Standard_D3_v2". Valor predeterminado: None
instance_pool_id	str Identificador del grupo de instancias al que se debe asociar el clúster. Valor predeterminado: None
num_workers	int El número de trabajos para un clúster de ejecución de Databricks. Si se especifica este parámetro, no se deben especificar los parámetros min_workers y max_workers. Valor predeterminado: None
min_workers	int Número mínimo de trabajos para un clúster de Databricks con escalabilidad automática. Valor predeterminado: None
max_workers	int Número de trabajos para un clúster de ejecución de Databricks con escalabilidad automática. Valor predeterminado: None
spark_env_variables	dict(<xref:{str:str}>) Las variables de entorno de Spark para el clúster de ejecución de Databricks. Valor predeterminado: None
spark_conf	dict(<xref:{str:str}>) La configuración de Spark para el clúster de ejecución de Databricks. Valor predeterminado: None
init_scripts	list[str] Desusado. Databricks anunció que el script de inicialización almacenado en DBFS dejará de funcionar después del 1 de dic de 2023. Para mitigar el problema, use scripts de inicialización globales en databricks después https://learn.microsoft.com/azure/databricks/init-scripts/global de 2) convierta en comentario la línea de init_scripts en el paso de Databricks de AzureML. Valor predeterminado: None
cluster_log_dbfs_path	str Ruta de acceso de DBFS a donde deben entregarse los registros de clústeres. Valor predeterminado: None
permit_cluster_restart	bool Si se especifica existing_cluster_id, este parámetro indica si el clúster se puede reiniciar en nombre del usuario. Valor predeterminado: None

Métodos

validate

Valida los detalles del clúster de Databricks especificados. Se validan las comprobaciones de los tipos de parámetros proporcionados, así como si se proporciona la combinación correcta de parámetros. Por ejemplo, debe especificar existing_cluster_id o especificar el resto de los parámetros del clúster. Para más información, vea las definiciones de parámetros de constructor.

validate

Valida los detalles del clúster de Databricks especificados.

Se validan las comprobaciones de los tipos de parámetros proporcionados, así como si se proporciona la combinación correcta de parámetros. Por ejemplo, debe especificar existing_cluster_id o especificar el resto de los parámetros del clúster. Para más información, vea las definiciones de parámetros de constructor.

validate()

Excepciones

Tipo	Description
class:azureml.exceptions.UserErrorException