DatabricksCluster Clase

Define la información del clúster de Databricks para su uso en .DatabricksSection

Inicializar.

Constructor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parámetros

Nombre	Description
existing_cluster_id	str Identificador de clúster de un clúster interactivo existente en el área de trabajo de Databricks. Si se especifica este parámetro, no se debe especificar ninguno de los demás parámetros. Valor predeterminado: None
spark_version	str Versión de Spark para el clúster de ejecución de Databricks. Ejemplo: "10.4.x-scala2.12". Valor predeterminado: None
node_type	str Los tipos de nodo de máquina virtual de Azure para el clúster de ejecución de Databricks. Ejemplo: "Standard_D3_v2". Valor predeterminado: None
instance_pool_id	str Identificador del grupo de instancias al que debe asociarse el clúster. Valor predeterminado: None
num_workers	int Número de trabajos de un clúster de ejecución de Databricks. Si se especifica este parámetro, no se deben especificar los min_workers parámetros y max_workers . Valor predeterminado: None
min_workers	int El número mínimo de trabajos para un clúster de Databricks de escalabilidad automática. Valor predeterminado: None
max_workers	int Número de trabajos de un clúster de ejecución de Databricks de escalabilidad automática. Valor predeterminado: None
spark_env_variables	dict(<xref:{str:str}>) Las variables de entorno de Spark para el clúster de ejecución de Databricks. Valor predeterminado: None
spark_conf	dict(<xref:{str:str}>) Configuración de Spark para el clúster de ejecución de Databricks. Valor predeterminado: None
init_scripts	list[str] Obsolescente. Databricks anunció que el script de inicialización almacenado en DBFS dejará de funcionar después del 1 de dic de 2023. Para mitigar el problema, use scripts de inicialización globales en databricks después https://learn.microsoft.com/azure/databricks/init-scripts/global de 2) comentar la línea de init_scripts en el paso databricks de AzureML. Valor predeterminado: None
cluster_log_dbfs_path	str Ruta de acceso de DBFS a la que deben entregarse los registros de clústeres. Valor predeterminado: None
permit_cluster_restart	bool Si se especifica existing_cluster_id, este parámetro indica si se puede reiniciar el clúster en nombre del usuario. Valor predeterminado: None

Métodos

validate

Valide los detalles del clúster de Databricks especificados. Validar comprueba los tipos de parámetros proporcionados, así como si se proporciona la combinación correcta de parámetros. Por ejemplo, debe especificar o existing_cluster_id especificar el resto de los parámetros del clúster. Para obtener más información, consulte las definiciones de parámetros de constructor.

validate

Valide los detalles del clúster de Databricks especificados.

Validar comprueba los tipos de parámetros proporcionados, así como si se proporciona la combinación correcta de parámetros. Por ejemplo, debe especificar o existing_cluster_id especificar el resto de los parámetros del clúster. Para obtener más información, consulte las definiciones de parámetros de constructor.

validate()

Excepciones

Tipo	Description
class:azureml.exceptions.UserErrorException