DatabricksCluster Classe

Define informações de cluster do Databricks para uso em um DatabricksSection.

Inicializar.

Construtor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parâmetros

Nome	Description
existing_cluster_id	str Uma ID de cluster de um cluster interativo existente no workspace do Databricks. Se esse parâmetro for especificado, nenhum dos outros parâmetros deverá ser especificado. Valor padrão: None
spark_version	str A versão do Spark para o cluster de execução do Databricks. Exemplo: "10.4.x-scala2.12". Valor padrão: None
node_type	str Os tipos de nó de VM do Azure para o cluster de execução do Databricks. Exemplo: "Standard_D3_v2". Valor padrão: None
instance_pool_id	str A ID do pool de instância à qual o cluster precisa ser anexado. Valor padrão: None
num_workers	int O número de trabalhos para um cluster de execução do Databricks. Se esse parâmetro for especificado, o parâmetro e min_workers os max_workers parâmetros não deverão ser especificados. Valor padrão: None
min_workers	int O número mínimo de trabalhadores para um cluster do Databricks dimensionado automaticamente. Valor padrão: None
max_workers	int O número de trabalhos para um cluster de execução do Databricks dimensionado automaticamente. Valor padrão: None
spark_env_variables	dict(<xref:{str:str}>) As variáveis de ambiente do Spark para o cluster de execução do Databricks. Valor padrão: None
spark_conf	dict(<xref:{str:str}>) A configuração do Spark para o cluster de execução do Databricks. Valor padrão: None
init_scripts	list[str] Preterido. O Databricks anunciou que o script de inicialização armazenado no DBFS interromperá o trabalho após 1º de dezembro de 2023. Para atenuar o problema, use scripts de inicialização globais no databricks após https://learn.microsoft.com/azure/databricks/init-scripts/global 2) comente a linha de init_scripts na etapa do databricks do AzureML. Valor padrão: None
cluster_log_dbfs_path	str O caminho DBFS para onde os logs de clusters precisam ser entregues. Valor padrão: None
permit_cluster_restart	bool se existing_cluster_id for especificado, esse parâmetro informará se o cluster pode ser reiniciado em nome do usuário. Valor padrão: None

Métodos

validate

Valide os detalhes especificados do cluster do Databricks. Valide verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros é fornecida. Por exemplo, você precisa especificar ou existing_cluster_id especificar o restante dos parâmetros de cluster. Para obter mais informações, consulte as definições de parâmetro do construtor.

validate

Valide os detalhes especificados do cluster do Databricks.

Valide verifica os tipos de parâmetros fornecidos, bem como se a combinação correta de parâmetros é fornecida. Por exemplo, você precisa especificar ou existing_cluster_id especificar o restante dos parâmetros de cluster. Para obter mais informações, consulte as definições de parâmetro do construtor.

validate()

Exceções

Tipo	Description
class:azureml.exceptions.UserErrorException