Share via

DatabricksCluster Klasse

  • Referenz

Definiert Databricks-Clusterinformationen für die Verwendung in einem DatabricksSection.

Initialisieren.

Vererbung
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Konstruktor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parameter

existing_cluster_id
str
Standardwert: None

Eine Cluster-ID eines vorhandenen interaktiven Clusters im Databricks-Arbeitsbereich. Wenn dieser Parameter angegeben wird, sollte keiner der anderen Parameter angegeben werden.

spark_version
str
Standardwert: None

Die Spark-Version für den Databricks-Ausführungscluster. Beispiel: "10.4.x-scala2.12".

node_type
str
Standardwert: None

Die Azure-VM-Knotentypen für den Databricks-Ausführungscluster. Beispiel: „Standard_D3_v2“.

instance_pool_id
str
Standardwert: None

Die Instanzpool-ID, an die der Cluster angefügt werden muss.

num_workers
int
Standardwert: None

Die Anzahl von Workern für einen Databricks-Ausführungscluster. Wenn dieser Parameter angegeben wird, sollten die Parameter min_workers und max_workers nicht angegeben werden.

min_workers
int
Standardwert: None

Die Mindestanzahl von Workern für einen automatisch skalierten Databricks-Cluster.

max_workers
int
Standardwert: None

Die Anzahl von Workern für einen automatisch skalierten Databricks-Ausführungscluster.

spark_env_variables
dict(<xref:{str:str}>)
Standardwert: None

Die Spark-Umgebungsvariablen für den Databricks-Ausführungscluster.

spark_conf
dict(<xref:{str:str}>)
Standardwert: None

Die Spark-Konfiguration für den Databricks-Ausführungscluster.

init_scripts
list[str]
Standardwert: None

Veraltet. Databricks hat angekündigt, dass das in DBFS gespeicherte Initskript nach dem 1. Dezember 2023 nicht mehr funktioniert. Um das Problem zu beheben, bitte 1) Verwenden Sie globale Initskripts in databricks, https://learn.microsoft.com/azure/databricks/init-scripts/global 2) kommentieren Sie die Zeile init_scripts in Ihrem AzureML databricks-Schritt aus.

cluster_log_dbfs_path
str
Standardwert: None

Der DBFS-Pfad, an den Clusterprotokolle übermittelt werden müssen.

permit_cluster_restart
bool
Standardwert: None

Wenn „existing_cluster_id“ angegeben ist, gibt dieser Parameter an, ob der Cluster im Namen des Benutzers neu gestartet werden kann.

Methoden

validate

Überprüfen der angegebenen Databricks-Clusterdetails.

„Validate“ validiert die Typen der bereitgestellten Parameter und überprüft, ob die richtige Kombination von Parametern bereitgestellt wurde. Sie müssen z. B. entweder die existing_cluster_id angeben oder die restlichen Clusterparameter angeben. Weitere Informationen finden Sie in den Konstruktorparameterdefinitionen.

validate

Überprüfen der angegebenen Databricks-Clusterdetails.

„Validate“ validiert die Typen der bereitgestellten Parameter und überprüft, ob die richtige Kombination von Parametern bereitgestellt wurde. Sie müssen z. B. entweder die existing_cluster_id angeben oder die restlichen Clusterparameter angeben. Weitere Informationen finden Sie in den Konstruktorparameterdefinitionen.

validate()

Ausnahmen

class:azureml.exceptions.UserErrorException