DatabricksCluster 類別

  • 參考

定義 Databricks 叢集資訊以用於 DatabricksSection 。

初始 化。

繼承
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

建構函式

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

參數

existing_cluster_id
str
預設值: None

Databricks 工作區上現有互動式叢集的叢集識別碼。 如果指定此參數，則不應該指定其他任何參數。

spark_version
str
預設值: None

Databricks 執行叢集的 Spark 版本。 範例：「10.4.x-scala2.12」。

node_type
str
預設值: None

Databricks 執行叢集的 Azure VM 節點類型。 範例：「Standard_D3_v2」。

instance_pool_id
str
預設值: None

叢集必須連結至的實例集區識別碼。

num_workers
int
預設值: None

Databricks 執行叢集的背景工作角色數目。 如果指定此參數， min_workers 則不應該指定 和 max_workers 參數。

min_workers
int
預設值: None

自動調整 Databricks 叢集的背景工作角色數目下限。

max_workers
int
預設值: None

自動調整 Databricks 執行叢集的背景工作角色數目。

spark_env_variables
dict(<xref:{str:str}>)
預設值: None

Databricks 執行叢集的 Spark 環境變數。

spark_conf
dict(<xref:{str:str}>)
預設值: None

Databricks 執行的叢集的 Spark 組態。

init_scripts
list[str]
預設值: None

已取代。 Databricks 宣佈儲存在 DBFS 中的 init 腳本將在 2023 年 12 月 1 日後停止運作。 若要減輕此問題，請 1) 在 databricks 中使用全域 init 腳本，下列 https://learn.microsoft.com/azure/databricks/init-scripts/global 2) 批註化 AzureML databricks 步驟中的init_scripts行。

cluster_log_dbfs_path
str
預設值: None

需要傳遞叢集記錄的 DBFS 路徑。

permit_cluster_restart
bool
預設值: None

如果指定existing_cluster_id，此參數會指出是否可以代表使用者重新開機叢集。

方法

validate

驗證指定的 Databricks 叢集詳細資料。

驗證會檢查提供的參數類型，以及是否提供正確的參數組合。 例如，您必須指定 existing_cluster_id 或指定叢集參數的其餘部分。 如需詳細資訊，請參閱建構函式參數定義。

validate

驗證指定的 Databricks 叢集詳細資料。

驗證會檢查提供的參數類型，以及是否提供正確的參數組合。 例如，您必須指定 existing_cluster_id 或指定叢集參數的其餘部分。 如需詳細資訊，請參閱建構函式參數定義。

validate()

例外狀況

class:azureml.exceptions.UserErrorException