DatabricksCompute 类

参考

在 Azure 机器学习中管理 Databricks 计算目标。

Azure Databricks 是 Azure 云中基于 Apache Spark 的环境。它可以用作 Azure 机器学习管道的计算目标。有关详细信息，请参阅什么是 Azure 机器学习中的计算目标？

类 ComputeTarget 构造函数。

检索与提供的工作区关联的 Compute 对象的云表示形式。返回与检索的 Compute 对象的特定类型对应的子类的实例。

继承: ComputeTarget

DatabricksCompute

构造函数

DatabricksCompute(workspace, name)

参数

名称	说明
workspace 必需	Workspace 包含要检索的 DatabricksCompute 对象的工作区对象。
name 必需	str 要检索的 DatabricksCompute 对象的名称。
workspace 必需	Workspace 包含要检索的 Compute 对象的工作区对象。
name 必需	str 要检索的 Compute 对象的的名称。

注解

以下示例展示如何将 Azure Databricks 附加为计算目标。


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

完整示例可从 https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb 获取

方法

attach	已弃用。请改用 `attach_configuration` 方法。将现有的 Databricks 计算资源与提供的工作区关联。
attach_configuration	创建用于附加 Databricks 计算目标的配置对象。
delete	DatabricksCompute 对象不支持删除操作。请改用 detach。
deserialize	将 JSON 对象转换为 DatabricksCompute 对象。
detach	将 Databricks 对象与其关联的工作区分离。不会删除基础云对象，只会删除其关联。
get_credentials	检索 Databricks 目标的凭据。
refresh_state	执行对象属性的就地更新。此方法根据相应云对象的当前状态更新属性。这主要用于计算状态的手动轮询。
serialize	将此 DatabricksCompute 对象转换为 JSON 序列化字典。

attach

已弃用。请改用 attach_configuration 方法。

将现有的 Databricks 计算资源与提供的工作区关联。

static attach(workspace, name, resource_id, access_token)

参数

名称	说明
workspace 必需	Workspace 要与计算资源关联的工作区对象。
name 必需	str 要与提供的工作区中的计算资源关联的名称。无需与要附加的计算资源的名称匹配。
resource_id 必需	str 要附加的计算资源的 Azure 资源 ID。
access_token 必需	str 要附加的资源的访问令牌。

类型	说明
DatabricksCompute	计算对象的 DatabricksCompute 对象表示形式。

例外

类型	说明
ComputeTargetException

attach_configuration

创建用于附加 Databricks 计算目标的配置对象。

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

参数

名称	说明
resource_group	str Databricks 所在的资源组的名称。默认值: None
workspace_name	str Databricks 工作区名称。默认值: None
resource_id	str 要附加的计算资源的 Azure 资源 ID。默认值: None
access_token 必需	str 要附加的计算资源的访问令牌。

类型	说明
DatabricksAttachConfiguration	要在附加计算对象时使用的配置对象。

例外

类型	说明
ComputeTargetException

delete

DatabricksCompute 对象不支持删除操作。请改用 detach。

delete()

例外

类型	说明
ComputeTargetException

deserialize

将 JSON 对象转换为 DatabricksCompute 对象。

static deserialize(workspace, object_dict)

参数

名称	说明
workspace 必需	Workspace DatabricksCompute 对象关联的工作区对象。
object_dict 必需	dict 要转换为 DatabricksCompute 对象的 JSON 对象。

类型	说明
DatabricksCompute	提供的 JSON 对象的 DatabricksCompute 表示形式。

例外

类型	说明
ComputeTargetException

注解

如果提供的工作区不是与计算关联的工作区，则引发 ComputeTargetException。

detach

将 Databricks 对象与其关联的工作区分离。

不会删除基础云对象，只会删除其关联。

detach()

例外

类型	说明
ComputeTargetException

get_credentials

检索 Databricks 目标的凭据。

get_credentials()

类型	说明
dict	Databricks 目标的凭据。

例外

类型	说明
ComputeTargetException

refresh_state

执行对象属性的就地更新。

此方法根据相应云对象的当前状态更新属性。这主要用于计算状态的手动轮询。

refresh_state()

例外

类型	说明
ComputeTargetException

serialize

将此 DatabricksCompute 对象转换为 JSON 序列化字典。

serialize()

类型	说明
dict	此 DatabricksCompute 对象的 JSON 表示形式。

例外

类型	说明
ComputeTargetException

通过