什么是 Azure Databricks 池?

Azure Databricks 池是一组空闲的、随时可用的实例。 使用空闲实例创建群集节点后,可以减少群集启动和自动缩放的时间。 如果该池中没有空闲实例,则该池会通过从实例提供程序分配新的实例进行扩展,以满足群集的请求。

当群集释放了某个实例时,该实例将返回到池中,以供其他群集使用。 只有附加到池的群集才能使用该池的空闲实例。

当实例在池中处于空闲状态时,Azure Databricks 不会收取 DBU 费用, 这会产生实例提供程序费用。 请参阅定价

可以使用 UI 或通过调用实例池 API 来管理池。

创建池

若要创建池,你必须有创建池的权限。 默认情况下,只有工作区管理员具有池创建权限。 可以使用组 API 为组分配 allow-instance-pool-create 权利。

若要使用 UI 创建池,请执行以下操作:

  1. 单击边栏中的 compute icon“计算”
  2. 单击“池”选项卡。
  3. 单击“创建池”按钮。
  4. 指定池配置。
  5. 单击“创建” 按钮。

将群集附加到池

若要使用群集创建 UI 将群集附加到池,请在配置群集时从“驱动程序类型”或“工作器类型”下拉列表中选择池。 可用池将在每个下拉列表的顶部列出。 可为驱动程序节点和工作器节点使用相同的池,也可使用不同的池。

如果使用群集 API,则必须为驱动程序节点指定 driver_instance_pool_id,为工作器节点指定 instance_pool_id

有关池的更多最佳做法,请参阅池最佳做法

池权限

池有三个权限级别:无权限、可附加到、可管理。 该表列出了每个权限赋予用户的能力。

能力 无权限 可附加到 可管理
将群集附加到池 x x
删除池 x
编辑池 x
修改权限 x

工作区管理员对其工作区中的所有池具有“可管理”权限。 用户自动对其创建的池拥有“可管理”权限。

配置池权限

此部分介绍如何使用工作区 UI 来管理权限。 还可以使用权限 APIDatabricks Terraform 提供程序

必须对池具有“可管理”权限才能配置权限。

  1. 在边栏中,单击“计算”。

  2. 单击“池”选项卡。

  3. 选择要更新的池。

  4. 单击“权限”按钮

  5. 在“权限设置”中,单击“选择用户、组或服务主体...”下拉菜单,然后选择用户、组或服务主体

    Set pool permissions

  6. 从“权限”下拉菜单中选择权限。

  7. 单击“添加”,再单击“保存”。

删除池

删除池会终止池的空闲实例并删除其配置。 若要删除池,请单击“池”页上操作中的 Delete Icon图标。 若要删除池,请执行以下操作:

  • 附加到该池的正在运行的群集会继续运行,但是无法在重设大小或纵向扩展过程中分配实例。
  • 附加到该池的已终止群集将无法启动。

重要

不能撤消此操作。