配置无服务器计算的专用连接

本文介绍如何使用 Azure Databricks 帐户控制台 UI 配置无服务器计算的专用连接。 也可以使用网络连接配置 API

如果将 Azure 资源配置为仅接受来自专用终结点的连接,则从经典 Databricks 计算资源到 Azure 资源的任何连接也需要使用专用终结点。

若要使用子网为无服务器计算访问配置 Azure 存储防火墙,请参阅为无服务器计算访问配置防火墙。 若要管理现有的专用终结点规则,请参阅管理专用终结点规则

注意

目前无服务器功能没有出站和入站数据处理费用。 在后续版本中,可能会收取此费用。 如果网络定价有更改,Azure Databricks 将提前通知。 每小时终结点费用仍然有效。

无服务器计算的专用连接概述

无服务器网络连接由网络连接配置 (NCC) 负责管理。 帐户管理员在帐户控制台中创建 NCC,支持将一个 NCC 附加到一个或多个工作区

当你在 NCC 中添加专用终结点时,Azure Databricks 会创建对你的 Azure 资源的专用终结点请求。 在资源端接受请求后,专用终结点会用于从无服务器计算平面访问资源。 该专用终结点专用于你的 Azure Databricks 帐户,并且仅供从授权工作区中访问。

NCC 专用终结点仅受无服务器 SQL 仓库支持。 无服务器计算平面中的其他计算资源不支持它们。

注意

只有你管理的数据源才支持 NCC 专用终结点。 若要连接到工作区存储帐户,请联系你的 Azure Databricks 帐户团队。

有关 NCC 的详细信息,请参阅什么是网络连接配置 (NCC)?

要求

  • 你的工作区必须采用高级计划
  • 你必须是 Azure Databricks 帐户管理员。
  • 每个 Azure Databricks 帐户每个区域最多可以有 10 个 NCC。
  • 每个区域可以有 100 个专用终结点,根据需要分布在 1-10 个 NCC 之间。
  • 每个 NCC 最多可附加至 50 个工作区。

步骤 1:创建网络连接配置

Databricks 建议在同一业务部门的工作区以及共享相同区域连接属性的工作区之间共享一个 NCC。 例如,如果某些工作区使用专用链接,而其他工作区使用防火墙启用,请对那些用例使用单独的 NCC。

  1. 作为帐户管理员,请转到帐户控制台
  2. 在边栏中,单击云资源
  3. 单击网络连接配置
  4. 单击“添加网络连接配置”。
  5. 键入 NCC 的名称。
  6. 选择区域。 这必须与工作区区域匹配。
  7. 单击“添加”。

步骤 2:将 NCC 附加到工作区

  1. 在帐户控制台边栏中,单击“工作区”
  2. 单击工作区名称。
  3. 单击“更新工作区”
  4. 网络连接配置字段中,选择你的 NCC。 如果该 NCC 不可见,请确认已为工作区和 NCC 选择了相同的 Azure 区域。
  5. 单击“更新” 。
  6. 等待 10 分钟,让更改生效。
  7. 重启该工作区中任何正在运行的无服务器 SQL 仓库。

步骤 3:创建专用终结点规则

必须在 NCC 中为每个 Azure 资源都创建一个专用终结点规则。

  1. 获取所有目标的 Azure 资源 ID 列表。

    1. 在另一个浏览器选项卡中,在 Azure 门户中导航到数据源的 Azure 存储帐户。
    2. 在其“概述”页上,查看“概要”部分。
    3. 单击“JSON 视图”链接。 存储帐户的资源 ID 显示在页面顶部。
    4. 将该资源 ID 复制到另一个位置。 对所有目标重复此操作。
  2. 切换回帐户控制台浏览器选项卡。

  3. 在边栏中,单击“云资源”

  4. 单击“网络连接配置”。

  5. 选择步骤 1 中创建的 NCC。

  6. 在“专用终结点规则”中,单击“添加专用终结点规则”

  7. “目标 Azure 资源 ID”字段中,粘贴资源的资源 ID。

  8. “Azure 子资源 ID”字段中,根据下面的表将其设置为子资源值。 每个专用终结点规则都必须使用不同的子资源 ID。

    目标类型 Azure 子资源 ID
    Blob 存储 blob
    ADLS 存储 dfs
    Azure SQL(若要将 Azure SQL 用作目标,必须使用网络连接 API 创建专用终结点规则) sqlServer
  9. 单击“添加” 。

  10. 等待几分钟,直到所有终结点规则的状态都变为 PENDING

步骤 4:批准资源上的新专用终结点

在具有资源权限的管理员批准新的专用终结点之前,终结点不会生效。 若要使用 Azure 门户批准专用终结点,请执行以下操作:

  1. 在 Azure 门户中导航到资源。

  2. 在边栏中,单击“网络”

  3. 单击“专用终结点连接”。

  4. 单击“专用访问”选项卡。

  5. “专用终结点连接”下,查看专用终结点的列表。

  6. 单击每个要批准的终结点旁边的复选框,然后单击列表上方的“批准”按钮。

  7. 返回到 Azure Databricks 中的 NCC 并刷新浏览器页面,直到所有终结点规则都具有 ESTABLISHED 状态。

    专用终结点列表

(可选)步骤 5:将存储帐户设置为禁止公用网络访问

如果尚未将 Azure 存储帐户的访问权限限制为仅允许列出的网络,可以选择执行此操作。

  1. 转到 Azure 门户。
  2. 导航到数据源的存储帐户。
  3. 在边栏中,单击“网络”
  4. 在“公用网络访问”字段中,检查该值。 默认情况下,该值为“允许从所有网络”。 将此值更改为“已禁用”

步骤 6:重启无服务器 SQL 仓库并测试连接

  1. 上一步完成后,需要再等待五分钟才能使更改生效。
  2. 重启 NCC 附加到的工作区中任何正在运行的无服务器 SQL 仓库。 如果没有正在运行的无服务器 SQL 仓库,请立即启动一个。
  3. 确认所有 SQL 仓库都已成功启动。
  4. 对数据源运行至少一个查询,以确认无服务器 SQL 仓库可以访问数据源。