在 VNet 中配置专用资源连接

注释

Azure Databricks会在无服务器工作负载连接到客户资源时收取网络成本。 请参阅了解 Databricks 无服务器网络成本

本页介绍如何使用 Azure Databricks 帐户控制台,通过 Azure 负载均衡器配置从无服务器计算到虚拟网络(VNet)中的资源的 Private Link 连接。

与你的 VPC 中的资源建立专用连接。

为无服务器计算配置专用连接提供:

  • 专用且私密的连接:您的专用终结点专门关联到您的 Azure Databricks 帐户,确保对 VNet 资源的访问仅限于授权工作区。 这将创建一个安全的专用信道。
  • 增强数据外泄缓解措施: 尽管 Azure Databricks Serverless 配合 Unity Catalog 提供内置的数据外泄保护,Private Link 还提供了额外的网络防御层。 通过将 VNet 资源置于专用子网中并通过专用终结点控制访问,可以显著降低在受控网络环境外未经授权的数据移动的风险。

要求

  • 你的帐户和工作区必须位于高级计划中。
  • 你是Azure Databricks帐户的帐户管理员。
  • 至少有一个使用无服务器计算的工作区。 有关支持的区域,请参阅 无服务器可用性
  • 负载均衡器具有虚拟网络和子网,资源位于此子网中。
  • 每个 Azure Databricks 帐户每个区域最多可以有 10 个 NCC。
  • 每个区域可以有 100 个专用终结点,根据需要分布在 1-10 个 NCC 之间。
  • 每个 NCC 最多可连接到 50 个工作区。
  • VNet 中资源专用连接的每个专用终结点规则最多支持 10 个域名。
  • 不支持 DNS 追查和 DNS 重定向。 所有域名都必须直接解析为后端资源。

步骤 1:创建Azure负载均衡器

创建用作 VNet 资源的前端的Azure Load Balancer。 此负载均衡器链接到Private Link服务。

若要创建负载均衡器,请按照 Quickstart 中的说明操作:使用 Azure 门户创建内部负载均衡器对 VM 进行负载均衡。 完成以下内容:

  1. 创建负载均衡器资源。
  2. 添加前端 IP 配置: 这是Private Link服务的入口点。
  3. 添加后端池: 此池包含 VNet 资源的 IP 地址。
  4. 创建运行状况探测: 配置运行状况探测以监视后端资源的可用性。
  5. 添加负载均衡规则: 定义将传入流量分配到后端池的规则。

必须创建一个Private Link服务,以安全地向专用终结点公开负载均衡器。 请验证是否在与负载均衡器相同的区域内创建了 Private Link 服务。

有关说明,请参阅Azure文档:使用 Azure 门户创建Private Link服务

步骤 3:创建或使用现有的网络连接配置 (NCC) 对象

Azure Databricks中的 NCC 对象定义工作区的专用连接设置。 如果 NCC 已存在,请跳过此步骤。 创建 NCC 对象:

  1. 作为帐户管理员,请转到帐户控制台。
  2. 在边栏中,单击“ 安全性”。
  3. 单击 “网络连接配置”。
  4. 单击“ 添加网络配置”。
  5. 输入 NCC 的名称。
  6. 选择区域。 这必须与你的工作空间地区匹配。
  7. 单击 添加

步骤 4:创建专用终结点

此步骤将Private Link服务链接到Azure Databricks NCC。 要想创建专用终结点,请执行以下步骤:

  1. 帐户控制台中,单击“ 安全性”。
  2. 单击 “网络连接配置”。
  3. 选择在步骤 3 中创建的 NCC 对象。
  4. “专用终结点规则 ”选项卡中,单击“ 添加专用终结点规则”。
  5. Azure 资源 ID 字段中,粘贴Private Link服务的完整资源 ID。 在 Private Link 服务的 Overview 页上的 Azure 门户中查找此 ID。 示例 ID:/subscriptions/\<subscription-id\>/resourceGroups/\<resource-group-name\>/providers/Microsoft.Network/privateLinkServices/\<private-link-service-name\>
  6. 在“ 域名 ”字段中,添加 VNet 资源使用的自定义域名。 这些域名必须映射到负载均衡器后端池中的 IP 配置。
  7. 单击 添加
  8. 确认在新添加的专用终结点中,“状态”列显示为 PENDING

注释

添加为 Private Link 条目的域在网络策略中被隐式加入到白名单中。

步骤 5:接受你的资源中的专用终结点

在 Databricks 中创建专用终结点规则后,必须在 Azure 门户中批准连接请求。 批准连接:

  1. 从 Azure 门户导航到 Private Link center
  2. 选择 Private Link 服务
  3. 查找并选择与负载均衡器关联的Private Link服务。
  4. “设置”下的左侧栏中,选择 “专用终结点连接”。
  5. 选择待批准的专用终结点。
  6. 单击“ 批准 ”接受连接。
  7. 出现提示时选择“是”
  8. 审批后,连接状态将更改为 “已批准”。

连接可能需要 10 分钟才能完全建立。

步骤 6:确认专用终结点状态

验证是否已从Azure Databricks端成功建立专用终结点连接。 请确认连接:

  1. 刷新 Azure Databricks 帐户控制台中的 Network 连接配置页。
  2. “专用终结点规则”选项卡上,确认新专用终结点的“状态”列为ESTABLISHED

步骤 7:将 NCC 附加到一个或多个工作区

此步骤将配置的专用连接与Azure Databricks工作区相关联。 如果工作区已附加到所需的 NCC,请跳过此步骤。 将 NCC 附加到工作区:

  1. 在左侧导航中导航到 工作区
  2. 选择现有工作区。
  3. 选择 “更新工作区”。
  4. “网络连接配置”下,选择下拉列表,然后选择已创建的 NCC。
  5. 对所有想要应用此 NCC 的工作区重复这些操作。

注释

NCC 是区域性的对象,只能附加到同一区域内的工作区。

后续步骤

  • 配置与Azure资源的专用连接:使用Private Link建立对虚拟网络中Azure服务的安全隔离访问,绕过公共 Internet。 请参阅 配置Azure资源的专用连接
  • Manage 专用终结点规则:通过定义允许或拒绝连接的特定规则来控制Azure专用终结点的网络流量。 请参阅管理专用终结点
  • 为无服务器计算访问配置防火墙:实现防火墙,以限制和保护无服务器计算环境的入站和出站网络连接。 请参阅配置防火墙以获取无服务器计算访问(旧版)。
  • 了解数据传输和连接成本:数据传输和连接是指将数据移入和移出Azure Databricks无服务器环境。 无服务器产品的网络费用仅适用于使用Azure Databricks无服务器计算的客户。 请参阅了解 Databricks 无服务器网络成本