为性能密集型服务配置入站“专用链接”

重要

此功能目前以公共预览版提供。

本页演示如何在 Azure Databricks 平台上配置与性能密集型服务的入站连接专用链接。 此专用连接允许外部客户端和用户访问 Azure Databricks 平台上的服务，例如 Zerobus Ingest 和 Lakebase 自动缩放。

优点

  • 增强安全性：网络与 Databricks 服务之间的流量仍保留在Azure网络基础结构中。
  • 访问高性能服务：通过专用连接访问 Zerobus Ingest 和 Lakebase 自动扩缩容等服务。
  • 符合性要求：满足强制进行专用网络连接的法规要求。
  • 成本效益：专用链接成本低于公共连接选项，例如 NAT 网关。

Azure Databricks 会对与连接到性能密集型服务的入站专用链接连接相关的某些网络费用进行计费。 有关详细信息，请参阅 了解 Databricks 网络成本。

要求

  • Azure Databricks帐户必须位于高级层。
  • 必须为帐户上的 性能密集型服务 公共预览版功能启用专用连接。 可以从帐户控制台自行注册。 如果未启用此功能，专用终结点不会显示在帐户控制台中。
  • 必须是Azure Databricks帐户管理员才能注册专用终结点。
  • 必须在Azure中具有网络参与者或等效权限才能创建专用终结点。

设置专用终结点

创建专用终结点

此步骤在 Azure 门户中创建专用终结点，该终结点连接到 Azure Databricks 上的性能密集型服务。

准备 VNet 和子网

  1. 准备 VNet 和子网以托管专用终结点。 可以创建新的 VNet 或重复使用现有 VNet（例如工作区 VNet）。

    注释

    入站专用终结点可以部署在与工作区不同的 VNet 中（例如，中转 VNet）。 VNet 约束仅适用于后端专用终结点。

  2. 为子网配置 专用终结点网络策略 ：

    • 建议（默认值）： 已禁用。 这是默认设置和Azure Databricks测试和支持的配置。
    • 替代项（客户管理的）： NetworkSecurityGroup 或 RouteTable。 启用策略也适用于将Azure 虚拟 WAN与 ExpressRoute 配合使用的网络，其中禁用策略可能会导致非对称路由。 如果您启用此策略，您有责任确保您的网络安全组和路由表规则允许流量访问 Service Direct 专用终结点。 Azure Databricks不支持由自定义网络安全组或子网上的路由表规则导致的连接或性能问题。

    有关详细信息，请参阅 管理专用终结点的网络策略 。

  3. 如果重复使用现有工作区 VNet，则必须使用或创建与工作区使用的不同子网。

    注释

    性能密集型服务的专用终结点可以放置在与现有入站专用终结点相同的子网中。 “不同子网”要求仅适用于工作区的计算注入子网。

  4. 如果托管专用终结点的 VNet 与发送流量的 VNet 不同，请配置 VNet 对等互连或其他连接方式。 请参阅 “验证 VNet 连接”。

部署专用终结点

  1. 在 Azure 门户中，在 Microsoft 市场中搜索 Private 终结点，然后选择创建。
  2. 输入名称和网络接口名称，并将区域设置为与工作区 VNet 区域匹配。
  3. 单击“ 下一步：资源”。
  4. 按资源 ID 或别名选择 连接Azure资源。
  5. 在 资源 ID 或别名字段中，输入区域性能密集型服务的专用链接服务资源 ID。 有关性能密集型服务和常规访问的资源 ID 列表，请参阅专用链接 服务资源 ID。
  6. 在 “目标”子资源 字段中，输入 service_direct。
  7. 单击 Next： 虚拟网络。
  8. 选择在 “准备 VNet 和子网 ”部分准备的虚拟网络和子网。
  9. 单击“ 下一步：DNS”。
  10. 将 “与专用 DNS 区域集成 ”设置为 “否”。 在后面的步骤中手动配置 DNS。
  11. 单击“ 下一步：标记”。
  12. 单击“下一步: 查看 + 创建”。
  13. 查看配置，然后单击“ 创建 ”以部署专用终结点。
  14. 部署完成后，记录以下值：
    • 专用终结点名称：专用终结点的名称。
    • 资源 GUID：转到专用终结点资源，单击 JSON 视图，然后在 properties.resourceGuid 中找到该值。 注册专用终结点时，这是必需的。
    • 专用 IP 地址：在 JSON 视图中，在 properties.customDnsConfigs[0].ipAddresses[0] 中查找 IP 地址。 配置 DNS 时，这是必需的。

部署后，专用终结点连接状态显示为 挂起。 这是预期的。 该终结点在您注册专用终结点之前将一直处于 待定 状态。

注册专用终结点

在 Azure 门户中创建专用终结点后，请将其注册到Azure Databricks。

  1. 转到Azure Databricks帐户控制台。
  2. 在边栏中，单击“ 安全>网络>终结点>注册终结点”。

通过上下文输入，允许将你的私有端点列入工作区

重要

通过基于上下文的入口进行工作区私密访问的功能目前处于 Beta 阶段。

  1. 在帐户控制台中，单击侧边栏中的 安全。
  2. 单击侧栏中 基于上下文的入口和出口控件 。
  3. 在 工作区级别的策略中，点击 “新工作区策略”。
  4. 在 “入口 > 专用网络访问”中，定义你的专用访问策略。
    1. 默认情况下，所有注册端点都被允许： 允许所有私有端点访问。 如果可以接受，就进入下一步。 该默认限制仅包含前 200 个已注册的私有终结点；如果您的策略需要更多，请联系您的客户团队申请提高该限制。
    2. 如果你想允许特定注册端点，同时拒绝所有其他端点，取消勾选 “允许所有私有端点访问 ”，并添加允许规则。
      1. 选择你想允许访问的身份和工作区目的地（默认情况下，所有身份和目的地都被允许）。
      2. 然后选择源类型 = 已选定私有端点，并选择你注册的Service Direct私有端点。 该私有端点的区域必须与你工作区的区域相匹配。 Service Direct 端点只能服务同一区域内的工作区。
      3. 单击“确认”。
      4. 你也可以在政策中添加 拒绝规则 ，定义允许规则的例外情况。
  5. 配置完成私有访问策略后，也可以在 Ingress > 公共网络访问中配置公共访问策略。 你可以取消勾选“ 允许所有公共IP访问”来禁用所有公共IP访问。 Azure Databricks 建议在测试 DNS 配置时保持公共访问处于启用状态，然后在 DNS 配置最终确定后将其禁用，以强制实施仅限专用连接的访问。
  6. 先在“干运行”模式下测试入口策略，然后再将其切换到“强制”。 试运行模式下的访问拒绝事件会记录到 system.access.inbound_network 系统表中，但不会阻止访问。
  7. 确保你的 逃生 政策正确。
  8. 将你的网络策略绑定到你的工作区。
  9. 保存你的网络政策。 基于上下文的入口策略更新需要 10 分钟才能生效。

配置 DNS

在你的私有终结点完成注册并被加入允许列表后，配置 DNS，使流量使用 privatelink.azuredatabricks.net 域名通过私有终结点进行路由。

  • Databricks 建议使用包含区域和用途的命名约定，例如 PE westus2 for inbound private link。
  1. 创建名为 privatelink.azuredatabricks.net 的Azure专用 DNS 区域。
  2. 将专用 DNS 区域链接到托管您专用终结点的虚拟网络 (VNet)。 请参阅 链接虚拟网络。

创建 DNS A 记录

  1. 转到 privatelink.azuredatabricks.net 专用 DNS 区域。
  2. 选择 DNS 管理下的 “记录集 ”选项卡。
  3. 单击“ 添加” 以添加记录集。
  4. 配置 A 记录：
    • Name：<region>.service-direct（将 <region> 替换为Azure区域，例如westus2.service-direct）
    • 类型：A
    • IP 地址：专用终结点中的专用 IP 地址（创建专用终结点时记录）
  5. 单击“ 确定 ”保存记录。

验证 DNS 解析

从你 VNet 中的计算机或附加在你专用 DNS 区域的工作区作业，确认 DNS 查询解析为专用终结点 IP：

nslookup westus2.service-direct.privatelink.azuredatabricks.net

或者使用dig：

dig westus2.service-direct.privatelink.azuredatabricks.net

这两个命令都返回专用终结点的专用 IP 地址。

验证 VNet 连接

如果生成流量的 VNet 不同于托管专用终结点的 VNet，配置 VNet 对等互连或它们之间的连接。 有关详细信息，请参阅 Azure 专用终结点 DNS 集成方案。

在 Azure 门户中禁用公共访问（可选）

Azure Databricks 建议使用基于上下文的入口控制来禁用对工作区的公共访问，如 使用基于上下文的入口控制将专用终结点添加到工作区允许列表 中所述。 不过，你也可以在 Azure 门户中禁用公开访问。 完成专用链接设置不会自动阻止对工作区的公共 Internet 访问。 公共和专用访问是独立的设置。 若要强制实施仅限专用的连接，请禁用公共网络访问：

  1. 在Azure门户中，转到Azure Databricks工作区资源。
  2. 在“设置”下，将“允许公用网络访问”设置为“禁用”。

局限性

  • 每个帐户在每个区域限于 5 个用于性能密集型服务的专用终结点，每个帐户限于 100 个。 请联系您的Azure Databricks帐户团队，申请增加配额。

其他资源

  • Last updated on