Azure 专用链接在 Azure Databricks 资源与 Azure 服务和无服务器资源之间建立专用的安全连接,确保网络流量不会公开到公共 Internet。
Azure Databricks 支持三种类型的专用链接连接:
- 入站(前端):保护从用户到工作区的连接
- 出站(无服务器):保护从 Azure Databricks 无服务器计算到 Azure 资源的连接
- 经典(后端):保护从经典计算到控制平面的连接
专用连接概述
Azure 专用链接可实现从 Azure VNet 和本地网络到 Azure 服务的安全专用连接,确保流量与公共 Internet 保持隔离。 此功能可帮助组织满足安全性和合规性要求。 它支持端到端专用网络,并最大限度地减少数据外泄的风险。
可以独立或组合启用入站(前端)、出站(无服务器)或经典计算(后端)专用链接连接。 正确的选择取决于安全性和符合性要求。 还可以强制实施工作区的专用连接,从而导致 Azure Databricks 自动拒绝所有公共网络连接。 这种组合方法提供全面的网络隔离、减少攻击面和支持敏感工作负载的合规性。
使用专用链接,可以:
- 使用 Azure Databricks Web 应用程序或 API 时,阻止来自未经授权的网络或公共 Internet 的数据访问。
- 通过仅限制网络暴露到批准的专用终结点,降低数据外泄的风险。
选择正确的专用链接实现
使用本指南确定最适合你的需求的实现。
| 注意事项 | 仅入站(前端) | 仅出站(无服务器) | 仅限经典计算平台(后端) | 完全专用隔离 |
|---|---|---|---|---|
| 主要安全目标 | 只有经过授权的个人才能访问我的 Azure Databricks 资源。 | 在无服务器架构中实现数据访问安全 | 锁定经典计算平面 | 最大隔离(保护所有内容) |
| 用户连接 | 私人或公共 | 公共(互联网) | 公共(互联网) | 仅限专用 |
| 无服务器数据访问 | 公共(互联网) | 专用(客户资源) | 公共(互联网) | 专用(专属于客户的资源) |
| 群集与控制平面的连接 | 公共(标准安全路径) | 公共(标准安全路径) | 私密(必需) | 私密(必需) |
| 先决条件 | 高级计划、VNet 注入、SCC | 高级计划 | 高级计划、VNet 注入、SCC | 高级计划、VNet 注入、SCC |
| 工作区网络访问设置 | 已启用公共访问 | 无需更改 | 已启用公共访问 | 已禁用公共访问 |
| 所需的 NSG 规则 | 所有规则 | 不适用 | NoAzureDatabricksRules | NoAzureDatabricksRules |
| 所需的专用终结点 | 前端(databricks_ui_api),浏览器身份验证 | NCC 专用终结点 | 后端(databricks_ui_api) | 全部(前端、后端、浏览器身份验证、NCC) |
| 相对成本 | 每个终结点的成本和数据传输 | 每个终结点和处理的数据的成本 | 每个终结点的成本和数据传输 | 成本可能更高(所有终结点,包括数据传输和处理) |
入站连接(前端)
入站专用链接保护从用户到 Azure Databricks 工作区的连接。 流量通过中继 VNet 中的专用终结点而不是公共 IP 进行路由。 入站专用链接网络连接提供安全访问:
- Azure Databricks Web 应用程序
- REST API
- Databricks Connect API
请参阅 配置前端专用连接。
基于浏览器的 SSO 的 Web 身份验证
基于浏览器的 SSO 的 Web 身份验证
使用专用链接进行前端访问时,需要专门的browser_authentication终结点来使单点登录(SSO)能够通过专用连接进行网页浏览器登录。 它安全地处理来自 Microsoft Entra ID 的单点登录(SSO)身份验证回调,否则这些回调将在专用网络上被阻止。 此过程不会影响 REST API 身份验证。
-
部署规则:每个 Azure 区域和专用 DNS 区域只能存在一个
browser_authentication终结点。 此单一终结点为共享相同 DNS 配置的区域中的所有工作区提供服务。 - 生产最佳做法:若要防止中断,请在每个生产区域中创建专用的“专用 Web 身份验证工作区”。 其唯一目的是托管此关键终结点。 为此工作区禁用“公用网络访问”,并验证没有为其创建其他前端专用终结点。 如果删除此主机工作区,则该区域中所有其他工作区的 Web 登录失败。
- 替代配置:对于更简单的部署,可以在现有工作区上托管终结点,而不是创建专用工作区。 这适用于非生产环境,或者如果你确信区域中只有一个工作区。 但是,请注意,删除主机工作区会立即中断依赖于主机工作区的任何其他工作区的身份验证。
出站连接(无服务器)
出站专用链接支持 Azure Databricks 的无服务器计算资源与 Azure 资源进行专用连接。 与入站和经典计算平面专用链接(用于保护与 Azure Databricks 的连接)不同,出站专用链接可保护无服务器计算到客户资源的连接。
无服务器专用链接使用网络连接配置(NCC),这些配置是帐户级区域构造,用于大规模管理专用终结点创建。 NCC 可以附加到同一区域的多个不同的工作区。
与 Azure 资源的专用连接
与 Azure 资源的专用连接
允许无服务器计算通过专用终结点访问 Azure 存储和 Azure SQL 等 Azure 资源,而无需遍历公共 Internet。 数据流量完全留存在 Azure 网络内。
请参阅 配置与 Azure 资源的专用连接。
与 VNet 资源的专用连接
与 VNet 资源的专用连接
使无服务器计算能够通过 Azure 负载均衡器通过专用终结点访问 VNet 中的资源,例如数据库和内部服务。
请参阅 配置 VNet 中资源的专用连接。
出站连接的关键概念
出站连接的关键概念
- 网络连接配置(NCC):用于管理专用终结点的帐户级区域构造,并控制无服务器计算如何访问客户资源。
- 专用终结点规则:定义无服务器计算可以私下访问的特定资源。
- 工作区附件模型:NCC 可以附加到同一区域内最多 50 个工作区。
-
限制和配额:
- 每个帐户每个区域最多 10 个 NCC
- 每个区域有 100 个专用终结点(分布在 NCC 之间)
- 每个 NCC 最多 50 个工作区
经典计算平台私有连接
经典计算平面专用链接保护从 Azure Databricks 群集到控制平面的连接。 群集连接到用于 REST API 的控制平面,并通过安全连接中继实现群集连接的安全性。
经典计算平面专用链接地址:
- 符合性要求:帮助满足严格的法规和公司合规性要求,这些要求所有内部云流量都保留在专用网络上。
- 网络外围强化:将经典计算平面专用链接与 Azure 服务的专用终结点一起实现,可限制网络公开。 这可以降低数据外泄风险,方法是确保数据处理群集在公共 Internet 上没有未经授权的服务或目标的路径。
请参阅 配置后端专用连接。
注释
可以独立设置经典计算平面专用连接。 它不需要入站或无服务器连接。
用于专用连接的虚拟网络
专用连接使用两个不同的虚拟网络(VNet)。
- 传输 VNet:此 VNet 充当用户连接的中心中心,包含客户端访问工作区和基于浏览器的 SSO 身份验证所需的入站专用终结点。
- 工作区 VNet:这是专门为托管 Azure Databricks 工作区和经典专用终结点而创建的 VNet。
子网分配和大小调整
在每个 VNet 中规划子网以支持专用连接和部署。
中转 VNet 子网:
- 专用终结点子网:为所有入站专用终结点分配 IP 地址。
- 浏览器身份验证工作区子网:建议使用两个专用子网(一个主机或公共子网和一个容器或专用子网)来部署浏览器身份验证工作区。
工作区 VNet 子网:
- 工作区子网:Azure Databricks 工作区部署本身需要两个子网(一个主机或公共子网和一个容器或专用子网)。 有关工作区子网的大小调整信息,请参阅 地址空间指南。
- 经典专用终结点子网:为经典计算平面专用连接托管专用终结点需要额外的子网。
大小取决于你的单个实现需求,但你可以使用以下指南:
| VNet | 子网用途 | 建议的 CIDR 范围 |
|---|---|---|
| 交通 | 专用终结点子网 | /26 to /25 |
| 交通 | 浏览器身份验证工作区 |
/28 或 /27 |
| Workspace | 经典专用终结点子网 | /27 |
Azure Databricks 专用终结点
Azure Databricks 使用两种不同类型的专用终结点来私有化流量。 了解其不同的角色以正确实现它们。
-
工作区终结点 (
databricks_ui_api):这是用于保护传入和传出工作区的流量的主要专用终结点。 它处理入站和经典计算平面专用链接的 REST API 调用。 -
Web 身份验证终结点(
browser_authentication):这是一个专用的附加终结点,仅用于在专用连接上通过 Web 浏览器实现单点登录(SSO)。 入站连接和端到端连接是必需的。
对于专用终结点,请注意以下事项:
- 共享终结点:专用终结点可以在使用同一工作区 VNet 的多个工作区之间共享,因为它们是 VNet 级资源。 一组专用终结点可以为该 VNet 和区域中部署的所有工作区提供服务。
- 特定于区域:专用终结点是特定于区域的资源。 不同区域中的工作区需要单独的专用终结点配置。
关键注意事项
在配置专用连接之前,请记住以下几点:
- 如果在专用终结点启用了网络安全组策略,必须在部署专用终结点的子网上的网络安全组中允许端口 443、6666、3306 和 8443-8451 的入站安全规则。
- 若要在网络与其服务之间创建连接,可能需要将 Azure 门户 URL 添加到允许列表。 请参阅在防火墙或代理服务器上允许 Azure 门户 URL。