Azure Databricks的用户定义路由设置

如果 Azure Databricks 工作区部署到您自己的虚拟网络(VNet),则可以使用自定义路由,也称为用户定义的路由(UDR),以确保网络流量为您的工作区正确路由。 例如,如果将虚拟网络连接到本地网络,则流量可能通过本地网络路由,并且无法访问Azure Databricks控制平面。 用户定义路由可以解决该问题。

对于 VNet 的每种出站连接,你都需要一个 UDR。 可以使用Azure服务标记和 IP 地址来定义用户定义的路由上的网络访问控制。 Databricks 建议使用Azure服务标记来防止由于 IP 更改而导致服务中断。

配置具有Azure服务标记的用户定义路由

Databricks 建议使用 Azure 服务标记,它表示给定Azure服务中的一组 IP 地址前缀。 Microsoft管理服务标记包含的地址前缀,并在地址更改时自动更新服务标记。 这有助于防止由于 IP 更改而导致的服务中断,并不需要定期查找这些 IP 并在路由表中更新它们。 但是,如果组织策略不允许服务标记,可以选择 将路由指定为 IP 地址

使用服务标记时,用户定义的路由应使用以下规则,并将路由表关联到虚拟网络的公共子网和专用子网。

地址前缀 下一跳类型
默认 AzureDatabricks Internet
默认 Storage Internet
默认 EventHub Internet

注意

可以选择添加 Microsoft Entra ID 服务标记,以便简化从 Azure Databricks 群集到 Azure 资源的 Microsoft Entra ID 身份验证过程。

如果在工作区上启用了 Azure 专用链接,则不需要Azure Databricks服务标记。

Azure Databricks服务标记表示与Azure Databricks控制平面、安全群集连接(SCC)和Azure Databricks Web 应用程序的所需出站连接的 IP 地址。 您还必须在网络安全组中为出站流量打开端口 3306,以允许连接到旧版 Hive 元数据存储。

Azure 存储服务标记表示工件 Blob 存储和日志 Blob 存储的 IP 地址。 Azure 事件中心 服务标记表示与 Azure 事件中心日志记录相关所需的出站连接。

某些服务标记可以通过将 IP 范围限制为指定的区域,来实现更精细的控制。 例如,美国西部区域中Azure Databricks工作区的路由表可能如下所示:

名称 地址前缀 下一跳类型
adb-servicetag AzureDatabricks Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

重要

如果使用区域范围的服务标记,请注意,某些区域终结点可能位于与主存储终结点不同的Azure区域中。 例如,日本东部的工作区其辅助工件存储位于日本西部。 在这种情况下,还必须为次要区域添加服务标记。 若要查看工作区区域的 FQDN,请参阅 元存储、项目 Blob 存储、系统表存储、日志 Blob 存储和事件中心终结点 IP 地址

若要获取用户定义的路由所需的服务标记,请参阅 虚拟网络服务标记

使用 IP 地址配置用户定义路由

Databricks 建议使用 Azure 服务标记,但如果组织策略不允许服务标记,则可以使用 IP 地址在用户定义的路由上定义网络访问控制。

详细信息取决于是否为工作区启用了安全群集连接 (SCC)

  • 如果为工作区启用了安全群集连接,则你需要一个 UDR 来允许群集连接到控制平面中的安全群集连接中继。 请务必为你的区域包括标记为“SCC 中继 IP”的系统。
  • 如果为工作区禁用了安全群集连接,则存在来自控制平面 NAT 的入站连接,但从技术上讲,该连接的低层 TCP SYN-ACK 是需要 UDR 的出站数据。 请务必为你的区域包括标记为“控制平面 NAT IP”的系统。

用户定义的路由应使用以下规则并将路由表关联到虚拟网络的公共子网和专用子网。

地址前缀 下一跳类型
默认 控制面 NAT IP(如果禁用了 SCC 功能) Internet
默认 SCC 中继 IP(如果启用了 SCC) Internet
默认 网络应用IP地址 Internet
默认 元存储 IP Internet
默认 工件 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 工作区存储 IP - Blob 存储终结点 Internet
默认 工作区存储 IP - ADLS (dfs) 端点 Internet
默认 事件中心 IP Internet

如果在工作区上启用了 Azure 专用链接,则用户定义的路由应使用以下规则并将路由表关联到虚拟网络的公共和专用子网。

地址前缀 下一跳类型
默认 元存储 IP Internet
默认 工件 Blob 存储 IP Internet
默认 日志 Blob 存储 IP Internet
默认 事件中心 IP Internet

若要获取用户定义的路由所需的 IP 地址,请使用 Azure Databricks 区域中的表和说明,具体如下: