共用方式為


在 Azure 虛擬網路中部署 Azure Databricks (VNet 插入)

在 Azure VNet 中部署 Azure Databricks,以啟用網路自訂、保護 Azure 服務和內部部署資料來源的連線能力,以及流量檢查功能。

為什麼要使用 VNet 注入

VNet 注入會在您自己的 VNet 中部署 Azure Databricks 經典運算平面資源,並啟用相關功能:

  • 使用服務端點或私人端點與 Azure 服務的私人連線
  • 透過使用者定義的路由進行內部部署存取
  • 使用網路虛擬設備進行流量檢查
  • 自訂 DNS 組態
  • 使用其他 NSG 規則的輸出流量控制
  • 彈性的 CIDR 範圍 (VNet: /16/24,子網路:最多 /26

權限需求

Azure 許可權:工作區建立者必須在 VNet 上具有網路參與者角色,或具有具有 Microsoft.Network/virtualNetworks/subnets/join/action 許可權的 Microsoft.Network/virtualNetworks/subnets/write

VNet 設定

  1. 您必須設定 VNet 才能部署 Azure Databricks 工作區。 您可以使用現有的 VNet 或建立新的 VNet。 VNet 必須符合下列需求:
    • 區域:VNet 必須位於與 Azure Databricks 工作區相同的區域中。
    • 訂用帳戶:VNet 必須與 Azure Databricks 工作區位於相同的訂用帳戶中。
    • 地址空間:用於 VNet 的 /16/24 之間的 CIDR 區塊。 如需以 VNet 大小為基礎的叢集節點上限的指引,請參閱 位址空間指引
    • 子網:VNet 必須包含兩個專用於 Azure Databricks 工作區的子網:
      • 容器子網路 (有時稱為專用子網路)
      • 主機子網路 (有時稱為公用子網路)
      • 每個子網路都應使用至少 /26為 的 CIDR 區塊。 Databricks 不建議小於 /26的子網路。
      • 您無法跨工作區共用子網,或在 Azure Databricks 工作區所使用的子網路上部署其他 Azure 資源。
      • 我們建議子網路的大小符合一致。
    • 出口流量的連線:Databricks 建議將 Azure NAT 閘道 連接到兩個子網,以確保穩定的出口 IP。 2026 年 3 月 31 日之後,新的 VNet 需要明確的輸出連線方法。 請參閱安全叢集連線。
    • 網路安全性群組規則:請參閱 網路安全性群組規則

注意

當您使用 安全的叢集連線來部署工作區時,容器子網和主機子網都會使用私人IP。

位址空間指引

Azure Databricks 工作區需要 VNet 中的兩個子網:容器子網和主機子網。 Azure 會 在每個子網中保留五個IP。 Azure Databricks 需要每個叢集節點有兩個 IP 位址:主機子網路中主機的一個 IP 位址,以及容器子網路中容器的一個 IP 位址。

規劃位址空間時,請考量下列事項:

  • 您可能想要在單一 VNet 內建立多個工作區。 由於您無法跨工作區共用子網,因此請規劃不使用總 VNet 位址空間的子網。
  • 為位於 VNet 位址空間內的兩個新子網路配置位址空間,且不會與該 VNet 中目前或未來子網路的位址空間重疊。

具有較小虛擬網路的工作區可以比具有較大虛擬網路的工作區更快用盡IP位址(網路空間)。 請使用介於 /16/24 之間的 CIDR 區塊作為 VNet 並使用不超過 /26 的 CIDR 區塊為兩個子網(容器子網和主機子網)。 您最多可以為子網路建立 CIDR 區塊至 /28,不過,Azure Databricks 不建議使用小於 /26 的子網路。

步驟 1:建立工作區

在 Azure 入口網站 中建立工作區,並將它部署至您的 VNet。

  1. 在 Azure 入口網站,選取 [+ 建立資源] > [分析] > Azure Databricks 或搜尋 Azure Databricks。

  2. 在 [ 網路 ] 索引標籤中,選取您的 VNet。

    重要

    如果 VNet 未出現,請確認工作區和 VNet 位於相同的 Azure 區域中。

  3. 設定子網路,其 CIDR 範圍可達 /26 並且名稱最多為 80 個字元:

    • 現有子網路:輸入確切的子網路名稱和相符的 IP 範圍
    • 新子網:在 VNet 的位址空間內輸入新的名稱和 IP 範圍

    注意

    部署後無法變更子網路 CIDR 範圍。 Azure Databricks 會自動將 NSG 規則和子網路委派設定為 Microsoft.Databricks/workspaces

  4. 按一下 建立 以部署工作區。

步驟 2:驗證工作區部署

  1. 移至 Azure 入口網站,然後流覽至您的 Azure Databricks 工作區資源。

  2. 在 [ 概觀 ] 頁面上,驗證下列項目:

    • 工作區處於良好的狀態(沒有發生故障)。
    • 會列出資源群組和受管理資源群組。
    • 虛擬網路對等連接已停用(這是 VNet 注入時的預期行為)。

受控資源群組無法修改,而且無法用來建立虛擬機器。 在您管理的資源群組中建立虛擬機器。

步驟 3:驗證網路安全性群組設定

  1. 在 Azure 入口網站中,導覽至您的 VNet。

  2. 按一下 設定 下的 子網路

  3. 確認容器子網路和主機子網路是否具有:

    • 附屬的網路安全群組
    • 委派至 Microsoft.Databricks/workspaces
  4. 按一下網路安全性群組,並確認已設定必要的輸入和輸出規則。 如需預期的規則,請參閱 網路安全性群組規則參考

步驟 4:建立叢集

建立工作區之後,請建立傳統計算叢集,以確認您的 VNet 插入是否正常運作。

  1. 移至您的 Azure Databricks 工作區,然後按一下 [概觀] 頁面上的 [啟動工作區]。

  2. 在側邊欄中按下 計算圖示 [計算]

  3. 在 [計算] 頁面上,按一下 [建立叢集]。

  4. 輸入叢集名稱,將其餘值保留為預設狀態,然後按一下建立叢集。

叢集執行之後,受管理資源群組會包含新的虛擬機器、磁碟、IP 位址和網路介面。 在每個具有 IP 位址的公用和專用子網路中都會建立網路介面。

步驟 5:驗證叢集網路組態

  1. 在您的 Azure Databricks 工作區中,移至 Azure 入口網站中的受控資源群組。

  2. 確認下列資源存在:

    • 叢集節點的虛擬機器
    • 連結至虛擬機器的磁碟
    • 叢集節點的 IP 位址
    • 公用和專用子網路中的網路介面
  3. 在您的 Azure Databricks 工作區中,按一下您建立的叢集。

  4. 導覽至 Spark UI ,然後按一下 執行程式 索引標籤。

  5. 確認驅動程式和執行程式的位址位於專用子網路範圍內。 例如,如果您的專用子網路是 10.179.0.0/18,驅動程式可能是 10.179.0.6 ,執行程式可能是 10.179.0.410.179.0.5。 您的 IP 位址可能不同。

穩定的出口 IP 位址

對於 具有安全叢集連線 和 VNet 插入的工作區,Databricks 建議設定穩定的輸出公用 IP。 穩定 IP 會啟用 Salesforce 和 IP 存取清單等服務的外部允許清單。

警告

2026 年 3 月 31 日之後,新的 Azure VNet 預設為私人設定,而沒有輸出網際網路存取。 新的 Azure Databricks 工作區需要明確的輸出連線方法,例如 NAT 閘道。 現有工作區不受影響。 請參閱 Microsoft 的公告

若要設定穩定的輸出 IP,請參閱 使用 VNet 插入輸出

網路安全組規則

Azure Databricks 會透過子網路委派給 Microsoft.Databricks/workspaces 服務,自動佈建和管理下列 NSG 規則。 這些規則是工作區作業所必需的。 請勿修改或刪除這些規則。

注意

某些規則會同時使用 VirtualNetwork 作為來源和目的地。 內部網路原則會防止跨叢集通訊,包括相同 VNet 中工作區之間的通訊。

Databricks 建議針對每個工作區使用唯一的 NSG。

重要

將拒絕規則新增至連結至相同或對等互連 VNet 中其他網路和子網路的 NSG。 針對 輸入和輸出 連線套用拒絕規則,以限制進出 Azure Databricks 計算資源的流量。 僅允許叢集存取必要資源所需的最低存取權。

工作區的網路安全組規則

下表列出工作區的網路安全性群組規則,並包含兩個輸入安全性群組規則,只有在停用 安全叢集連線 (SCC) 時才會新增這些規則。

方向 通訊協定 來源 來源連接埠 目的地 目的地連接埠 使用過的
來向 任意 虛擬網路 任意 虛擬網路 任意 預設
來向 TCP AzureDatabricks(服務標籤)
只有在停用 SCC 時
任意 虛擬網路 22 公用 IP
來向 TCP AzureDatabricks(服務標籤)
只有在停用 SCC 時
任意 虛擬網路 5557 公用 IP
外發 TCP 虛擬網路 任意 AzureDatabricks(服務標籤) 443, 3306, 8443-8451 預設
外發 TCP 虛擬網路 任意 SQL 3306 預設
外發 TCP 虛擬網路 任意 儲存體 443 預設
外發 任意 虛擬網路 任意 虛擬網路 任意 預設
外發 TCP 虛擬網路 任意 EventHub 9093 預設

注意

如果您限制輸出規則,Databricks 建議您開啟埠 111 和 2049,以啟用特定連結庫安裝。

重要

Azure Databricks 是部署在全域 Azure 公用雲端基礎結構上的Microsoft Azure 第一方服務。 服務元件之間的所有通訊,包括在控制平面中的公用 IP 與客戶計算平面之間的通訊,都會保留在 Microsoft Azure 網路骨幹中。 另請參閱 Microsoft 全域網路

擴充 VNet 容量

如果您工作區的 VNet 容量不足,無法容納作用中叢集節點,您有兩個選項:

  • 更新 VNet 設定:這項功能為公開預覽版。 請參閱 更新工作區網路設定
  • 擴充您目前的 CIDR 範圍:請連絡您的 Azure Databricks 帳戶小組,要求增加工作區子網路 CIDR 範圍。