分享方式:


將您的 Azure Databricks 工作區連線到內部部署網路

本文說明如何建立從 Azure Databricks 工作區到內部部署網路的連線。 流量會透過傳輸虛擬網路 (VNet) 路由傳送至內部部署網路,並使用下列中樞和輪輻拓撲。

虛擬網路部署

如果您需要本指南的協助,請連絡您的Microsoft和 Databricks 帳戶小組。

需求

您的 Azure Databricks 工作區必須部署在您自己的虛擬網路,也稱為 VNet 插入。

步驟 1:使用 Azure 虛擬網絡 閘道設定傳輸虛擬網路

您需要傳輸 VNet 中的 Azure 虛擬網絡 閘道 (ExpressRoute 或 VPN),並使用下列其中一種方法進行設定。 如果您已經有適當的閘道,請跳至 將 Azure Databricks 虛擬網路與傳輸虛擬網路對等互連。

如果您已在內部部署網路與 Azure 之間設定 ExpressRoute,請遵循使用 Azure 入口網站 設定 ExpressRoute 虛擬網路閘道中的程式。

否則,請遵循使用 Azure 入口網站 設定 VNet 對 VNet VPN 網關聯機中的步驟 1-5。

如果您需要協助,請連絡Microsoft帳戶小組。

步驟 2:將 Azure Databricks 虛擬網路與傳輸虛擬網路對等互連

如果您的 Azure Databricks 工作區與 虛擬網絡 閘道位於相同的 VNet 中,請跳至建立使用者定義的路由,並將其與您的 Azure Databricks 虛擬網路子網產生關聯。

否則,請依照對等虛擬網路中的指示,將 Azure Databricks VNet 對等互連至傳輸 VNet,選取下列選項:

  • 在 Azure Databricks VNet 端使用遠端閘道
  • 允許傳輸 VNet 端的閘道傳輸

如需詳細資訊,請參閱 建立對等互連

注意

如果您的內部部署 Azure Databricks 網路連線無法與上述設定搭配運作,您也可以選取 對等互連兩端的 [允許轉送流量 ] 選項來解決問題。

如需設定虛擬網路對等互連 VPN 閘道傳輸的相關信息,請參閱 設定虛擬網路對等互連的 VPN 閘道傳輸。

步驟 3:建立使用者定義的路由,並將其與您的 Azure Databricks 虛擬網路子網產生關聯

在您將 Azure Databricks VNet 與傳輸 VNet 對等互連之後,Azure 會自動使用傳輸 VNet 來設定所有路由。 自動設定不包含從叢集節點到 Azure Databricks 控制平面的傳迴路由。 您必須使用 使用者定義的路由手動建立這些自定義路由

  1. 建立路由表,啟用 BGP 路由傳播。

    注意

    在某些情況下,BGP 路由傳播會在驗證內部部署網路連線設定時造成失敗。 作為最後手段,您可以停用 BGP 路由傳播。

  2. 使用自定義路由中的 指示,為下列服務新增使用者定義的路由

    如果 已啟用工作區的安全叢集連線能力 (SCC), 請使用 SCC 轉送 IP,而不是控制平面 NAT IP。

    來源 位址首碼 下一個躍點類型
    預設 控制平面 NAT IP
    (只有在停用 SCC 時)
    網際網路
    預設 SCC 轉送IP
    (只有在啟用 SCC 時)
    網際網路
    預設 Webapp IP 網際網路
    預設 中繼存放區IP 網際網路
    預設 成品 Blob 記憶體 IP 網際網路
    預設 記錄 Blob 記憶體 IP 網際網路
    預設 工作區記憶體 IP (ADLS) 網際網路
    預設 2023 年 3 月 6 日之前所建立工作區的工作區記憶體 IP(Blob)。 網際網路
    預設 事件中樞IP 網際網路

    若要取得每個服務的IP位址,請遵循 Azure Databricks 使用者定義路由設定中的指示。

    如果IP型路由在驗證設定失敗,您可以為 Microsoft.Storage 建立服務端點,以透過 Azure 骨幹路由路由所有工作區記憶體流量。 如果您使用此方法,就不需要為工作區記憶體建立使用者定義的路由。

    注意

    若要從 Azure Databricks 存取其他 PaaS Azure 數據服務,例如 Cosmos DB 或 Azure Synapse Analytics,您必須將這些服務的使用者定義路由新增至路由表。 使用 nslookup 或對等命令,將每個端點解析為其IP位址。

  3. 使用將路由表關聯至子網中的 指示,將路由表與您的 Azure Databricks VNet 公用和私人子網產生關聯。

    自定義路由表與您的 Azure Databricks VNet 子網相關聯之後,您就不需要編輯網路安全組中的輸出安全性規則。 例如,您不需要讓輸出規則更具體,因為路由會控制實際的輸出。

步驟 4:驗證設定

若要驗證安裝程式:

  1. 在 Azure Databricks 工作區中建立叢集。

    如果建立叢集失敗,請逐一查看安裝指示,逐一嘗試替代組態選項。

    如果您仍然無法建立叢集,請確認路由表包含所有必要的使用者定義路由。 如果您使用服務端點,而不是ADLS gen2的使用者定義路由(針對在2023年3月6日之前建立的工作區,Azure Blob 儲存體),也請檢查這些端點。

    如果您仍然無法建立叢集,請連絡您的Microsoft和 Databricks 帳戶小組以取得協助。

  2. 使用下列命令從筆記本 Ping 內部部署 IP:

    %sh
    ping <IP>
    

如需疑難解答的更多指引,請參閱下列資源:

選擇性組態步驟

選項:使用虛擬設備或防火牆路由傳送 Azure Databricks 流量

您可以使用防火牆或 DLP 設備來篩選來自 Azure Databricks 叢集節點的所有傳出流量,例如 Azure 防火牆、Palo Alto 或 Barracuda。 這可讓您檢查傳出流量以符合安全策略,並將所有叢集的單一 NAT 類似公用 IP 或 CIDR 新增至允許清單。

視您的防火牆或 DLP 設備需要調整這些步驟:

  1. 使用建立 NVA 中的指示,在傳輸 VNet 內設定虛擬設備或防火牆。

    如果您需要多個工作區的單一防火牆組態,您可以在 Azure Databricks VNet 內的安全或 DMZ 子網中建立防火牆,這與現有的私人和公用子網不同。

  2. 自定義路由表中 建立其他路由至 0.0.0.0/0。

  3. 如果您使用安全或 DMZ 子網方法,您可以建立與 DMZ 子網相關聯的其他路由表。 在該路由表中,建立路由至 0.0.0.0。

    如果流量是以公用網路為目標,請將該路由的 [下一個躍點類型] 設定為 [因特網],如果流量是針對內部部署網路,則設定為 虛擬網絡 [網關]。

  4. 在防火牆設備中設定允許和拒絕規則。

    如果您移除 Blob 記憶體的路由,請將這些路由新增至防火牆中的允許清單。

    如果您的叢集相依於公用存放庫,例如操作系統存放庫或容器登錄,請將這些存放庫新增至允許清單。

    如需允許清單的相關信息,請參閱 Azure Databricks 的使用者定義路由設定。

選項:設定自定義 DNS

您可以使用自定義 DNS 搭配部署在您自己的虛擬網路中的 Azure Databricks 工作區。 如需如何設定 Azure 虛擬網路自定義 DNS 的詳細資訊,請參閱下列Microsoft文章:

.. 重要:若要解析 Azure 成品的 IP 位址,您必須設定自定義 DNS,將這些要求轉送至 Azure 遞歸解析程式。