Megosztás a következőn keresztül:


Az Azure Private Link háttér- és előtérkapcsolatainak engedélyezése

Ez a cikk az Azure Private Link használatát foglalja össze a felhasználók és a Databricks-munkaterületek, valamint a klasszikus számítási síkon lévő fürtök és a Databricks-munkaterület infrastruktúráján belüli vezérlősík alapvető szolgáltatásai közötti privát kapcsolat engedélyezéséhez.

A kiszolgáló nélküli SQL-raktárak hálózati hozzáférésének módosításához lásd: Privát kapcsolat konfigurálása kiszolgáló nélküli számításból.

Áttekintés

A Private Link privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy felfedi a nyilvános hálózat felé érkező forgalmat. Az Azure Databricks a következő Private Link-kapcsolattípusokat támogatja:

  • Front-end Private Link, más néven felhasználó a munkaterületen: Az előtérbeli Privát kapcsolat kapcsolat lehetővé teszi a felhasználók számára, hogy csatlakozzanak az Azure Databricks-webalkalmazáshoz, a REST API-hoz és a Databricks Connect API-hoz egy VNet-felület végpontján keresztül. Az előtérbeli kapcsolatot a JDBC-/ODBC- és Power BI-integrációk is használják. A tranzit virtuális hálózat és a munkaterület Azure Databricks vezérlősíkja közötti előtérbeli Private Link-kapcsolat hálózati forgalma áthalad a Microsoft gerinchálózatán.
  • Háttérbeli privát kapcsolat, más néven számítási sík a sík vezérléséhez: Az ügyfél által felügyelt virtuális hálózaton (a számítási síkon) lévő Databricks Futtatókörnyezet-fürtök az Azure Databricks-felhőfiókban csatlakoznak egy Azure Databricks-munkaterület alapvető szolgáltatásaihoz (a vezérlősíkhoz). Ez lehetővé teszi a privát kapcsolatot a fürtökről a biztonságos fürtkapcsolat-továbbító végponthoz és a REST API-végponthoz.
  • Böngészőhitelesítés privát végpontja: A nyilvános internetkapcsolattal nem rendelkező ügyfelek számára az Azure Databricks webalkalmazáshoz való privát előtér-kapcsolatok támogatásához hozzá kell adnia egy privát böngészőhitelesítő végpontot az egyszeri bejelentkezés (SSO) bejelentkezési visszahívásainak támogatásához az Azure Databricks-webalkalmazáshoz a Microsoft Entra ID-ból. Ha engedélyezi a hálózat és a nyilvános internet közötti kapcsolatokat, javasoljuk, hogy adjon hozzá egy privát böngészőhitelesítési végpontot , de nem szükséges. A böngészőhitelesítés privát végpontja egy alerőforrás-típussal browser_authenticationrendelkező privát kapcsolat.

Ha privát kapcsolatot implementál az előtérbeli és a háttérbeli kapcsolatokhoz is , igény szerint privát kapcsolatot rendelhet a munkaterülethez, ami azt jelenti, hogy az Azure Databricks elutasítja a nyilvános hálózaton keresztüli kapcsolatokat. Ha elutasítja mind az előtérbeli, mind a háttérbeli kapcsolattípus implementálását, nem kényszerítheti ki ezt a követelményt.

A Unity Catalog-adathalmazok és az Azure Databricks-adatkészletek nem érhetők el a háttérbeli Private Link konfigurálásakor. Lásd a mintaadatkészleteket.

A cikk nagy része egy új munkaterület létrehozásáról szól, de egy meglévő munkaterületen engedélyezheti vagy letilthatja a privát hivatkozást. Lásd: Azure Private Link engedélyezése vagy letiltása meglévő munkaterületen.

Terminológia

Az alábbi táblázat a fontos terminológiát ismerteti.

Terminológia Leírás
Azure Private Link Azure-technológia, amely privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy kiteszik a nyilvános hálózat felé érkező forgalmat.
Azure Private Link szolgáltatás Egy szolgáltatás, amely lehet a private link-kapcsolat célhelye. Minden Azure Databricks vezérlősík-példány közzétesz egy Azure Private Link szolgáltatást.
Azure-beli privát végpont Az Azure privát végpontja privát kapcsolatot tesz lehetővé egy virtuális hálózat és egy Private Link szolgáltatás között. Az előtérbeli és a háttérbeli kapcsolatok esetében az Azure-beli privát végpontok célja az Azure Databricks vezérlősíkja.

A privát végpontokkal kapcsolatos általános információkért tekintse meg a Microsoft Mi a privát végpont? című cikkét.

Standard vagy egyszerűsített üzembe helyezés kiválasztása

Az Azure Databricks kétféle Private Link-üzembe helyezést támogat, és egyet kell választania:

  • Standard üzembe helyezés (ajánlott): A nagyobb biztonság érdekében a Databricks azt javasolja, hogy külön privát végpontot használjon az előtér-kapcsolathoz egy külön tranzit virtuális hálózatról. Az előtérbeli és a háttérbeli Private Link-kapcsolatokat is implementálhatja, vagy csak a háttérkapcsolatot. Használjon egy külön virtuális hálózatot a felhasználói hozzáférés beágyazásához, a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól elkülönítve. Hozzon létre külön Private Link-végpontokat a háttér- és előtér-hozzáféréshez. Kövesse az Azure Private Link standard üzembe helyezésének engedélyezése című témakör utasításait.
  • Egyszerűsített üzembe helyezés: Egyes szervezetek nem használhatják a szabványos üzembe helyezést különböző hálózati házirendek céljából, például több privát végpont engedélyezésének letiltása vagy a különálló tranzit virtuális hálózatok elriasztása miatt. Alternatív megoldásként használhatja a Private Link egyszerűsített üzembe helyezését. Egyetlen különálló virtuális hálózat sem választja el a felhasználói hozzáférést a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól. Ehelyett a virtuális hálózat számítási síkjának átviteli alhálózatát használják a felhasználói hozzáféréshez. Csak egyetlen Private Link-végpont létezik. Általában az előtérbeli és a háttérbeli kapcsolat is konfigurálva van. Igény szerint csak a háttérkapcsolatot konfigurálhatja. Nem választhatja, hogy csak az előtér-kapcsolatokat használja ebben az üzembe helyezési típusban. Kövesse az Azure Private Link egyszerűsített üzembe helyezésének engedélyezése című témakör utasításait.

Követelmények

Azure-előfizetés

Az Azure Databricks-munkaterületnek a Prémium csomagban kell lennie.

Azure Databricks-munkaterület hálózati architektúrája

  • Az Azure Databricks-munkaterületnek VNet-injektálást kell használnia a Private Link-kapcsolat hozzáadásához (még egy csak előtérbeli kapcsolathoz is).
  • Ha implementálja a háttérbeli Private Link-kapcsolatot, az Azure Databricks-munkaterületnek biztonságos fürtkapcsolatot kell használnia (SCC/Nincs nyilvános IP-cím/NPIP).<
  • Olyan virtuális hálózatra van szüksége, amely megfelel a virtuális hálózatok injektálásának követelményeinek.
    • Két alhálózatot kell definiálnia (a felhasználói felületen nyilvános alhálózatként és privát alhálózatként). Az Azure Databrickshez használt virtuális hálózatok és alhálózati IP-tartományok határozzák meg az egyszerre használható fürtcsomópontok maximális számát.
    • Az előtérbeli privát kapcsolat, a háttérbeli privát kapcsolat vagy mindkettő implementálásához a munkaterület virtuális hálózatának szüksége van egy harmadik alhálózatra, amely tartalmazza a Private Link végpontot, és annak IP-címtartománya nem fedheti át a többi munkaterületi alhálózat tartományát. Ez a cikk erre a harmadik alhálózatra hivatkozik magánvégpont-alhálózatként. Példák és képernyőképek feltételezik az alhálózat nevét private-link. Ez a CIDR-tartományhoz /27hasonlóan kicsi is lehet. Ne definiáljon NSG-szabályokat privát végpontokat tartalmazó alhálózathoz.
    • Ha a felhasználói felületet használja objektumok létrehozásához, manuálisan kell létrehoznia a hálózatot és az alhálózatokat az Azure Databricks-munkaterület létrehozása előtt . Ha sablont szeretne használni, az Azure Databricks által biztosított sablon létrehoz egy virtuális hálózatot és a megfelelő alhálózatokat, beleértve a két normál alhálózatot, valamint egy másikat a privát végpontokhoz.
  • Ha engedélyezve van a hálózati biztonsági csoportok házirendje a privát végponton, engedélyeznie kell a 443- os, a 6666-os, a 3306-os és a 8443-8451-ös portot a bejövő biztonsági szabályok számára azon alhálózat hálózati biztonsági csoportjában, ahol a privát végpont telepítve van.
  • A hálózat és az Azure Portal és szolgáltatásai közötti csatlakozáshoz szükség lehet az Azure Portal URL-címeinek hozzáadására az engedélyezési listához. Lásd: Az Azure Portal URL-címeinek engedélyezése a tűzfalon vagy a proxykiszolgálón

Előtérbeli kapcsolati hálózati architektúra

Csak az előtérbeli Privát kapcsolat esetében, ha a felhasználók a helyszíni hálózatról férnek hozzá a munkaterülethez, hozzá kell adni a privát kapcsolatot az adott hálózatról az Azure-hálózathoz. Adja hozzá ezt a kapcsolatot a Private Link konfigurálása előtt. A részletek attól függően változnak, hogy a Private Link standard üzembe helyezését vagy az egyszerűsített üzembe helyezést választja.

  • A szabványos üzembe helyezéshez létre kell hoznia vagy használnia kell egy meglévő átmenő virtuális hálózatot, más néven megerősített virtuális hálózatot vagy központi virtuális hálózatot. Ennek a virtuális hálózatnak elérhetőnek kell lennie a helyszíni felhasználói környezetből expressroute vagy VPN Gateway-kapcsolat használatával. Az előtérbeli Private Link esetében a Databricks azt javasolja, hogy a munkaterület virtuális hálózatának megosztása helyett hozzon létre egy külön virtuális hálózatot a vezérlősíkhoz való kapcsolódáshoz. Vegye figyelembe, hogy az átvitt virtuális hálózat és alhálózata ugyanabban a régióban, zónában és erőforráscsoportban lehet, mint a munkaterület virtuális hálózata és alhálózatai, de nem kell egyezniük. Hozzon létre egy erőforráscsoportot a különálló tranzit virtuális hálózathoz, és használjon egy másik privát DNS-zónát az adott privát végponthoz. Ha két különálló privát végpontot használ, nem oszthatja meg a DNS-zónát.
  • Az egyszerűsített üzembe helyezéshez létre kell hoznia egy átviteli alhálózatot a munkaterület virtuális hálózatában. Ebben az üzembe helyezésben az átviteli alhálózat nem rendelkezik külön privát végponttal. A munkaterület virtuális hálózatának átviteli alhálózata egyetlen privát végpontot használ mind a háttér-, mind az előtér-kapcsolatokhoz.

Azure-ra vonatkozó felhasználói engedélyek

Azure-felhasználóként a következőkhöz elegendő olvasási/írási engedéllyel kell rendelkeznie:

  • Új Azure Databricks-munkaterület kiépítése.
  • Azure Private Link-végpontokat hozhat létre a munkaterület virtuális hálózatában, valamint (az előtérbeli használathoz) az átmenő virtuális hálózaton.

Ha az átvitt virtuális hálózat privát végpontját létrehozó felhasználó nem rendelkezik tulajdonosi/közreműködői engedélyekkel a munkaterülethez, akkor a munkaterület tulajdonosi/közreműködői engedélyekkel rendelkező külön felhasználónak manuálisan jóvá kell hagynia a privát végpontlétrehozás kérését.

Engedélyezheti a Private Linket egy meglévő munkaterületen. A frissítéshez a munkaterületnek VNet-injektálást, biztonságos fürtkapcsolatotl és prémium tarifacsomagot kell használnia. A frissítés során biztonságos fürtkapcsolatra és Prémium tarifacsomagra frissíthet.

HASZNÁLHAT ARM-sablont vagy azurerm Terraform-szolgáltató 3.41.0-s vagy újabb verziót. Az Azure Portal használatával egyéni sablont alkalmazhat, és módosíthatja a paramétert a felhasználói felületen. A frissítéshez azonban az Azure Databricks-munkaterület példányán nincs Azure Portal felhasználói felületi támogatás.

Ha valami baj van a frissítéssel, és megismétli a munkaterület frissítési lépését , ehelyett állítsa be a mezőket a Private Link letiltására.

Bár ennek a szakasznak a fókuszában a Private Link engedélyezése egy meglévő munkaterületen van, letilthatja azt egy meglévő munkaterületen ugyanazzal a munkaterület-frissítési hívással az ARM-sablonnal vagy a Terraform-frissítéssel. Tekintse meg a 4. lépést : A munkaterület frissítésének alkalmazása a részletekért.

1. lépés: A követelmények és a dokumentáció elolvasása ezen az oldalon

A Private Linkre való frissítés előtt fontos fogalmakat és követelményeket kell elolvasnia:

  1. A folytatás előtt olvassa el ezt a cikket, beleértve a fogalmakat és a követelményeket.
  2. Határozza meg, hogy a standard vagy az egyszerűsített üzembe helyezést szeretné-e használni.
  3. A standard vagy az egyszerűsített üzembe helyezés (bármelyik módszert is használja) lapján gondosan tekintse át a lapot, beleértve a különböző forgatókönyveket is. Keresse meg a használati esetnek megfelelő forgatókönyvet. Írja le, hogy mely értékekhez publicNetworkAccess requiredNsgRulesés . Az előtérbeli és a háttérbeli privát kapcsolat előtérkapcsolattal való ajánlott konfigurálását az előtér-kapcsolat zárolva publicNetworkAccess=DisabledrequiredNsgRules=NoAzureDatabricksRules

2. lépés: Az összes számítási erőforrás leállítása

A frissítés megkezdése előtt le kell állítania az összes számítási erőforrást, például fürtöket, készleteket vagy klasszikus SQL-raktárakat. A munkaterület számítási erőforrásai nem futtathatók, vagy a frissítési kísérlet meghiúsul. A Databricks azt javasolja, hogy tervezzük meg a frissítés ütemezését a leálláshoz.

Fontos

Ne kíséreljen meg számítási erőforrásokat elindítani a frissítés során. Ha az Azure Databricks megállapítja, hogy a számítási erőforrások elindultak (vagy még mindig indulnak), az Azure Databricks a frissítés után leállítja őket.

3. lépés: Alhálózat és privát végpontok létrehozása

  1. Adjon hozzá egy alhálózatot a munkaterület virtuális hálózatához a háttérbeli privát végpontokhoz.

  2. Nyissa meg a cikket a standard vagy az egyszerűsített üzembe helyezésről (bármelyik módszert is használja).

    Kövesse az ezen a lapon található utasításokat az üzembe helyezés típusának megfelelő privát végpontok létrehozásához.

  3. A munkaterület frissítése előtt hozza létre az összes privát végpontot a háttértámogatáshoz.

  4. Felhasználói felületi hozzáféréshez hozzon létre egy privát végpontot alforrással databricks_ui_api , amely támogatja az egyszeri bejelentkezést a tranzit virtuális hálózatról. Ha több olyan átviteli virtuális hálózattal rendelkezik, amely hozzáfér a munkaterülethez az előtérbeli hozzáféréshez, hozzon létre több privát végpontot alforrással databricks_ui_api.

4. lépés: A munkaterület frissítésének alkalmazása

Új munkaterület létrehozása helyett a munkaterület frissítését kell alkalmaznia.

Frissítenie kell a publicNetworkAccess paramétereket az requiredNsgRules előző lépésben kiválasztott értékekre.

Használja az alábbi módszerek egyikét:

Frissített ARM-sablon alkalmazása az Azure Portalon

Feljegyzés

Ha a felügyelt erőforráscsoport egyéni névvel rendelkezik, ennek megfelelően módosítania kell a sablont. További információért forduljon az Azure Databricks-fiók csapatához.

  1. Másolja ki a következő frissítési ARM-sablon JSON-fájlját:

    {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "location": {
               "defaultValue": "[resourceGroup().location]",
               "type": "String",
               "metadata": {
                   "description": "Location for all resources."
               }
           },
           "workspaceName": {
               "type": "String",
               "metadata": {
                   "description": "The name of the Azure Databricks workspace to create."
               }
           },
           "apiVersion": {
               "defaultValue": "2023-02-01",
               "allowedValues": [
                "2018-04-01",
                   "2020-02-15",
                   "2022-04-01-preview",
                   "2023-02-01"
               ],
               "type": "String",
               "metadata": {
                   "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
               }
           },
           "publicNetworkAccess": {
               "defaultValue": "Enabled",
               "allowedValues": [
                   "Enabled",
                   "Disabled"
               ],
               "type": "String",
               "metadata": {
                   "description": "Whether the workspace allows access from the public Internet"
               }
           },
           "requiredNsgRules": {
               "defaultValue": "AllRules",
               "allowedValues": [
                   "AllRules",
                   "NoAzureDatabricksRules"
               ],
               "type": "String",
               "metadata": {
                   "description": "The security rules that are applied to the security group of the Vnet"
               }
           },
           "enableNoPublicIp": {
               "defaultValue": true,
               "type": "Bool"
           },
           "pricingTier": {
               "defaultValue": "premium",
               "allowedValues": [
                   "premium",
                   "standard",
                   "trial"
               ],
               "type": "String",
               "metadata": {
                   "description": "The pricing tier of workspace."
               }
           },
           "privateSubnetName": {
               "defaultValue": "private-subnet",
               "type": "String",
               "metadata": {
                   "description": "The name of the private subnet."
               }
           },
           "publicSubnetName": {
               "defaultValue": "public-subnet",
               "type": "String",
               "metadata": {
                   "description": "The name of the public subnet."
               }
           },
           "vnetId": {
               "type": "String",
               "metadata": {
                   "description": "The virtual network Resource ID."
               }
           }
       },
       "variables": {
           "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
           "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
        },
        "resources": [
           {
               "type": "Microsoft.Databricks/workspaces",
               "apiVersion": "[parameters('apiVersion')]",
               "name": "[parameters('workspaceName')]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "[parameters('pricingTier')]"
               },
               "properties": {
                   "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                   "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                   "requiredNsgRules": "[parameters('requiredNsgRules')]",
                   "parameters": {
                       "enableNoPublicIp": {
                           "value": "[parameters('enableNoPublicIp')]"
                       },
                       "customVirtualNetworkId": {
                           "value": "[parameters('vnetId')]"
                       },
                       "customPublicSubnetName": {
                           "value": "[parameters('publicSubnetName')]"
                       },
                       "customPrivateSubnetName": {
                           "value": "[parameters('privateSubnetName')]"
                       }
                   }
               }
           }
       ]
    }
    
    1. Nyissa meg az Azure Portal egyéni üzembehelyezési oldalát.

    2. Kattintson a Saját sablon létrehozása elemre a szerkesztőben.

    3. Illessze be a másolt sablon JSON-fájljában.

    4. Kattintson a Mentés gombra.

    5. A Private Link engedélyezéséhez állítsa be és requiredNsgRules adja meg publicNetworkAccess a paramétereket a használati esetnek megfelelően.

      A Privát hivatkozás letiltásához állítsa be publicNetworkAccess és állítsa be requiredNsgRules a következőtAllRulestrue: .

    6. Más mezők esetében ugyanazokat a paramétereket használja, mint a munkaterület létrehozásához, például előfizetést, régiót, munkaterületnevet, alhálózatneveket, a meglévő virtuális hálózat erőforrás-azonosítóját.

      Fontos

      Az erőforráscsoport nevének, a munkaterület nevének és az alhálózat nevének meg kell egyeznie a meglévő munkaterületével, hogy ez a parancs új munkaterület létrehozása helyett frissítse a meglévő munkaterületet.

    7. Kattintson a Felülvizsgálat + létrehozás elemre.

    8. Ha nincsenek érvényesítési problémák, kattintson a Létrehozás gombra.

    A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

Frissítés alkalmazása a Terraform használatával

A Terraformmal létrehozott munkaterületek esetében frissítheti a munkaterületet a Private Link használatára.

Fontos

A 3.41.0-s vagy újabb verziót kell használnia terraform-provider-azurerm , ezért szükség szerint frissítse a Terraform-szolgáltató verzióját. A korábbi verziók megpróbálják újra létrehozni a munkaterületet, ha módosítja bármelyik beállítást.

A magas szintű lépések a következők:

  1. Módosítsa a következő munkaterület-beállításokat:

    • public_network_access_enabled: Beállítás true (Engedélyezve) vagy false (Letiltva)
    • network_security_group_rules_required: Beállítás vagy AllRules NoAzureDatabricksRules.

    A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

  2. Hozza létre a privát végpontokat.

A Private Link engedélyezésének és a privát végpontok létrehozásának részletes útmutatója:

A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.

5. lépés: Felhasználói egyszeri bejelentkezés hitelesítésének és háttérkapcsolatának tesztelése

A telepítéssel kapcsolatos részletekért kövesse a központi telepítési oldalt:

  • Tesztelje a felhasználói egyszeri bejelentkezés hitelesítését a munkaterületen.
  • A háttérbeli privát kapcsolat kapcsolatának tesztelése (háttérkapcsolathoz szükséges)

6. lépés: A frissítés ellenőrzése

  1. Nyissa meg az Azure Databricks Service-példányt az Azure Portalon.
  2. A Bal oldali navigációs sáv Beállítások csoportjában kattintson a Hálózatkezelés elemre.
  3. Győződjön meg arról, hogy a Nyilvános hálózati hozzáférés engedélyezése érték megegyezik a beállított értékkel.
  4. Győződjön meg arról, hogy a kötelező NSG-szabályok értéke megegyezik a beállított értékkel.

Hiba helyreállítása

Ha egy munkaterület frissítése sikertelen, előfordulhat, hogy a munkaterület sikertelen állapotként van megjelölve, ami azt jelenti, hogy a munkaterület nem tud számítási műveleteket végrehajtani. Ha vissza szeretne állítani egy sikertelen munkaterületet aktív állapotba, tekintse át a frissítési művelet állapotüzenetében található utasításokat. A problémák megoldása után végezze el újra a frissítést a sikertelen munkaterületen. Ismételje meg a lépéseket, amíg a frissítés sikeresen befejeződik. Ha kérdése van, forduljon az Azure Databricks-fiók csapatához.