Az Azure Private Link háttér- és előtérkapcsolatainak engedélyezése
Ez a cikk az Azure Private Link használatát foglalja össze a felhasználók és a Databricks-munkaterületek, valamint a klasszikus számítási síkon lévő fürtök és a Databricks-munkaterület infrastruktúráján belüli vezérlősík alapvető szolgáltatásai közötti privát kapcsolat engedélyezéséhez.
A kiszolgáló nélküli SQL-raktárak hálózati hozzáférésének módosításához lásd: Privát kapcsolat konfigurálása kiszolgáló nélküli számításból.
Áttekintés
A Private Link privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy felfedi a nyilvános hálózat felé érkező forgalmat. Az Azure Databricks a következő Private Link-kapcsolattípusokat támogatja:
- Front-end Private Link, más néven felhasználó a munkaterületen: Az előtérbeli Privát kapcsolat kapcsolat lehetővé teszi a felhasználók számára, hogy csatlakozzanak az Azure Databricks-webalkalmazáshoz, a REST API-hoz és a Databricks Connect API-hoz egy VNet-felület végpontján keresztül. Az előtérbeli kapcsolatot a JDBC-/ODBC- és Power BI-integrációk is használják. A tranzit virtuális hálózat és a munkaterület Azure Databricks vezérlősíkja közötti előtérbeli Private Link-kapcsolat hálózati forgalma áthalad a Microsoft gerinchálózatán.
- Háttérbeli privát kapcsolat, más néven számítási sík a sík vezérléséhez: Az ügyfél által felügyelt virtuális hálózaton (a számítási síkon) lévő Databricks Futtatókörnyezet-fürtök az Azure Databricks-felhőfiókban csatlakoznak egy Azure Databricks-munkaterület alapvető szolgáltatásaihoz (a vezérlősíkhoz). Ez lehetővé teszi a privát kapcsolatot a fürtökről a biztonságos fürtkapcsolat-továbbító végponthoz és a REST API-végponthoz.
- Böngészőhitelesítés privát végpontja: A nyilvános internetkapcsolattal nem rendelkező ügyfelek számára az Azure Databricks webalkalmazáshoz való privát előtér-kapcsolatok támogatásához hozzá kell adnia egy privát böngészőhitelesítő végpontot az egyszeri bejelentkezés (SSO) bejelentkezési visszahívásainak támogatásához az Azure Databricks-webalkalmazáshoz a Microsoft Entra ID-ból. Ha engedélyezi a hálózat és a nyilvános internet közötti kapcsolatokat, javasoljuk, hogy adjon hozzá egy privát böngészőhitelesítési végpontot , de nem szükséges. A böngészőhitelesítés privát végpontja egy alerőforrás-típussal
browser_authentication
rendelkező privát kapcsolat.
Ha privát kapcsolatot implementál az előtérbeli és a háttérbeli kapcsolatokhoz is , igény szerint privát kapcsolatot rendelhet a munkaterülethez, ami azt jelenti, hogy az Azure Databricks elutasítja a nyilvános hálózaton keresztüli kapcsolatokat. Ha elutasítja mind az előtérbeli, mind a háttérbeli kapcsolattípus implementálását, nem kényszerítheti ki ezt a követelményt.
A Unity Catalog-adathalmazok és az Azure Databricks-adatkészletek nem érhetők el a háttérbeli Private Link konfigurálásakor. Lásd a mintaadatkészleteket.
A cikk nagy része egy új munkaterület létrehozásáról szól, de egy meglévő munkaterületen engedélyezheti vagy letilthatja a privát hivatkozást. Lásd: Azure Private Link engedélyezése vagy letiltása meglévő munkaterületen.
Terminológia
Az alábbi táblázat a fontos terminológiát ismerteti.
Terminológia | Leírás |
---|---|
Azure Private Link | Azure-technológia, amely privát kapcsolatot biztosít az Azure-beli virtuális hálózatokról és a helyszíni hálózatokról az Azure-szolgáltatásokhoz anélkül, hogy kiteszik a nyilvános hálózat felé érkező forgalmat. |
Azure Private Link szolgáltatás | Egy szolgáltatás, amely lehet a private link-kapcsolat célhelye. Minden Azure Databricks vezérlősík-példány közzétesz egy Azure Private Link szolgáltatást. |
Azure-beli privát végpont | Az Azure privát végpontja privát kapcsolatot tesz lehetővé egy virtuális hálózat és egy Private Link szolgáltatás között. Az előtérbeli és a háttérbeli kapcsolatok esetében az Azure-beli privát végpontok célja az Azure Databricks vezérlősíkja. |
A privát végpontokkal kapcsolatos általános információkért tekintse meg a Microsoft Mi a privát végpont? című cikkét.
Standard vagy egyszerűsített üzembe helyezés kiválasztása
Az Azure Databricks kétféle Private Link-üzembe helyezést támogat, és egyet kell választania:
- Standard üzembe helyezés (ajánlott): A nagyobb biztonság érdekében a Databricks azt javasolja, hogy külön privát végpontot használjon az előtér-kapcsolathoz egy külön tranzit virtuális hálózatról. Az előtérbeli és a háttérbeli Private Link-kapcsolatokat is implementálhatja, vagy csak a háttérkapcsolatot. Használjon egy külön virtuális hálózatot a felhasználói hozzáférés beágyazásához, a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól elkülönítve. Hozzon létre külön Private Link-végpontokat a háttér- és előtér-hozzáféréshez. Kövesse az Azure Private Link standard üzembe helyezésének engedélyezése című témakör utasításait.
- Egyszerűsített üzembe helyezés: Egyes szervezetek nem használhatják a szabványos üzembe helyezést különböző hálózati házirendek céljából, például több privát végpont engedélyezésének letiltása vagy a különálló tranzit virtuális hálózatok elriasztása miatt. Alternatív megoldásként használhatja a Private Link egyszerűsített üzembe helyezését. Egyetlen különálló virtuális hálózat sem választja el a felhasználói hozzáférést a klasszikus számítási síkban a számítási erőforrásokhoz használt virtuális hálózattól. Ehelyett a virtuális hálózat számítási síkjának átviteli alhálózatát használják a felhasználói hozzáféréshez. Csak egyetlen Private Link-végpont létezik. Általában az előtérbeli és a háttérbeli kapcsolat is konfigurálva van. Igény szerint csak a háttérkapcsolatot konfigurálhatja. Nem választhatja, hogy csak az előtér-kapcsolatokat használja ebben az üzembe helyezési típusban. Kövesse az Azure Private Link egyszerűsített üzembe helyezésének engedélyezése című témakör utasításait.
Követelmények
Azure-előfizetés
Az Azure Databricks-munkaterületnek a Prémium csomagban kell lennie.
Azure Databricks-munkaterület hálózati architektúrája
- Az Azure Databricks-munkaterületnek VNet-injektálást kell használnia a Private Link-kapcsolat hozzáadásához (még egy csak előtérbeli kapcsolathoz is).
- Ha implementálja a háttérbeli Private Link-kapcsolatot, az Azure Databricks-munkaterületnek biztonságos fürtkapcsolatot kell használnia (SCC/Nincs nyilvános IP-cím/NPIP).<
- Olyan virtuális hálózatra van szüksége, amely megfelel a virtuális hálózatok injektálásának követelményeinek.
- Két alhálózatot kell definiálnia (a felhasználói felületen nyilvános alhálózatként és privát alhálózatként). Az Azure Databrickshez használt virtuális hálózatok és alhálózati IP-tartományok határozzák meg az egyszerre használható fürtcsomópontok maximális számát.
- Az előtérbeli privát kapcsolat, a háttérbeli privát kapcsolat vagy mindkettő implementálásához a munkaterület virtuális hálózatának szüksége van egy harmadik alhálózatra, amely tartalmazza a Private Link végpontot, és annak IP-címtartománya nem fedheti át a többi munkaterületi alhálózat tartományát. Ez a cikk erre a harmadik alhálózatra hivatkozik magánvégpont-alhálózatként. Példák és képernyőképek feltételezik az alhálózat nevét
private-link
. Ez a CIDR-tartományhoz/27
hasonlóan kicsi is lehet. Ne definiáljon NSG-szabályokat privát végpontokat tartalmazó alhálózathoz. - Ha a felhasználói felületet használja objektumok létrehozásához, manuálisan kell létrehoznia a hálózatot és az alhálózatokat az Azure Databricks-munkaterület létrehozása előtt . Ha sablont szeretne használni, az Azure Databricks által biztosított sablon létrehoz egy virtuális hálózatot és a megfelelő alhálózatokat, beleértve a két normál alhálózatot, valamint egy másikat a privát végpontokhoz.
- Ha engedélyezve van a hálózati biztonsági csoportok házirendje a privát végponton, engedélyeznie kell a 443- os, a 6666-os, a 3306-os és a 8443-8451-ös portot a bejövő biztonsági szabályok számára azon alhálózat hálózati biztonsági csoportjában, ahol a privát végpont telepítve van.
- A hálózat és az Azure Portal és szolgáltatásai közötti csatlakozáshoz szükség lehet az Azure Portal URL-címeinek hozzáadására az engedélyezési listához. Lásd: Az Azure Portal URL-címeinek engedélyezése a tűzfalon vagy a proxykiszolgálón
Előtérbeli kapcsolati hálózati architektúra
Csak az előtérbeli Privát kapcsolat esetében, ha a felhasználók a helyszíni hálózatról férnek hozzá a munkaterülethez, hozzá kell adni a privát kapcsolatot az adott hálózatról az Azure-hálózathoz. Adja hozzá ezt a kapcsolatot a Private Link konfigurálása előtt. A részletek attól függően változnak, hogy a Private Link standard üzembe helyezését vagy az egyszerűsített üzembe helyezést választja.
- A szabványos üzembe helyezéshez létre kell hoznia vagy használnia kell egy meglévő átmenő virtuális hálózatot, más néven megerősített virtuális hálózatot vagy központi virtuális hálózatot. Ennek a virtuális hálózatnak elérhetőnek kell lennie a helyszíni felhasználói környezetből expressroute vagy VPN Gateway-kapcsolat használatával. Az előtérbeli Private Link esetében a Databricks azt javasolja, hogy a munkaterület virtuális hálózatának megosztása helyett hozzon létre egy külön virtuális hálózatot a vezérlősíkhoz való kapcsolódáshoz. Vegye figyelembe, hogy az átvitt virtuális hálózat és alhálózata ugyanabban a régióban, zónában és erőforráscsoportban lehet, mint a munkaterület virtuális hálózata és alhálózatai, de nem kell egyezniük. Hozzon létre egy erőforráscsoportot a különálló tranzit virtuális hálózathoz, és használjon egy másik privát DNS-zónát az adott privát végponthoz. Ha két különálló privát végpontot használ, nem oszthatja meg a DNS-zónát.
- Az egyszerűsített üzembe helyezéshez létre kell hoznia egy átviteli alhálózatot a munkaterület virtuális hálózatában. Ebben az üzembe helyezésben az átviteli alhálózat nem rendelkezik külön privát végponttal. A munkaterület virtuális hálózatának átviteli alhálózata egyetlen privát végpontot használ mind a háttér-, mind az előtér-kapcsolatokhoz.
Azure-ra vonatkozó felhasználói engedélyek
Azure-felhasználóként a következőkhöz elegendő olvasási/írási engedéllyel kell rendelkeznie:
- Új Azure Databricks-munkaterület kiépítése.
- Azure Private Link-végpontokat hozhat létre a munkaterület virtuális hálózatában, valamint (az előtérbeli használathoz) az átmenő virtuális hálózaton.
Ha az átvitt virtuális hálózat privát végpontját létrehozó felhasználó nem rendelkezik tulajdonosi/közreműködői engedélyekkel a munkaterülethez, akkor a munkaterület tulajdonosi/közreműködői engedélyekkel rendelkező külön felhasználónak manuálisan jóvá kell hagynia a privát végpontlétrehozás kérését.
Azure Private Link engedélyezése vagy letiltása meglévő munkaterületen
Engedélyezheti a Private Linket egy meglévő munkaterületen. A frissítéshez a munkaterületnek VNet-injektálást, biztonságos fürtkapcsolatotl és prémium tarifacsomagot kell használnia. A frissítés során biztonságos fürtkapcsolatra és Prémium tarifacsomagra frissíthet.
HASZNÁLHAT ARM-sablont vagy azurerm
Terraform-szolgáltató 3.41.0-s vagy újabb verziót. Az Azure Portal használatával egyéni sablont alkalmazhat, és módosíthatja a paramétert a felhasználói felületen. A frissítéshez azonban az Azure Databricks-munkaterület példányán nincs Azure Portal felhasználói felületi támogatás.
Ha valami baj van a frissítéssel, és megismétli a munkaterület frissítési lépését , ehelyett állítsa be a mezőket a Private Link letiltására.
Bár ennek a szakasznak a fókuszában a Private Link engedélyezése egy meglévő munkaterületen van, letilthatja azt egy meglévő munkaterületen ugyanazzal a munkaterület-frissítési hívással az ARM-sablonnal vagy a Terraform-frissítéssel. Tekintse meg a 4. lépést : A munkaterület frissítésének alkalmazása a részletekért.
1. lépés: A követelmények és a dokumentáció elolvasása ezen az oldalon
A Private Linkre való frissítés előtt fontos fogalmakat és követelményeket kell elolvasnia:
- A folytatás előtt olvassa el ezt a cikket, beleértve a fogalmakat és a követelményeket.
- Határozza meg, hogy a standard vagy az egyszerűsített üzembe helyezést szeretné-e használni.
- A standard vagy az egyszerűsített üzembe helyezés (bármelyik módszert is használja) lapján gondosan tekintse át a lapot, beleértve a különböző forgatókönyveket is. Keresse meg a használati esetnek megfelelő forgatókönyvet. Írja le, hogy mely értékekhez
publicNetworkAccess
requiredNsgRules
és . Az előtérbeli és a háttérbeli privát kapcsolat előtérkapcsolattal való ajánlott konfigurálását az előtér-kapcsolat zárolvapublicNetworkAccess=Disabled
requiredNsgRules=NoAzureDatabricksRules
2. lépés: Az összes számítási erőforrás leállítása
A frissítés megkezdése előtt le kell állítania az összes számítási erőforrást, például fürtöket, készleteket vagy klasszikus SQL-raktárakat. A munkaterület számítási erőforrásai nem futtathatók, vagy a frissítési kísérlet meghiúsul. A Databricks azt javasolja, hogy tervezzük meg a frissítés ütemezését a leálláshoz.
Fontos
Ne kíséreljen meg számítási erőforrásokat elindítani a frissítés során. Ha az Azure Databricks megállapítja, hogy a számítási erőforrások elindultak (vagy még mindig indulnak), az Azure Databricks a frissítés után leállítja őket.
3. lépés: Alhálózat és privát végpontok létrehozása
Adjon hozzá egy alhálózatot a munkaterület virtuális hálózatához a háttérbeli privát végpontokhoz.
Nyissa meg a cikket a standard vagy az egyszerűsített üzembe helyezésről (bármelyik módszert is használja).
Kövesse az ezen a lapon található utasításokat az üzembe helyezés típusának megfelelő privát végpontok létrehozásához.
A munkaterület frissítése előtt hozza létre az összes privát végpontot a háttértámogatáshoz.
Felhasználói felületi hozzáféréshez hozzon létre egy privát végpontot alforrással
databricks_ui_api
, amely támogatja az egyszeri bejelentkezést a tranzit virtuális hálózatról. Ha több olyan átviteli virtuális hálózattal rendelkezik, amely hozzáfér a munkaterülethez az előtérbeli hozzáféréshez, hozzon létre több privát végpontot alforrássaldatabricks_ui_api
.
4. lépés: A munkaterület frissítésének alkalmazása
Új munkaterület létrehozása helyett a munkaterület frissítését kell alkalmaznia.
Frissítenie kell a publicNetworkAccess
paramétereket az requiredNsgRules
előző lépésben kiválasztott értékekre.
Használja az alábbi módszerek egyikét:
Az Azure Portal felhasználói felületének használata (sablon nélkül)
Frissítés alkalmazása a Terraform használatával
Az Azure Portal felhasználói felületének használata (sablon nélkül)
Nyissa meg az Azure Databricks Service-példányt az Azure Portalon.
A Bal oldali navigációs sáv Beállítások csoportjában kattintson a Hálózatkezelés elemre.
A használati eset alapján állítsa be a nyilvános hálózati hozzáférés és a szükséges NSG-szabályok engedélyezését a megfelelő értékekre. Lásd : 1. lépés: Olvassa el a követelményeket és a dokumentációt ezen a lapon.
Feljegyzés
Az Azure Private Link engedélyezéséhez a munkaterületnek engedélyeznie kell a biztonságos fürtkapcsolatot (más néven Nincs nyilvános IP-címet). Ha még nincs engedélyezve, a Privát kapcsolat frissítésével egyidejűleg engedélyezheti a biztonságos fürtkapcsolatot úgy, hogy a Nem nyilvános IP-címet True értékre állítja. Az Azure Databricks azonban azt javasolja, hogy a privát kapcsolat engedélyezése előtt külön lépésként engedélyezze a biztonságos fürtkapcsolatot, hogy külön ellenőrizhesse a sikerességet.
Kattintson a Mentés gombra.
A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.
Frissített ARM-sablon alkalmazása az Azure Portalon
Feljegyzés
Ha a felügyelt erőforráscsoport egyéni névvel rendelkezik, ennek megfelelően módosítania kell a sablont. További információért forduljon az Azure Databricks-fiók csapatához.
Másolja ki a következő frissítési ARM-sablon JSON-fájlját:
{ "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#", "contentVersion": "1.0.0.0", "parameters": { "location": { "defaultValue": "[resourceGroup().location]", "type": "String", "metadata": { "description": "Location for all resources." } }, "workspaceName": { "type": "String", "metadata": { "description": "The name of the Azure Databricks workspace to create." } }, "apiVersion": { "defaultValue": "2023-02-01", "allowedValues": [ "2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01" ], "type": "String", "metadata": { "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions" } }, "publicNetworkAccess": { "defaultValue": "Enabled", "allowedValues": [ "Enabled", "Disabled" ], "type": "String", "metadata": { "description": "Whether the workspace allows access from the public Internet" } }, "requiredNsgRules": { "defaultValue": "AllRules", "allowedValues": [ "AllRules", "NoAzureDatabricksRules" ], "type": "String", "metadata": { "description": "The security rules that are applied to the security group of the Vnet" } }, "enableNoPublicIp": { "defaultValue": true, "type": "Bool" }, "pricingTier": { "defaultValue": "premium", "allowedValues": [ "premium", "standard", "trial" ], "type": "String", "metadata": { "description": "The pricing tier of workspace." } }, "privateSubnetName": { "defaultValue": "private-subnet", "type": "String", "metadata": { "description": "The name of the private subnet." } }, "publicSubnetName": { "defaultValue": "public-subnet", "type": "String", "metadata": { "description": "The name of the public subnet." } }, "vnetId": { "type": "String", "metadata": { "description": "The virtual network Resource ID." } } }, "variables": { "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]", "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]" }, "resources": [ { "type": "Microsoft.Databricks/workspaces", "apiVersion": "[parameters('apiVersion')]", "name": "[parameters('workspaceName')]", "location": "[parameters('location')]", "sku": { "name": "[parameters('pricingTier')]" }, "properties": { "ManagedResourceGroupId": "[variables('managedResourceGroupId')]", "publicNetworkAccess": "[parameters('publicNetworkAccess')]", "requiredNsgRules": "[parameters('requiredNsgRules')]", "parameters": { "enableNoPublicIp": { "value": "[parameters('enableNoPublicIp')]" }, "customVirtualNetworkId": { "value": "[parameters('vnetId')]" }, "customPublicSubnetName": { "value": "[parameters('publicSubnetName')]" }, "customPrivateSubnetName": { "value": "[parameters('privateSubnetName')]" } } } } ] }
Nyissa meg az Azure Portal egyéni üzembehelyezési oldalát.
Kattintson a Saját sablon létrehozása elemre a szerkesztőben.
Illessze be a másolt sablon JSON-fájljában.
Kattintson a Mentés gombra.
A Private Link engedélyezéséhez állítsa be és
requiredNsgRules
adja megpublicNetworkAccess
a paramétereket a használati esetnek megfelelően.A Privát hivatkozás letiltásához állítsa be
publicNetworkAccess
és állítsa berequiredNsgRules
a következőtAllRules
true
: .Más mezők esetében ugyanazokat a paramétereket használja, mint a munkaterület létrehozásához, például előfizetést, régiót, munkaterületnevet, alhálózatneveket, a meglévő virtuális hálózat erőforrás-azonosítóját.
Fontos
Az erőforráscsoport nevének, a munkaterület nevének és az alhálózat nevének meg kell egyeznie a meglévő munkaterületével, hogy ez a parancs új munkaterület létrehozása helyett frissítse a meglévő munkaterületet.
Kattintson a Felülvizsgálat + létrehozás elemre.
Ha nincsenek érvényesítési problémák, kattintson a Létrehozás gombra.
A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.
Frissítés alkalmazása a Terraform használatával
A Terraformmal létrehozott munkaterületek esetében frissítheti a munkaterületet a Private Link használatára.
Fontos
A 3.41.0-s vagy újabb verziót kell használnia terraform-provider-azurerm
, ezért szükség szerint frissítse a Terraform-szolgáltató verzióját. A korábbi verziók megpróbálják újra létrehozni a munkaterületet, ha módosítja bármelyik beállítást.
A magas szintű lépések a következők:
Módosítsa a következő munkaterület-beállításokat:
public_network_access_enabled
: Beállítástrue
(Engedélyezve) vagyfalse
(Letiltva)network_security_group_rules_required
: Beállítás vagyAllRules
NoAzureDatabricksRules
.
A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.
Hozza létre a privát végpontokat.
A Private Link engedélyezésének és a privát végpontok létrehozásának részletes útmutatója:
- Standard üzembe helyezés esetén tekintse meg a Terraform útmutatót az Azure Private Link standard üzembe helyezéséhez
- Az egyszerűsített üzembe helyezésért tekintse meg az Azure Private Link egyszerűsített üzembe helyezésének Terraform-útmutatójában
A hálózati frissítés végrehajtása több mint 15 percet vehet igénybe.
5. lépés: Felhasználói egyszeri bejelentkezés hitelesítésének és háttérkapcsolatának tesztelése
A telepítéssel kapcsolatos részletekért kövesse a központi telepítési oldalt:
- Tesztelje a felhasználói egyszeri bejelentkezés hitelesítését a munkaterületen.
- A háttérbeli privát kapcsolat kapcsolatának tesztelése (háttérkapcsolathoz szükséges)
6. lépés: A frissítés ellenőrzése
- Nyissa meg az Azure Databricks Service-példányt az Azure Portalon.
- A Bal oldali navigációs sáv Beállítások csoportjában kattintson a Hálózatkezelés elemre.
- Győződjön meg arról, hogy a Nyilvános hálózati hozzáférés engedélyezése érték megegyezik a beállított értékkel.
- Győződjön meg arról, hogy a kötelező NSG-szabályok értéke megegyezik a beállított értékkel.
Hiba helyreállítása
Ha egy munkaterület frissítése sikertelen, előfordulhat, hogy a munkaterület sikertelen állapotként van megjelölve, ami azt jelenti, hogy a munkaterület nem tud számítási műveleteket végrehajtani. Ha vissza szeretne állítani egy sikertelen munkaterületet aktív állapotba, tekintse át a frissítési művelet állapotüzenetében található utasításokat. A problémák megoldása után végezze el újra a frissítést a sikertelen munkaterületen. Ismételje meg a lépéseket, amíg a frissítés sikeresen befejeződik. Ha kérdése van, forduljon az Azure Databricks-fiók csapatához.