Az Azure Databricks üzembe helyezése az Azure-beli virtuális hálózaton (VNet-injektálás)

Az Azure Databricks üzembe helyezése az Azure-beli virtuális hálózaton a hálózat testreszabásának, az Azure-szolgáltatásokhoz és a helyszíni adatforrásokhoz való biztonságos kapcsolódás, valamint a forgalomvizsgálati képességek engedélyezéséhez.

Miért érdemes vNet-injekciót használni?

A VNet-injektálás üzembe helyezi az Azure Databricks klasszikus számításisík-erőforrásait a saját virtuális hálózatában, lehetővé téve az alábbiakat:

• Privát kapcsolat az Azure-szolgáltatásokhoz szolgáltatásvégpontok vagy privát végpontok használatával
• Helyszíni hozzáférés felhasználó által megadott útvonalakon keresztül
• Forgalomvizsgálat hálózati virtuális berendezésekkel
• Egyéni DNS-konfiguráció
• Kimenő forgalom szabályozása további NSG-szabályokkal
• Rugalmas CIDR-tartományok (VNet: /16 to /24, alhálózatok: legfeljebb /26)

Engedélyekre vonatkozó követelmények

Azure-engedélyek: A munkaterület létrehozójának hálózati közreműködői szerepkörrel kell rendelkeznie a virtuális hálózaton, vagy egyéni szerepkörrelMicrosoft.Network/virtualNetworks/subnets/join/action és Microsoft.Network/virtualNetworks/subnets/write engedélyekkel.

Virtuális hálózat konfigurálása

1. Konfigurálnia kell egy virtuális hálózatot az Azure Databricks-munkaterület üzembe helyezéséhez. Használhat meglévő virtuális hálózatot, vagy létrehozhat egy újat. A virtuális hálózatnak meg kell felelnie a következő követelményeknek:
   • Régió: A virtuális hálózatnak ugyanabban a régióban kell lennie, mint az Azure Databricks-munkaterületnek.
   • Előfizetés: A virtuális hálózatnak ugyanabban az előfizetésben kell lennie, mint az Azure Databricks-munkaterület.
   • Címtér: Egy CIDR-blokk, amely a /16 és /24 között helyezkedik el a virtuális hálózat számára. A virtuális hálózatok méretén alapuló fürtcsomópontok maximális számáról a Címtér útmutatóban olvashat.
   • Alhálózatok: A virtuális hálózatnak két, az Azure Databricks-munkaterületnek dedikált alhálózatot kell tartalmaznia:
     • Tárolóalhálózat (más néven privát alhálózat)
     • Hoszt alhálózat (más néven publikus alhálózat)
     • Minden alhálózatnak legalább /26egy CIDR-blokkot kell használnia. A Databricks nem javasol kisebb alhálózatot, mint /26a .
     • Nem oszthat meg alhálózatokat munkaterületeken, és nem helyezhet üzembe más Azure-erőforrásokat az Azure Databricks-munkaterület által használt alhálózatokon.
     • Javasoljuk, hogy az alhálózatok mérete egyezzen.
   • Kimenő kapcsolat kimenő forgalom esetén: A Databricks azt javasolja, hogy mindkét alhálózaton használjon Azure NAT-átjárót a stabil kimenő IP-címekhez. 2026. március 31. után az új virtuális hálózatok explicit kimenő csatlakozási módszereket igényelnek. Tekintse meg a biztonságos klaszterkapcsolatot.
   • Hálózati biztonsági csoport szabályai: Lásd : Hálózati biztonsági csoport szabályai

Feljegyzés

Amikor egy munkaterületet helyez üzembe biztonságos fürtkapcsolattal, a tárolóalhálózat és a gazdagép alhálózat kizárólag magánhálózati IP-címeket használ.

Címtérre vonatkozó útmutató

Az Azure Databricks munkaterülethez két alhálózatra van szükség a VNet-en: egy tárolóalhálózatra és egy gazdagépalhálózatra. Az Azure minden alhálózatban öt IP-címet foglal le. Az Azure Databricks minden fürtcsomóponthoz két IP-címet igényel: egy IP-címet a host alhálózatban lévő host számára, és egy IP-címet a konténer alhálózatban lévő konténer számára.

A címtér tervezésekor vegye figyelembe a következőket:

• Előfordulhat, hogy több munkaterületet szeretne létrehozni egyetlen virtuális hálózaton belül. Mivel nem oszthat meg alhálózatokat a munkaterületeken, olyan alhálózatokat tervezhet meg, amelyek nem használják a teljes virtuális hálózat címterét.
• Két új alhálózat címterének lefoglalása, amelyek a virtuális hálózat címterén belül találhatók, és nem fedik át az adott virtuális hálózat aktuális vagy jövőbeli alhálózatainak címterét.

A kisebb virtuális hálózattal rendelkező munkaterületek gyorsabban elfogyhatnak az IP-címekből (hálózati területből), mint a nagyobb virtuális hálózattal rendelkező munkaterületek. Használjon egy CIDR-blokkot /16 és /24 között a virtuális hálózathoz, és legfeljebb egy CIDR-blokkot /26 a két alhálózathoz (a tárolóalhálózathoz és a gazdagép alhálózathoz). Létrehozhat egy CIDR-blokkot az /28 alhálózatok számára, az Azure Databricks azonban nem javasol kisebb méretű /26 alhálózatot.

1. lépés: Munkaterület létrehozása

Hozzon létre egy munkaterületet az Azure Portalon, és helyezze üzembe a virtuális hálózaton.

1. Az Azure Portalon válassza a + Resource > Analytics > Azure Databricks létrehozása vagy az Azure Databricks keresése lehetőséget.

2. A Hálózatkezelés lapon válassza ki a virtuális hálózatot.

   Fontos

   Ha a virtuális hálózat nem jelenik meg, ellenőrizze, hogy a munkaterület és a virtuális hálózat ugyanabban az Azure-régióban van-e.

3. Alhálózatok konfigurálása CIDR-tartományokkal legfeljebb /26 (a nevek legfeljebb 80 karakter hosszúak lehetnek):

   • Meglévő alhálózatok: Adja meg a pontos alhálózatneveket és az egyező IP-címtartományokat
   • Új alhálózatok: Adjon meg új neveket és IP-tartományokat a virtuális hálózat címterében

   Feljegyzés

   Az alhálózati CIDR-tartományok nem módosíthatók az üzembe helyezés után. Az Azure Databricks automatikusan konfigurálja az NSG-szabályokat és az alhálózat-delegálást.Microsoft.Databricks/workspaces

4. Kattintson a Létrehozás gombra a munkaterület üzembe helyezéséhez.

2. lépés: Munkaterület üzembe helyezésének ellenőrzése

1. Lépjen az Azure Portalra, és keresse meg az Azure Databricks-munkaterület erőforrását.

2. Az Áttekintés lapon ellenőrizze a következőket:

   • A munkaterület állapota megfelelő (nem romlott el).
   • Az erőforráscsoport és a felügyelt erőforráscsoport szerepel a listában.
   • A virtuális hálózatok közötti társviszony le van tiltva (ez a virtuális hálózatok injektálásához várható).

A felügyelt erőforráscsoport nem módosítható, és nem használható virtuális gépek létrehozására. Hozzon létre virtuális gépeket a felügyelt erőforráscsoportban.

3. lépés: Hálózati biztonsági csoport konfigurációjának ellenőrzése

1. Az Azure Portalon keresse meg a virtuális hálózatot.

2. Kattintson az Alhálózatok elemre aBeállítások csoportban.

3. Ellenőrizze, hogy mind a tároló alhálózata, mind a gazdagép alhálózata rendelkezik-e a következőkkel:

   • Hálózati biztonsági csoport van hozzácsatolva
   • Delegálás erre: Microsoft.Databricks/workspaces

4. Kattintson a hálózati biztonsági csoportra, és ellenőrizze, hogy a szükséges bejövő és kimenő szabályok konfigurálva vannak-e. A várt szabályokért tekintse meg a hálózati biztonsági csoport szabályainak referenciáját.

4. lépés: Klaszter létrehozása

A munkaterület létrehozása után hozzon létre egy klasszikus számítási fürtöt, amely ellenőrzi, hogy a virtuális hálózat injektálása megfelelően működik-e.

1. Nyissa meg az Azure Databricks-munkaterületet, és kattintson a Munkaterület indítása elemre az Áttekintés lapon.

2. Kattintson a Számítás gombra az oldalsávon.

3. A Compute oldalon kattintson a Cluster létrehozása elemre.

4. Adjon meg egy fürtnevet, hagyja meg a fennmaradó értékeket az alapértelmezett állapotában, és kattintson a Fürt létrehozása gombra.

A fürt elindulása után a felügyelt erőforráscsoport új virtuális gépeket, lemezeket, IP-címeket és hálózati adaptereket tartalmaz. Minden nyilvános és privát alhálózatban létrejön egy hálózati adapter IP-címekkel.

5. lépés: Klaszter hálózati konfigurációjának ellenőrzése

1. Az Azure Databricks-munkaterületen lépjen az Azure Portal felügyelt erőforráscsoportjához.

2. Ellenőrizze, hogy léteznek-e a következő erőforrások:

   • Virtuális gépek a fürtcsomópontokhoz
   • A virtuális gépekhez csatlakoztatott lemezek
   • A fürtcsomópontok IP-címei
   • Hálózati adapterek mind a nyilvános, mind a privát alhálózatokban

3. Az Azure Databricks-munkaterületen kattintson a létrehozott fürtre.

4. Lépjen a Spark felhasználói felületére , és kattintson a Végrehajtók fülre .

5. Ellenőrizze, hogy az illesztőprogram és a végrehajtó címe a privát alhálózat tartományában van-e. Ha például a privát alhálózata 10.179.0.0/18, akkor lehet az illesztőprogram 10.179.0.6, a végrehajtók pedig 10.179.0.4 és 10.179.0.5. Az IP-címek eltérőek lehetnek.

Stabil kimenő IP-címek

A biztonságos fürtkapcsolattal és VNet-injektálással rendelkező munkaterületek esetében a Databricks azt javasolja, hogy konfiguráljon egy stabil kimenő nyilvános IP-címet. A stabil IP-címek lehetővé teszik a külső engedélyezési listákat olyan szolgáltatások számára, mint a Salesforce és az IP-hozzáférési listák.

Figyelmeztetés

2026. március 31-e után az új Azure-beli virtuális hálózatok alapértelmezetten a kimenő internet-hozzáférés nélküli privát konfigurációkra vannak bekapcsolva. Az új Azure Databricks-munkaterületek explicit kimenő csatlakozási módszereket, például NAT-átjárót igényelnek. A meglévő munkaterületekre nincs hatással. Lásd a Microsoft közleményét.

A stabil kimenő IP-cím konfigurálásához olvassa el a Kimenő forgalom VNet-injektálással részt.

Hálózati biztonsági csoport szabályai

Az Azure Databricks automatikusan kiépít és kezeli az alább felsorolt NSG-szabályokat a Microsoft.Databricks/workspaces szolgáltatáshoz való alhálózat-delegáláson keresztül. Ezek a szabályok a munkaterület működéséhez szükségesek. Ne módosítsa vagy törölje ezeket a szabályokat.

Feljegyzés

Egyes szabályok a VirtualNetwork-et használják forrásként és célként is. A belső hálózati házirendek megakadályozzák a klaszterek közötti kommunikációt, ideértve az azonos virtuális hálózaton lévő munkaterületek közötti kommunikációt is.

A Databricks minden munkaterülethez egyedi NSG használatát javasolja.

Fontos

Deny szabályok hozzáadása az NSG-khez, amelyek más hálózatokhoz és alhálózatokhoz kapcsolódnak, ugyanabban a VNetben vagy társhálózatokban. Tiltási szabályok alkalmazása bejövő és kimenő kapcsolatokra az Azure Databricks számítási erőforrásainak forgalmának korlátozásához. Engedélyezze csak a minimális hozzáférést, amely szükséges a klaszterek számára a szükséges erőforrások eléréséhez.

munkaterületek hálózati biztonsági csoportjának szabályai

Ez a táblázat felsorolja a munkaterületek hálózati biztonsági csoportjának szabályait, és két bejövő biztonságicsoport-szabályt tartalmaz, amelyek csak akkor lesznek hozzáadva, ha a biztonságos fürtkapcsolat (SCC) le van tiltva.

Irány	Protokoll	Forrás	Forrásport	Cél	Dest Port	Felhasználva
Bejövő	Bármelyik	VirtualNetwork	Bármelyik	VirtualNetwork	Bármelyik	Alapértelmezett
Bejövő	TCP	AzureDatabricks (szolgáltatás címke) Csak akkor, ha az SCC le van tiltva	Bármelyik	VirtualNetwork	22	Nyilvános IP-cím
Bejövő	TCP	AzureDatabricks (szolgáltatás címke) Csak akkor, ha az SCC le van tiltva	Bármelyik	VirtualNetwork	5557	Nyilvános IP-cím
Kimenő	TCP	VirtualNetwork	Bármelyik	AzureDatabricks (szolgáltatás címke)	443, 3306, 8443-8451	Alapértelmezett
Kimenő	TCP	VirtualNetwork	Bármelyik	SQL	3306	Alapértelmezett
Kimenő	TCP	VirtualNetwork	Bármelyik	Storage	443	Alapértelmezett
Kimenő	Bármelyik	VirtualNetwork	Bármelyik	VirtualNetwork	Bármelyik	Alapértelmezett
Kimenő	TCP	VirtualNetwork	Bármelyik	Eseményközpont	9093	Alapértelmezett

Feljegyzés

Ha korlátozza a kimenő szabályokat, a Databricks azt javasolja, hogy nyissa meg a 111-es és 2049-es portokat bizonyos könyvtártelepítések engedélyezéséhez.

Fontos

Az Azure Databricks egy Microsoft Azure belső szolgáltatás, amely a globális Azure nyilvános felhőinfrastruktúrán van üzembe helyezve. A szolgáltatás összetevői közötti összes kommunikáció, beleértve a vezérlősíkon lévő nyilvános IP-címek és az ügyfél számítási síkja közötti kommunikációt, a Microsoft Azure hálózati gerinchálózatán belül marad. Lásd még a Microsoft globális hálózatát.

Virtuális hálózat kapacitásának kibontása

Ha a munkaterület virtuális hálózata nem rendelkezik elegendő kapacitással az aktív fürtcsomópontokhoz, két lehetősége van:

• Virtuális hálózat konfigurációjának frissítése: Ez a funkció nyilvános előzetes verzióban érhető el. Lásd: Munkaterület hálózati konfigurációjának frissítése.
• Bontsa ki az aktuális CIDR-tartományt: Lépjen kapcsolatba az Azure Databricks-fiók csapatával, hogy növelje a munkaterület alhálózatának CIDR-tartományát.