Az Azure Databricks-munkaterület csatlakoztatása a helyszíni hálózathoz

  • Cikk

Ez a cikk bemutatja, hogyan létesíthet kapcsolatot az Azure Databricks-munkaterület és a helyszíni hálózat között. A forgalom egy átmenő virtuális hálózaton (VNet) keresztül irányítja a helyszíni hálózatra a következő küllős topológiával.

Virtual network deployment

Ha segítségre van szüksége az útmutatót követve, forduljon a Microsoft- és a Databricks-fiókcsapatához.

Requirements

Az Azure Databricks-munkaterületet a saját virtuális hálózatában, más néven VNet-injektálásban kell üzembe helyezni.

1. lépés: Tranzit virtuális hálózat beállítása az Azure Virtual Network Gateway használatával

Szüksége van egy Azure Virtual Network Gatewayre (ExpressRoute vagy VPN) egy tranzit virtuális hálózatban, amely ezen módszerek egyikével van konfigurálva. Ha már rendelkezik megfelelő átjáróval, ugorjon az Azure Databricks virtuális hálózat és az átmenő virtuális hálózat közötti társviszonyra.

Ha már beállította az ExpressRoute-ot a helyszíni hálózat és az Azure között, kövesse a Virtuális hálózati átjáró konfigurálása az ExpressRoute-hoz az Azure Portal használatával című szakaszt.

Ellenkező esetben kövesse az 1–5. lépést a virtuális hálózatok közötti VPN-átjáró kapcsolatának konfigurálásához az Azure Portal használatával.

Ha segítségre van szüksége, forduljon a Microsoft-fiók csapatához.

2. lépés: Az Azure Databricks virtuális hálózat és az átviteli virtuális hálózat közötti társviszony

Ha az Azure Databricks-munkaterület ugyanabban a virtuális hálózaton található, mint a virtuális hálózati átjáró, ugorjon a felhasználó által definiált útvonalak létrehozására , és társítsa őket az Azure Databricks virtuális hálózati alhálózataihoz.

Ellenkező esetben kövesse a társhálózatok utasításait az Azure Databricks virtuális hálózat és az átmenő virtuális hálózat közötti társviszony létesítéséhez, és válassza ki a következő lehetőségeket:

  • Használjon távoli átjárókat az Azure Databricks virtuális hálózat oldalán.
  • Átjárótovábbítás engedélyezése a tranzit virtuális hálózat oldalán.

További részletekért lásd : Társviszony létrehozása.

Megjegyzés:

Ha az Azure Databrickshez való helyszíni hálózati kapcsolat nem működik a fenti beállításokkal, a társviszony mindkét oldalán a Továbbított forgalom engedélyezése lehetőséget is választhatja a probléma megoldásához.

A VPN-átjáró átvitelének virtuális hálózati társviszony-létesítéshez való konfigurálásáról további információt a VPN-átjáró átvitelének konfigurálása a virtuális hálózatok közötti társviszony-létesítéshez című témakörben talál.

3. lépés: Felhasználó által definiált útvonalak létrehozása és társítása az Azure Databricks virtuális hálózati alhálózataival

Miután társviszonyt létesített az Azure Databricks virtuális hálózattal a tranzit virtuális hálózattal, az Azure automatikusan konfigurálja az összes útvonalat a tranzit virtuális hálózat használatával. Az automatikus konfiguráció nem tartalmazza a fürtcsomópontok és az Azure Databricks vezérlősík közötti visszatérési útvonalat. Ezeket az egyéni útvonalakat manuálisan kell létrehoznia, felhasználó által megadott útvonalak használatával.

  1. Hozzon létre egy útvonaltáblát, amely engedélyezi a BGP-útvonalak propagálását.

    Megjegyzés:

    Bizonyos esetekben a BGP-útvonalak propagálása hibákhoz vezet a helyszíni hálózati kapcsolat beállításának ellenőrzésekor. Végső megoldásként letilthatja a BGP-útvonalak propagálását.

  2. Adjon hozzá felhasználó által definiált útvonalakat a következő szolgáltatásokhoz az egyéni útvonalak utasításaival.

    Ha a biztonságos fürtkapcsolat (SCC) engedélyezve van a munkaterületen, használja az SCC relay IP-címet a vezérlősík NAT IP-címe helyett.

    Source Címelőtag A következő ugrás típusa
    Alapértelmezett Vezérlősík NAT IP-címe
    (Csak akkor, ha az SCC le van tiltva)    		 Internet
    Alapértelmezett SCC-továbbítás IP-címe
    (Csak akkor, ha az SCC engedélyezve van)    		 Internet
    Alapértelmezett Webapp IP-címe Internet
    Alapértelmezett Kiterjesztett infrastruktúra IP-címe Internet
    Alapértelmezett Metaadattár IP-címe Internet
    Alapértelmezett Artifact Blob Storage IP-címe Internet
    Alapértelmezett Log Blob storage IP Internet
    Alapértelmezett DBFS gyökértároló IP-címe (ADLS) Internet
    Alapértelmezett A 2023. március 6. előtt létrehozott munkaterületek DBFS gyökértároló IP-címe (Blob). Internet

    Az egyes szolgáltatások IP-címeinek lekéréséhez kövesse az Azure Databricks felhasználó által definiált útvonalbeállításainak utasításait.

    Ha az IP-alapú útvonal sikertelen a beállítás ellenőrzésekor, létrehozhat egy szolgáltatásvégpontot a Microsoft.Storage számára, amely az összes DBFS-gyökértároló-forgalmat az Azure gerinchálózatán keresztül irányítja át. Ha ezt a módszert használja, nem kell felhasználó által definiált útvonalakat létrehoznia a DBFS gyökértárolóhoz.

    Megjegyzés:

    Ha más PaaS Azure-beli adatszolgáltatásokat, például a Cosmos DB-t vagy az Azure Synapse Analyticset szeretne elérni az Azure Databricksből, felhasználó által megadott útvonalakat kell hozzáadnia ezekhez a szolgáltatásokhoz az útvonaltáblához. Oldja fel az egyes végpontokat az IP-címére nslookup egy vagy azzal egyenértékű paranccsal.

  3. Társítsa az útvonaltáblát az Azure Databricks virtuális hálózat nyilvános és privát alhálózataihoz az útvonaltábla alhálózathoz való társítása című témakör utasításaival.

    Miután az egyéni útvonaltáblát társította az Azure Databricks virtuális hálózat alhálózataival, nem kell szerkesztenie a kimenő biztonsági szabályokat a hálózati biztonsági csoportban. A kimenő szabályt például nem kell pontosabban megadnia, mert az útvonalak szabályozzák a tényleges kimenő forgalmat.

4. lépés: A beállítás ellenőrzése

A beállítás ellenőrzése:

  1. Hozzon létre egy fürtöt az Azure Databricks-munkaterületen.

    Ha a fürt létrehozása sikertelen, tekintse át a telepítési utasításokat, és egyenként próbálja meg a másik konfigurációs beállításokat.

    Ha továbbra sem tud fürtöt létrehozni, ellenőrizze, hogy az útvonaltábla tartalmazza-e az összes szükséges felhasználó által megadott útvonalat. Ha az ADLS gen2 felhasználó által definiált útvonalai helyett szolgáltatásvégpontokat használt (a 2023. március 6. előtt létrehozott munkaterületekhez, az Azure Blob Storage-hoz), ellenőrizze ezeket a végpontokat is.

    Ha továbbra sem tud fürtöt létrehozni, forduljon a Microsoft és a Databricks fiókcsapatához segítségért.

  2. Helyszíni IP-cím pingelése jegyzetfüzetből a következő paranccsal:

    %sh
ping <IP>

A hibaelhárítással kapcsolatos további útmutatásért tekintse meg az alábbi erőforrásokat:

Választható konfigurációs lépések

Lehetőség: Azure Databricks-forgalom irányítása virtuális berendezés vagy tűzfal használatával

Az Azure Databricks-fürtcsomópontokról érkező összes kimenő forgalmat szűrheti tűzfal vagy DLP-berendezés, például az Azure Firewall, a Palo Alto vagy a Barracuda használatával. Ez lehetővé teszi a kimenő forgalom vizsgálatát a biztonsági szabályzatok kielégítése érdekében, és egyetlen NAT-szerű nyilvános IP-címet vagy CIDR-t adhat hozzá az összes fürthöz egy engedélyezési listához.

Módosítsa az alábbi lépéseket a tűzfalhoz vagy a DLP-berendezéshez szükséges módon:

  1. Állítson be egy virtuális berendezést vagy tűzfalat a tranzit virtuális hálózaton belül az NVA létrehozása című témakör utasításaival.

    Ha több munkaterülethez egyetlen tűzfalkonfigurációra van szüksége, létrehozhatja a tűzfalat egy biztonságos vagy DMZ-alhálózatban az Azure Databricks virtuális hálózaton belül, amely elkülönül a meglévő privát és nyilvános alhálózatoktól.

  2. Hozzon létre egy további útvonalat az egyéni útvonaltáblában a 0.0.0.0/0-ra.

  3. Ha a biztonságos vagy DMZ alhálózati megközelítést használja, létrehozhat egy további útvonaltáblát, amely kizárólag a DMZ alhálózathoz van társítva. Ebben az útvonaltáblában hozzon létre egy útvonalat a 0.0.0.0-ra.

    Állítsa be az útvonal Következő ugrás típusát az internetre, ha a forgalom egy nyilvános hálózatra irányul, vagy a virtuális hálózati átjáróra, ha a forgalmat helyszíni hálózatra szánják.

  4. Konfigurálja az engedélyezési és megtagadási szabályokat a tűzfalberendezésben.

    Ha eltávolította a Blob Storage útvonalait, vegye fel ezeket az útvonalakat a tűzfal engedélyezési listájára.

    Ha a fürtök nyilvános adattáraktól , például operációsrendszer-adattáraktól vagy tárolóregisztrációs adatbázisoktól függnek, vegye fel őket az engedélyezési listára.

    Az engedélyezési listákkal kapcsolatos információkért tekintse meg az Azure Databricks felhasználó által definiált útvonalbeállításait.

Beállítás: Egyéni DNS konfigurálása

Az egyéni DNS-t saját virtuális hálózatában üzembe helyezett Azure Databricks-munkaterületekkel használhatja. Az egyéni DNS Azure-beli virtuális hálózatokhoz való konfigurálásáról további információt a Microsoft alábbi cikkeiben talál:

.. fontos: Az Azure-összetevők IP-címeinek feloldásához konfigurálnia kell az egyéni DNS-t, hogy továbbítsa ezeket a kéréseket az Azure rekurzív feloldójának.