Megosztás a következőn keresztül:

Privát kapcsolat engedélyezése HDInsight-fürtön

  • Cikk

Ebben a cikkben megismerkedhet az Azure Private Link használatával egy HDInsight-fürthöz való privát csatlakozáshoz a Microsoft gerinchálózatán keresztüli hálózatokon keresztül. Ez a cikk a fürtkapcsolat korlátozása az Azure HDInsightban című cikk bővítménye, amely a nyilvános kapcsolatok korlátozására összpontosít. Ha nyilvános kapcsolatot szeretne létesíteni a HDInsight-fürtökkel és a függő erőforrásokkal, fontolja meg a fürt kapcsolatának korlátozását az Azure HDInsight hálózati forgalmának szabályozására vonatkozó irányelveket követve.

A Private Link olyan hálózatok közötti helyzetekben használható, ahol a virtuális hálózatok közötti társviszony-létesítés nem érhető el vagy engedélyezve van.

Feljegyzés

A nyilvános kapcsolat korlátozása előfeltétele a privát kapcsolat engedélyezésének, és nem tekinthető azonos képességnek.

A Private Link használata a HDInsight-fürthöz való csatlakozáshoz opcionális funkció, és alapértelmezés szerint le van tiltva. A funkció csak akkor érhető el, ha a resourceProviderConnection hálózati tulajdonság kimenőre van állítva, a fürtkapcsolat korlátozása az Azure HDInsightban című cikkben leírtak szerint.

Ha privateLink engedélyezve van, létrejön a belső standard terheléselosztók (SLB-k), és minden egyes SLB-hez ki van építve egy Azure Private Link szolgáltatás. A Private Link szolgáltatással privát végpontokról érheti el a HDInsight-fürtöt.

A Private Link-fürt sikeres létrehozása sok lépést tesz, ezért itt ismertettük őket. Kövesse az alábbi lépéseket, hogy minden megfelelően legyen beállítva.

1. lépés: Előfeltételek létrehozása

Első lépésként telepítse a következő erőforrásokat, ha még nem hozta létre őket. Rendelkeznie kell legalább egy erőforráscsoporttal, két virtuális hálózattal és egy hálózati biztonsági csoporttal ahhoz az alhálózathoz csatolva, ahol a HDInsight-fürt üzembe lesz helyezve az alábbiak szerint.

Típus Név Cél
Erőforráscsoport hdi-privlink-rg A közös erőforrások együttes megőrzésére szolgál
Virtuális hálózat hdi-privlink-cluster-vnet A virtuális hálózat, ahol a fürt üzembe lesz helyezve
Virtuális hálózat hdi-privlink-client-vnet Az a virtuális hálózat, amelyről az ügyfelek csatlakozni fognak a fürthöz
Hálózati biztonsági csoport hdi-privlink-cluster-vnet-nsg Alapértelmezett NSG a fürt üzembe helyezéséhez

Feljegyzés

A hálózati biztonsági csoport (NSG) egyszerűen üzembe helyezhető, a fürt üzembe helyezésére vonatkozó NSG-szabályokat nem kell módosítanunk.

2. lépés: A HDInsight-alhálózat konfigurálása

  • Tiltsa le a privateLinkServiceNetworkPolicies szolgáltatást az alhálózaton. A Private Link szolgáltatás forrás IP-címének kiválasztásához explicit letiltó beállítás privateLinkServiceNetworkPolicies szükséges az alhálózaton. A privát kapcsolati szolgáltatásokra vonatkozóan a hálózati házirendek letiltásához kövesse az itt megadott utasításokat.
  • Szolgáltatásvégpontok engedélyezése az alhálózaton. A Private Link HDInsight-fürt sikeres üzembe helyezéséhez javasoljuk, hogy a fürt üzembe helyezése előtt adja hozzá az Microsoft.SQLalhálózathoz a , Microsoft.Storageés Microsoft.KeyVault a szolgáltatásvégpont(ok)t. A szolgáltatásvégpontok a forgalmat közvetlenül a virtuális hálózatról a Microsoft Azure gerinchálózatán található szolgáltatáshoz irányítják. Ha az Azure gerinchálózatán tartja az adatforgalmat, továbbra is naplózhatja és monitorozhatja a virtuális hálózatok kimenő internetforgalmát a kényszerített bújtatáson keresztül anélkül, hogy ez kihatna a szolgáltatás forgalmára.

3. lépés: NAT-átjáró vagy tűzfal üzembe helyezése

A standard terheléselosztók nem biztosítják automatikusan a nyilvános kimenő NAT-t, ahogy az alapszintű terheléselosztók teszik. Mivel a privát kapcsolati fürtök standard terheléselosztókat használnak, a kimenő, nyilvános HDInsight-függőségekhez való csatlakozáshoz saját NAT-megoldást kell biztosítania, például egy NAT-átjárót vagy egy tűzfal által biztosított NAT-ot.

NAT-átjáró üzembe helyezése (1. lehetőség)

Nat-átjárót akkor használhat, ha nem szeretne tűzfalat vagy hálózati virtuális berendezést (NVA) konfigurálni a NAT-hoz. Első lépésként vegyen fel egy NAT-átjárót (új nyilvános IP-címmel a virtuális hálózatban) a virtuális hálózat konfigurált alhálózatához. Ez az átjáró felelős a privát belső IP-cím nyilvános címekre való fordításáért, ha a forgalomnak a virtuális hálózaton kívülre kell mennie.

Alapszintű beállítás az első lépésekhez:

  1. Keressen rá a "NAT-átjárók" kifejezésre az Azure Portalon, és kattintson a Létrehozás gombra.

  2. Használja az alábbi konfigurációkat a NAT-átjáróban. (Itt nem szerepel az összes konfiguráció, így használhatja az alapértelmezett értékeket.)

    Konfigurálás Érték
    NAT-átjáró neve hdi-privlink-nat-gateway
    Nyilvános IP-előtagok Új nyilvános IP-előtag létrehozása
    Nyilvános IP-előtag neve hdi-privlink-nat-gateway-prefix
    Nyilvános IP-előtag mérete /28 (16 cím)
    Virtuális hálózat hdi-privlink-cluster-vnet
    Alhálózat neve alapértelmezett

  3. Miután a NAT-átjáró üzembe helyezése befejeződött, készen áll a következő lépésre.

Tűzfal konfigurálása (2. lehetőség)

Alapszintű beállítás az első lépésekhez:

  1. Adjon hozzá egy új, AzureFirewallSubnet nevű alhálózatot a virtuális hálózathoz.
  2. Az új alhálózat használatával konfigurálhat egy új tűzfalat, és hozzáadhatja a tűzfalszabályzatokat.
  3. Használja az új tűzfal privát IP-címét az nextHopIpAddress útvonaltáblában szereplő értékként.
  4. Adja hozzá az útvonaltáblát a virtuális hálózat konfigurált alhálózatához.

A HDInsight-fürtnek továbbra is hozzá kell férnie a kimenő függőségeihez. Ha ezek a kimenő függőségek nem engedélyezettek, a fürt létrehozása meghiúsulhat. A tűzfal beállításával kapcsolatos további információkért lásd: Hálózati forgalom szabályozása az Azure HDInsightban.

4. lépés: Privát kapcsolatú fürt üzembe helyezése

Ezen a ponton minden előfeltételt figyelembe kell venni, és készen áll a privát kapcsolati fürt üzembe helyezésére. Az alábbi ábrán egy példa látható a fürt létrehozása előtt szükséges hálózati konfigurációra. Ebben a példában az összes kimenő forgalom egy felhasználó által megadott útvonalon keresztül kerül az Azure Firewallra. A szükséges kimenő függőségeket engedélyezni kell a tűzfalon a fürt létrehozása előtt. Nagyvállalati biztonságicsomag-fürtök esetén a virtuális hálózatok közötti társviszony-létesítés biztosítja a Microsoft Entra Domain Serviceshez való hálózati kapcsolatot.

A privát kapcsolat környezetének diagramja a fürt létrehozása előtt.

A fürt létrehozása

A következő JSON-kódrészlet tartalmazza azt a két hálózati tulajdonságot, amelyeket konfigurálnia kell az Azure Resource Manager-sablonban egy privát HDInsight-fürt létrehozásához:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

A HDInsight nagyvállalati biztonsági funkcióit, köztük a Private Linket is tartalmazó teljes sablonért tekintse meg a HDInsight vállalati biztonsági sablont.

Ha a PowerShell használatával szeretne fürtöt létrehozni, tekintse meg a példát.

Ha az Azure CLI használatával szeretne fürtöt létrehozni, tekintse meg a példát.

5. lépés: Privát végpontok létrehozása

Az Azure automatikusan létrehoz egy Privát kapcsolat szolgáltatást az Ambari és az SSH terheléselosztói számára a privát kapcsolati fürt üzembe helyezése során. A fürt üzembe helyezése után létre kell hoznia két privát végpontot az ügyfél-VNET(ek)en, egyet az Ambarihoz, egyet pedig az SSH-hozzáféréshez. Ezután kapcsolja őket a fürttelepítés részeként létrehozott privát kapcsolati szolgáltatásokhoz.

A privát végpontok létrehozása:

  1. Nyissa meg az Azure Portalt, és keressen rá a "Privát hivatkozás" kifejezésre.

  2. Az eredmények között kattintson a Privát hivatkozás ikonra.

  3. Kattintson a "Privát végpont létrehozása" elemre, és az alábbi konfigurációkkal állítsa be az Ambari privát végpontját:

    Konfigurálás Érték
    Név hdi-privlink-cluster
    Erőforrás típusa Microsoft.Network/privateLinkServices
    Erőforrás gateway-* (Ennek az értéknek meg kell egyeznie a fürt HDI-telepítési azonosítójával, például gateway-4eafe3a2a67e4cd88762c22a55fe4654)
    Virtuális hálózat hdi-privlink-client-vnet
    Alhálózat alapértelmezett

    A Private Link alapszintű lapjának diagramja.A Private Link erőforráslapjának diagramja.A Private Link virtuális hálózat lapjának diagramja.A Private Link dns végpontfülének diagramja.A Privát hivatkozás címke lapjának diagramja.A Private Link felülvizsgálati lapjának diagramja.

  4. Ismételje meg a folyamatot, és hozzon létre egy másik privát végpontot az SSH-hozzáféréshez a következő konfigurációk használatával:

    Konfigurálás Érték
    Név hdi-privlink-cluster-ssh
    Erőforrás típusa Microsoft.Network/privateLinkServices
    Erőforrás headnode-* (Ennek az értéknek meg kell egyeznie a fürt HDI-telepítési azonosítójával, például headnode-4eafe3a2a67e4cd88762c22a55fe4654)
    Virtuális hálózat hdi-privlink-client-vnet
    Alhálózat alapértelmezett

Fontos

Ha KafkaRestProxy HDInsight-fürtöt használ, kövesse ezt a további lépéseket a privát végpontok engedélyezéséhez.

A privát végpontok létrehozása után elkészült a beállítás ezen fázisával. Ha nem jegyezte fel a végpontokhoz rendelt privát IP-címeket, kövesse az alábbi lépéseket:

  1. Nyissa meg az ügyfél virtuális hálózatát az Azure Portalon.
  2. Kattintson a "Privát végpontok" fülre.
  3. A listában az Ambari és az ssh hálózati adaptereknek is szerepelnie kell.
  4. Kattintson mindegyikre, és lépjen a "DNS-konfiguráció" panelre a privát IP-cím megtekintéséhez.
  5. Jegyezze fel ezeket az IP-címeket, mert a fürthöz való csatlakozáshoz és a DNS megfelelő konfigurálásához szükségesek.

6. lépés: A DNS konfigurálása privát végpontokon keresztüli csatlakozásra

A privát fürtök eléréséhez a DNS-feloldás privát DNS-zónákon keresztül konfigurálható. Az Azure által felügyelt nyilvános DNS-zónában azurehdinsight.net létrehozott Private Link-bejegyzések a következők:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Az alábbi képen egy példa látható azokra a privát DNS-bejegyzésekre, amelyek úgy vannak konfigurálva, hogy lehetővé tegyék a fürthöz való hozzáférést egy olyan virtuális hálózatból, amely nem társviszonyban van, vagy nem rendelkezik közvetlen látóvonallal a fürthöz. Az Azure DNS privát zónájával felülbírálhatja *.privatelink.azurehdinsight.net a teljes tartományneveket (FQDN-eket), és feloldhatja a privát végpontok IP-címeit az ügyfél hálózatában. A konfiguráció csak a példában szerepel <clustername>.azurehdinsight.net , de más fürtvégpontokra is kiterjed.

A Private Link architektúrájának diagramja.

DNS-feloldás konfigurálása saját DNS zónán keresztül:

  1. Hozzon létre egy Azure saját DNS zónát. (Itt nem szerepel az összes konfiguráció, az összes többi konfiguráció az alapértelmezett értékeknél marad)

    Konfigurálás Érték
    Név privatelink.azurehdinsight.net

    A Privát DNS-zóna diagramja.

  2. Adjon hozzá egy rekordkészletet az Ambari saját DNS zónához.

    Konfigurálás Érték
    Név YourPrivateLinkClusterName
    Típus A – Aliasrekord IPv4-címre
    TTL 0
    TTL-egység Óra
    IP Address Privát végpont privát IP-címe az Ambari-hozzáféréshez

    A privát DNS-zóna rekord hozzáadásának diagramja.

  3. Vegyen fel egy rekordkészletet az SSH saját DNS zónájára.

    Konfigurálás Érték
    Név YourPrivateLinkClusterName-ssh
    Típus A – Aliasrekord IPv4-címre
    TTL 0
    TTL-egység Óra
    IP Address Privát végpont privát IP-címe SSH-hozzáféréshez

    A privát kapcsolat dns-zónájának ssh rekord hozzáadása diagramja.

Fontos

Ha KafkaRestProxy HDInsight-fürtöt használ, kövesse az alábbi további lépéseket a DNS konfigurálásához a privát végponton keresztüli csatlakozáshoz.

  1. A privát DNS-zóna társítása az ügyfél virtuális hálózatával virtuális hálózati kapcsolat hozzáadásával.

    1. Nyissa meg a privát DNS-zónát az Azure Portalon.
    2. Kattintson a "Virtuális hálózati hivatkozások" fülre.
    3. Kattintson a Hozzáadás gombra.
    4. Adja meg a részleteket: Hivatkozás neve, előfizetés és virtuális hálózat (az ügyfél virtuális hálózata)
    5. Kattintson a Mentés gombra.

    A virtuális hálózat kapcsolatának diagramja.

7. lépés: Fürtkapcsolat ellenőrzése

Az utolsó lépés a fürthöz való kapcsolódás tesztelése. Mivel ez a fürt elszigetelt vagy privát, nyilvános IP-cím vagy teljes tartománynév használatával nem érhető el. Ehelyett több lehetőségünk is van:

  • Az ügyfél virtuális hálózatához való VPN-hozzáférés beállítása a helyszíni hálózatról
  • Virtuális gép üzembe helyezése az ügyfél virtuális hálózatán, és a fürt elérése ebből a virtuális gépből

Ebben a példában üzembe helyezünk egy virtuális gépet az ügyfél virtuális hálózatában a következő konfigurációval a kapcsolat teszteléséhez.

Konfigurálás Érték
Virtuális gép neve hdi-privlink-client-vm
Kép Windows 10 Pro, 2004-es verzió – Gen1
Nyilvános bejövő portok Kiválasztott portok engedélyezése
Bejövő portok kiválasztása RDP (3389)
Megerősítem, hogy jogosult Windows 10-licenccel rendelkezem... Jelölje be
Virtuális hálózat hdi-privlink-client-vnet
Alhálózat alapértelmezett

Az ügyfél virtuális gépének üzembe helyezése után az Ambari és az SSH-hozzáférést is tesztelheti.

Az Ambari-hozzáférés tesztelése:

  1. Nyisson meg egy webböngészőt a virtuális gépen.
  2. Keresse meg a fürt szokásos teljes tartománynevét: https://<clustername>.azurehdinsight.net
  3. Ha az Ambari felhasználói felülete betöltődik, a konfiguráció helyes az Ambari-hozzáféréshez.

Az ssh-hozzáférés tesztelése:

  1. Nyisson meg egy parancssort egy terminálablak lekéréséhez.
  2. A terminálablakban próbáljon meg SSH-val csatlakozni a fürthöz: ssh sshuser@<clustername>.azurehdinsight.net (Cserélje le az "sshuser" elemet a fürthöz létrehozott ssh-felhasználóra)
  3. Ha tud csatlakozni, a konfiguráció helyes az SSH-hozzáféréshez.

Privát végpontok kezelése a HDInsighthoz

Privát végpontokat használhat az Azure HDInsight-fürtökhöz, hogy a virtuális hálózaton lévő ügyfelek biztonságosan elérhessék a fürtöt a Private Linken keresztül. A virtuális hálózaton lévő ügyfelek és a HDInsight-fürt közötti hálózati forgalom a Microsoft gerinchálózatán halad át, így a nyilvános internetről való kitettség megszűnik.

A privát végpontkezelési felület diagramja.

A Private Link szolgáltatás felhasználói (például az Azure Data Factory) két kapcsolat-jóváhagyási módszer közül választhatnak:

  • Automatikus: Ha a szolgáltatásfelhasználó azure-beli szerepköralapú hozzáférés-vezérlési (RBAC) engedélyekkel rendelkezik a HDInsight-erőforráson, a felhasználó kiválaszthatja az automatikus jóváhagyási módszert. Ebben az esetben, amikor a kérelem eléri a HDInsight-erőforrást, nincs szükség műveletre a HDInsight-erőforrásból, és a kapcsolat automatikusan jóvá lesz hagyva.
  • Manuális: Ha a szolgáltatásfelhasználó nem rendelkezik Azure RBAC-engedélyekkel a HDInsight-erőforráson, a felhasználó kiválaszthatja a manuális jóváhagyási módszert. Ebben az esetben a kapcsolatkérés függőben lévőként jelenik meg a HDInsight-erőforrásokon. A HDInsight-erőforrásnak manuálisan kell jóváhagynia a kérést a kapcsolatok létrehozása előtt.

A privát végpontok kezeléséhez az Azure Portal fürtnézetében lépjen a Biztonság + Hálózatkezelés szakasz Hálózatkezelés szakaszára. Itt láthatja az összes meglévő kapcsolatot, kapcsolati állapotot és privát végpont részleteit.

A meglévő kapcsolatokat is jóváhagyhatja, elutasíthatja vagy eltávolíthatja. Privát kapcsolat létrehozásakor megadhatja, hogy melyik HDInsight-alforráshoz (például átjáró- vagy főcsomóponthoz) szeretne csatlakozni.

Az alábbi táblázat a különböző HDInsight-erőforrásműveleteket és a magánvégpontokból eredő kapcsolati állapotokat mutatja be. A HDInsight-erőforrások később fogyasztói beavatkozás nélkül is módosíthatják a privát végpontkapcsolat kapcsolati állapotát. A művelet frissíti a végpont állapotát a fogyasztói oldalon.

Szolgáltatói művelet Szolgáltatásfelhasználó privát végpontjának állapota Leírás
Egyik sem Függőben A kapcsolat manuálisan jön létre, és a Private Link-erőforrás tulajdonosa jóváhagyásra vár.
Jóváhagyás Engedélyezve A kapcsolat automatikusan vagy manuálisan lett jóváhagyva, és készen áll a használatra.
Elutasítás Elutasítva A Private Link-erőforrás tulajdonosa elutasította a kapcsolatot.
Eltávolítás Leválasztva A private link erőforrás tulajdonosa eltávolította a kapcsolatot. A privát végpont informatív lesz, és törölni kell a törléshez.

Következő lépések