A HDInsight hálózati forgalmának szabályozása az AKS-fürtkészleteken és -fürtökön
Fontos
Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.
Az AKS-en futó HDInsight egy felügyelt platform szolgáltatásként (PaaS), amely az Azure Kubernetes Service-en (AKS) fut. Az AKS-en futó HDInsight lehetővé teszi olyan népszerű Open-Source Analytics-számítási feladatok üzembe helyezését, mint az Apache Spark™, az Apache Flink®️ és a Trino, anélkül, hogy a tárolók kezelése és monitorozása többlettere lenne.
Alapértelmezés szerint az AKS-fürtökön futó HDInsight engedélyezi a fürtökről bármely célhelyre irányuló kimenő hálózati kapcsolatokat, ha a cél a csomópont hálózati adapteréről érhető el. Ez azt jelenti, hogy a fürterőforrások bármilyen nyilvános vagy magánhálózati IP-címet, tartománynevet vagy URL-címet elérhetik az interneten vagy a virtuális hálózaton.
Bizonyos esetekben azonban biztonsági, megfelelőségi okokból érdemes lehet szabályozni vagy korlátozni a fürt kimenő forgalmát.
Előfordulhat például, hogy a következőt szeretné:
Megakadályozza, hogy a fürtök rosszindulatú vagy nemkívánatos szolgáltatásokat férjenek hozzá.
Hálózati házirendek vagy tűzfalszabályok kényszerítése a kimenő forgalomra.
Hibaelhárítási vagy megfelelőségi célokból figyelheti vagy naplózhatja a fürt kimenő forgalmát.
A kimenő forgalom szabályozására használható módszerek és eszközök
Különböző lehetőségekkel és eszközökkel kezelheti, hogy a kimenő forgalom hogyan áramlik a HDInsightból az AKS-fürtökön. Ezek közül néhányat a fürtkészlet szintjén, másokat pedig a fürt szintjén állíthat be.
Kimenő forgalom a terheléselosztóval. Amikor ezzel a kimenő útvonallal üzembe helyez egy fürtkészletet, a rendszer kiépít egy nyilvános IP-címet, és hozzá van rendelve a terheléselosztó-erőforráshoz. Egyéni virtuális hálózatra (VNET) nincs szükség; azonban erősen ajánlott. Az egyéni virtuális hálózaton az Azure Firewall vagy a hálózati biztonsági csoportok (NSG-k) használatával kezelheti a hálózatot elhagyó forgalmat.
Kimenő, felhasználó által megadott útválasztással. Amikor ezzel a kimenő útvonallal üzembe helyez egy fürtkészletet, a felhasználó az alhálózat szintjén kezelheti a kimenő forgalmat az Azure Firewall/NAT Gateway használatával, valamint egyéni útvonaltáblákkal. Ez a beállítás csak egyéni virtuális hálózat használatakor érhető el.
Privát AKS engedélyezése. Ha engedélyezi a privát AKS-t a fürtkészleten, az AKS API-kiszolgálóhoz egy belső IP-cím lesz hozzárendelve, és nyilvánosan nem lesz elérhető. Az AKS API-kiszolgáló és az AKS-csomópontkészletek (fürtök) HDInsightja közötti hálózati forgalom a magánhálózaton marad.
Privát bejövő fürt. Ha engedélyezve van a privát bejövő forgalom beállítással rendelkező fürt üzembe helyezése, a rendszer nem hoz létre nyilvános IP-címet, és a fürt csak ugyanazon a virtuális hálózaton belüli ügyfelekről lesz elérhető. A kimenő, nyilvános HDInsighthoz való csatlakozáshoz meg kell adnia egy saját NAT-megoldást, például egy NAT-átjárót vagy egy tűzfal által biztosított NAT-t.
A következő szakaszokban részletesen ismertetjük az egyes metódusokat.
Kimenő forgalom terheléselosztóval
A terheléselosztó egy HDInsighton keresztüli kimenő forgalomhoz használatos az AKS által hozzárendelt nyilvános IP-címen. Amikor a fürtkészleten konfigurálja a kimenő terheléselosztó típusát, a HDInsight által az AKS-en létrehozott terheléselosztóból kimenő forgalom várható.
A kimenő forgalmat a terheléselosztó konfigurációjával konfigurálhatja az Azure Portal használatával.
Ha ezt a konfigurációt választotta, a HDInsight az AKS-en automatikusan befejezi a fürt kimenő és terheléselosztó erőforrásához hozzárendelt nyilvános IP-cím létrehozását.
A HDInsight által az AKS-en létrehozott nyilvános IP-cím, amely egy AKS által felügyelt erőforrás, ami azt jelenti, hogy az AKS felügyeli a nyilvános IP-cím életciklusát, és nem igényel felhasználói műveletet közvetlenül a nyilvános IP-erőforráson.
Fürtök létrehozásakor bizonyos bejövő nyilvános IP-címek is létrejönnek.
Ahhoz, hogy a kérelmeket elküldhesse a fürtnek, engedélyeznie kell a forgalomlistát. Az NSG-ben bizonyos szabályokat is konfigurálhat durva szemcsés vezérlésre.
Kimenő, felhasználó által megadott útválasztással
Feljegyzés
A userDefinedRouting kimenő típus egy speciális hálózati forgatókönyv, és a kezdés előtt megfelelő hálózati konfigurációt igényel.
A fürtkészlet létrehozása után a kimenő típus módosítása nem támogatott.
Ha a userDefinedRouting be van állítva, az AKS-en futó HDInsight nem konfigurálja automatikusan a kimenő útvonalakat. A kimenő forgalom beállítását a felhasználónak kell elvégeznie.
A HDInsightot az AKS-fürtön egy korábban konfigurált alhálózattal rendelkező meglévő virtuális hálózatba kell telepítenie, és explicit kimenő forgalmat kell létrehoznia.
Ehhez az architektúrához explicit módon kell kimenő forgalmat küldeni egy berendezésnek, például tűzfalnak, átjárónak vagy proxynak, hogy a standard terheléselosztóhoz vagy berendezéshez rendelt nyilvános IP-cím kezelni tudja a hálózati címfordítást (NAT).
Az AKS-en futó HDInsight nem konfigurál kimenő nyilvános IP-címet vagy kimenő szabályokat, ellentétben a terheléselosztó típusú fürtökkel, a fenti szakaszban leírtak szerint. Az UDR az egyetlen forrás a kimenő forgalomhoz.
Bejövő forgalom esetén a magánfürt kiválasztásának követelményei alapján kell választania (az AKS vezérlősíkon/API-kiszolgálón történő forgalom biztonságossá tételéhez), és az egyes fürtalakzatokon elérhető privát bejövőforgalom-beállítást kell választania a nyilvános vagy belső terheléselosztó-alapú forgalom használatához.
Fürtkészlet létrehozása kimenő forgalomhoz userDefinedRouting
Ha HDInsightot használ az AKS-fürtkészleteken, és kimenő útvonalként a userDefinedRouting (UDR) lehetőséget választja, nincs kiépítve standard terheléselosztó. A kimenő erőforrások tűzfalszabályát be kell állítania a működéshez userDefinedRouting .
Fontos
Az UDR kimenő útvonalához a 0.0.0.0/0 útvonalra és a tűzfal vagy az NVA következő ugrási céljára van szükség az útvonaltáblában. Az útvonaltáblának már van alapértelmezett 0.0.0.0/0 értéke az internetre. Az útvonal hozzáadásával nem lehet kimenő internetkapcsolatot létesíteni, mert az Azure-nak nyilvános IP-címre van szüksége az SNAT-hez. Az AKS ellenőrzi, hogy nem az internetre mutató 0.0.0.0/0-s útvonalat hoz létre, hanem átjáróra, NVA-ra stb. UDR használata esetén a terheléselosztó nyilvános IP-címe csak akkor jön létre a bejövő kérésekhez, ha terheléselosztó típusú szolgáltatást konfigurál. A HDInsight az AKS-en soha nem hoz létre nyilvános IP-címet a kimenő kérésekhez UDR kimenő elérési út használatakor.
Az alábbi lépésekkel megtudhatja, hogyan zárolhatja a HDInsight kimenő forgalmát az AKS-szolgáltatásból a háttérbeli Azure-erőforrásokba vagy más hálózati erőforrásokba az Azure Firewall használatával. Ez a konfiguráció segít megelőzni az adatok kiszivárgását vagy a rosszindulatú programbeültetés kockázatát.
Az Azure Firewall segítségével sokkal részletesebb szinten szabályozhatja a kimenő forgalmat, és szűrheti a forgalmat a Microsoft Cyber Security valós idejű fenyegetésfelderítése alapján. Központilag hozhatja létre, érvényesítheti és naplózhatja az alkalmazás- és hálózatelérési szabályzatokat az előfizetésekre és a virtuális hálózatokra vonatkozóan.
Az alábbiakban egy példa látható a tűzfalszabályok beállítására és a kimenő kapcsolatok tesztelésére
Íme egy példa a tűzfalszabályok konfigurálására és a kimenő kapcsolatok ellenőrzésére.
A szükséges tűzfalalhálózat létrehozása
Ha tűzfalat szeretne üzembe helyezni az integrált virtuális hálózaton, szüksége van egy AzureFirewallSubnet nevű alhálózatra vagy egy tetszőleges névre.
Az Azure Portalon keresse meg az alkalmazással integrált virtuális hálózatot.
A bal oldali navigációs sávon válassza az Alhálózatok > + Alhálózat lehetőséget.
Írja be az AzureFirewallSubnet nevet.
Alhálózati címtartomány, fogadja el az alapértelmezett értéket, vagy adjon meg egy legalább /26 méretű tartományt.
Válassza a Mentés lehetőséget.
A tűzfal üzembe helyezése és AZ IP-cím lekérése
Az Azure Portal menüjében vagy a Kezdőlapon válassza az Erőforrás létrehozása elemet.
Írja be a tűzfalat a keresőmezőbe, és nyomja le az Enter billentyűt.
Válassza a Tűzfal, majd a Létrehozás lehetőséget.
A Tűzfal létrehozása lapon konfigurálja a tűzfalat az alábbi táblázatban látható módon:
Beállítás Érték Erőforráscsoport Ugyanaz az erőforráscsoport, mint az integrált virtuális hálózat. Név A választott név Régió Ugyanaz a régió, mint az integrált virtuális hálózat. Tűzfalszabályzat Hozzon létre egyet az Új hozzáadása gombra kattintva. Virtuális hálózat Válassza ki az integrált virtuális hálózatot. Nyilvános IP-cím Válasszon ki egy meglévő címet, vagy hozzon létre egyet az Új hozzáadása gombra kattintva. 
Kattintson a Felülvizsgálat + létrehozás elemre.
Válassza ismét a Létrehozás lehetőséget. Ez a folyamat üzembe helyezése néhány percet vesz igénybe.
Az üzembe helyezés befejezése után lépjen az erőforráscsoportra, és válassza ki a tűzfalat.
A tűzfal Áttekintés lapján másolja ki a magánhálózati IP-címet. A privát IP-cím lesz a következő ugrási cím a virtuális hálózat útválasztási szabályában.
Az összes forgalom átirányítása a tűzfalra
Virtuális hálózat létrehozásakor az Azure automatikusan létrehoz egy alapértelmezett útvonaltáblát az egyes alhálózataihoz, és hozzáadja a rendszer alapértelmezett útvonalait a táblához. Ebben a lépésben létrehoz egy felhasználó által definiált útvonaltáblát, amely az összes forgalmat a tűzfalra irányítja, majd társítja azt az integrált virtuális hálózat App Service-alhálózatával.
Az Azure Portal menüjében válassza a Minden szolgáltatás lehetőséget, vagy keresse meg és válassza az Összes szolgáltatást bármelyik lapról.
A Hálózatkezelés csoportban válassza az Útvonaltáblák lehetőséget.
Válassza a Hozzáadás lehetőséget.
Konfigurálja az útvonaltáblát az alábbi példához hasonlóan:
Győződjön meg arról, hogy ugyanazt a régiót választja ki, mint a létrehozott tűzfal.
Válassza az Áttekintés + létrehozás lehetőséget.
Válassza a Létrehozás lehetőséget.
Az üzembe helyezés befejezése után válassza az Ugrás az erőforrásra lehetőséget.
A bal oldali navigációs sávon válassza az Útvonalak > hozzáadása lehetőséget.
Konfigurálja az új útvonalat az alábbi táblázatban látható módon:
Beállítás Érték Cél típusa IP-címek Cél IP-címek/CIDR-tartományok 0.0.0.0/0 A következő ugrás típusa Virtuális berendezés A következő ugrás címe A másolt tűzfal privát IP-címe A bal oldali navigációs sávon válassza az Alhálózatok társítása >lehetőséget.
A virtuális hálózatban válassza ki az integrált virtuális hálózatot.
Az Alhálózatban válassza ki a használni kívánt AKS-alhálózaton található HDInsightot.
Kattintson az OK gombra.
Tűzfalszabályzatok konfigurálása
Az AKS-alhálózaton lévő HDInsight kimenő forgalma mostantól az integrált virtuális hálózaton keresztül a tűzfalra lesz irányítva. A kimenő forgalom szabályozásához adjon hozzá egy alkalmazásszabályt a tűzfalszabályzathoz.
Lépjen a tűzfal áttekintési oldalára, és válassza ki annak tűzfalszabályzatát.
A tűzfalszabályzat lap bal oldali navigációs sávján adja hozzá a hálózati és alkalmazásszabályokat. Válassza például a Hálózati szabályok > szabálygyűjtemény hozzáadása lehetőséget.
A Szabályok területen adjon hozzá egy hálózati szabályt az alhálózattal forráscímként, és adjon meg egy teljes tartománynév-célhelyet. Ehhez hasonlóan adja hozzá az alkalmazásszabályokat.
- Az itt megadott kimenő forgalmi szabályokat hozzá kell adnia. Ebben a dokumentumban alkalmazás- és hálózati szabályokat adhat hozzá, amelyek lehetővé teszik a fürt forgalmának működését. (Az AKS ApiServert a clusterPool létrehozása után kell hozzáadni, mert az AKS ApiServer csak a clusterPool létrehozása után szerezhető be).
- A fürthöz tartozó alhálózatban lévő függő erőforrások privát végpontjait is hozzáadhatja azokhoz való hozzáféréshez (például tárolás).
Válassza a Hozzáadás lehetőséget.
Annak ellenőrzése, hogy létrejött-e a nyilvános IP-cím
A tűzfalszabályok beállításával kiválaszthatja az alhálózatot a fürtkészlet létrehozása során.
A fürtkészlet létrehozása után az MC-csoportban megfigyelheti, hogy nincs nyilvános IP-cím létrehozva.
Fontos
Mielőtt létrehozna egy fürtöt a fürtkészlet beállításában kimenő útvonallal Outbound with userDefinedRouting , meg kell adnia az AKS-fürtöt – amely megfelel a fürtkészletnek – az Network Contributor útválasztás meghatározásához használt hálózati erőforrásokon lévő szerepkört, például a virtuális hálózatot, az útvonaltáblát és az NSG-t (ha használják). További információ a szerepkör hozzárendeléséről
Feljegyzés
Ha UDR kimenő elérési úttal és privát bejövő fürttel rendelkező fürtkészletet helyez üzembe, a HDInsight az AKS-en automatikusan létrehoz egy privát DNS-zónát, és leképezi a bejegyzéseket, hogy feloldja a teljes tartománynevet a fürt eléréséhez.
Fürtkészlet létrehozása privát AKS-sel
Privát AKS esetén a vezérlősík vagy az API-kiszolgáló belső IP-címekkel rendelkezik, amelyeket a RFC1918 – Privát internetes dokumentum címfoglalása című témakörben definiáltak. A privát AKS ezen beállításával biztosíthatja, hogy az API-kiszolgáló és a HDInsight közötti hálózati forgalom csak a magánhálózaton maradjon az AKS számítási feladatfürtökön.
Privát AKS-fürt kiépítésekor az AKS alapértelmezés szerint létrehoz egy privát teljes tartománynevet (FQDN-t) a privát DNS-zónával, valamint egy másik, nyilvános FQDN-t az Azure nyilvános DNS-ében lévő megfelelő A-rekorddal. Az ügynökcsomópontok továbbra is a privát DNS-zónában lévő rekordot használják a privát végpont privát IP-címének feloldásához az API-kiszolgálóval való kommunikációhoz.
Mivel a HDInsight az AKS-en automatikusan beszúrja a rekordot a privát DNS-zónába a HDInsightban a felügyelt AKS-csoporton, privát bejövő forgalom esetén.
Privát bejövő forgalommal rendelkező fürtök
Amikor HDInsighttal rendelkező fürtöt hoz létre az AKS-en, a fürt nyilvános teljes tartománynevével és IP-címével rendelkezik, amelyhez bárki hozzáférhet. A privát bejövő forgalom funkcióval meggyőződhet arról, hogy csak a magánhálózat tud adatokat küldeni és fogadni az ügyfél és az AKS-fürt HDInsightja között.
Feljegyzés
Ezzel a funkcióval a HDInsight az AKS-en automatikusan A-rekordokat hoz létre a privát DNS-zónában a bejövő forgalomhoz.
Ez a funkció megakadályozza a fürt nyilvános internetkapcsolatát. A fürt belső terheléselosztót és privát IP-címet kap. Az AKS-en futó HDInsight a fürtkészlet által létrehozott privát DNS-zónát használja a fürt virtuális hálózatának csatlakoztatásához és a névfeloldáshoz.
Minden privát fürt két teljes tartománynevet tartalmaz: a nyilvános teljes tartománynevet és a magánhálózati teljes tartománynevet.
Nyilvános teljes tartománynév: {clusterName}.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net
A nyilvános teljes tartománynév csak altartományú CNAME-ra oldható fel, ezért helyesen Private DNS zone setting kell használni annak érdekében, hogy a teljes tartománynév végre megoldható legyen a privát IP-cím javítása érdekében.
A saját DNS zónának képesnek kell lennie feloldani a magánhálózati teljes tartománynevet egy IP-címre (privatelink.{clusterPoolName}.{subscriptionId}).
Feljegyzés
Az AKS HDInsight privát DNS-zónát hoz létre a fürtkészletben, a virtuális hálózaton. Ha az ügyfélalkalmazások ugyanabban a virtuális hálózatban vannak, nem kell újból konfigurálnia a privát DNS-zónát. Ha egy ügyfélalkalmazást egy másik virtuális hálózaton használ, a virtuális fürtkészlet virtuális hálózatában a privát DNS-zónához való virtuális társviszony-létesítést és kötést kell használnia, vagy privát végpontokat kell használnia a virutal-hálózatban és a privát DNS-zónákban, hogy hozzáadja az A-rekordot a privát végpont privát IP-címéhez.
Magánhálózati teljes tartománynév: {clusterName}.privatelink.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net
A privát teljes tartománynév csak a privát bejövő forgalom engedélyezésével rendelkező fürtökhöz lesz hozzárendelve. Ez egy A-RECORD a privát DNS-zónában, amely feloldja a fürt privát IP-címét.
Referencia
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: