Nakonfigurujte pro clustery Azure HDInsight odchozí síťový provoz přes bránu firewall.
Tento článek obsahuje postup zabezpečení odchozího provozu z clusteru HDInsight pomocí služby Azure Firewall. Následující postup předpokládá, že konfigurujete bránu Azure Firewall pro existující cluster. Pokud nasazujete nový cluster za bránou firewall, nejprve vytvořte cluster a podsíť HDInsight. Pak postupujte podle kroků v tomto průvodci.
Pozadí
Clustery HDInsight se obvykle nasazují ve virtuální síti. Cluster má závislosti na službách mimo danou virtuální síť.
Příchozí provoz správy nejde odesílat přes bránu firewall. Značky služby NSG můžete použít pro příchozí provoz, jak je uvedeno tady.
Závislosti odchozího provozu SLUŽBY HDInsight jsou téměř zcela definované plně kvalifikovanými názvy domén. Které nemají za sebou statické IP adresy. Nedostatek statických adres znamená, že skupiny zabezpečení sítě (NSG) nemůžou uzamknout odchozí provoz z clusteru. IP adresy se často mění tak, že není možné nastavit pravidla na základě aktuálního překladu ip adres a použití.
Zabezpečte odchozí adresy pomocí brány firewall, která může řídit odchozí provoz na základě plně kvalifikovaných názvů domén. Azure Firewall omezuje odchozí provoz na základě plně kvalifikovaného názvu domény cílové značky nebo značky plně kvalifikovaného názvu domény.
Konfigurace služby Azure Firewall se službou HDInsight
Shrnutí kroků pro uzamčení výchozího přenosu dat z existující služby HDInsight pomocí služby Azure Firewall jsou:
- Vytvořte podsíť.
- Vytvořte bránu firewall.
Add application
pravidla pro bránu firewall.- Přidejte do brány firewall pravidla sítě.
- Vytvořte směrovací tabulku.
Vytvoření nové podsítě
Ve virtuální síti, ve které existuje váš cluster, vytvořte podsíť s názvem AzureFirewallSubnet .
Vytvoření nové brány firewall pro cluster
Vytvořte bránu firewall s názvem Test-FW01 pomocí postupu nasazení brány firewall z kurzu: Nasazení a konfigurace služby Azure Firewall pomocí webu Azure Portal.
Konfigurace brány firewall s pravidly aplikace
Vytvořte kolekci pravidel aplikace, která clusteru umožňuje odesílat a přijímat důležité komunikace.
Na webu Azure Portal vyberte novou bránu firewall Test-FW01 .
Přejděte na Nastavení> Rules>Application rule collection>+ Add application rule collection.
Na obrazovce Přidat kolekci pravidel aplikace zadejte následující informace:
Horní oddíl
Vlastnost Hodnota Name FwAppRule Priorita 200 Akce Povolit Oddíl značek plně kvalifikovaných názvů domén
Název Zdrojová adresa Značka plně kvalifikovaného názvu domény Notes Rule_1 * WindowsUpdate a HDInsight Požadováno pro služby HDI Oddíl Cílových plně kvalifikovaných názvů domén
Název Zdrojové adresy Protokol: Port Cílové plně kvalifikované názvy domén Notes Rule_2 * HTTPS:443 login.windows.net Umožňuje aktivitu přihlášení k Windows. Rule_3 * HTTPS:443 login.microsoftonline.com Umožňuje aktivitu přihlášení k Windows. Rule_4 * HTTPS:443 storage_account_name.blob.core.windows.net Nahraďte storage_account_name
skutečným názvem účtu úložiště. Ujistěte se, že je v účtu úložiště povolený zabezpečený přenos . Pokud pro přístup k účtům úložiště používáte privátní koncový bod, tento krok není potřeba a provoz úložiště se nepřesměruje do brány firewall.Rule_5 * http:80 azure.archive.ubuntu.com Umožňuje instalaci aktualizací zabezpečení Ubuntu v clusteru. Vyberte Přidat.
Konfigurace brány firewall s pravidly sítě
Vytvořte síťová pravidla pro správnou konfiguraci clusteru HDInsight.
Pokračujte z předchozího kroku a přejděte do kolekce>
+ Add network rule collection
pravidel sítě.Add network rule collection
Na obrazovce zadejte následující informace:Horní oddíl
Vlastnost Hodnota Name FwNetRule Priorita 200 Akce Povolit Oddíl Značky služeb
Název Protokol Zdrojové adresy Značky služeb Cílové porty Notes Rule_6 TCP * SQL 1433, 11000-11999 Pokud používáte výchozí sql servery poskytované službou HDInsight, nakonfigurujte pravidlo sítě v části Značky služeb pro SQL, které vám umožní protokolovat a auditovat provoz SQL. Pokud jste nenakonfigurovali koncové body služby pro SQL Server v podsíti HDInsight, která bránu firewall vynechá. Pokud používáte vlastní SQL server pro Ambari, Oozie, Ranger a metastore Hive, stačí povolit provoz jenom na vlastní SQL Servery. Podívejte se na architekturu připojení Azure SQL Database a Azure Synapse Analytics a zjistěte, proč je kromě 1433 potřeba rozsah portů 11000–11999. Rule_7 TCP * Azure Monitor * (volitelné) Zákazníci, kteří plánují používat funkci automatického škálování, by měli toto pravidlo přidat. Vyberte Přidat.
Vytvoření a konfigurace směrovací tabulky
Vytvořte směrovací tabulku s následujícími položkami:
Všechny IP adresy ze služeb Stav a správa s typem dalšího segmentu směrování internetu. Měla by obsahovat 4 IP adresy obecných oblastí a také 2 IP adresy pro vaši konkrétní oblast. Toto pravidlo je potřeba pouze v případě, že je resourceProvider Připojení ion nastavený na Příchozí. Pokud je ResourceProvider Připojení ion nastavený na Odchozí, tyto IP adresy nejsou potřeba v trasách definovanou uživatelem.
Jedna trasa virtuálního zařízení pro IP adresu 0.0.0.0/0 s dalším segmentem směrování, který je vaší privátní IP adresou služby Azure Firewall.
Pokud chcete například nakonfigurovat směrovací tabulku pro cluster vytvořený v oblasti USA – východ, postupujte takto:
Vyberte test brány Azure Firewall Test-FW01. Zkopírujte privátní IP adresu uvedenou na stránce Přehled. V tomto příkladu použijeme ukázkovou adresu 10.0.2.4.
Pak přejděte na Všechny služby>Síťové>směrovací tabulky a vytvořte směrovací tabulku.
Z nové trasy přejděte na Nastavení> Routes>+ Přidat. Přidejte následující trasy:
Název trasy | Předpona adresy | Typ dalšího směrování | Adresa dalšího segmentu |
---|---|---|---|
168.61.49.99 | 168.61.49.99/32 | Internet | NA |
23.99.5.239 | 23.99.5.239/32 | Internet | NA |
168.61.48.131 | 168.61.48.131/32 | Internet | NA |
138.91.141.162 | 138.91.141.162/32 | Internet | NA |
13.82.225.233 | 13.82.225.233/32 | Internet | NA |
40.71.175.99 | 40.71.175.99/32 | Internet | NA |
0.0.0.0 | 0.0.0.0/0 | Virtuální zařízení | 10.0.2.4 |
Dokončete konfiguraci směrovací tabulky:
Přiřaďte směrovací tabulku, kterou jste vytvořili, do podsítě HDInsight výběrem podsítí v části Nastavení.
Vyberte + Přidružit.
Na obrazovce Přidružit podsíť vyberte virtuální síť, do které byl cluster vytvořen. A podsíť, kterou jste použili pro cluster HDInsight.
Vyberte OK.
Provoz hraničních uzlů nebo vlastních aplikací
Výše uvedené kroky umožní clusteru pracovat bez problémů. Stále potřebujete nakonfigurovat závislosti tak, aby vyhovovaly vašim vlastním aplikacím běžícím na hraničních uzlech, pokud je to možné.
Závislosti aplikací musí být identifikovány a přidány do brány Azure Firewall nebo směrovací tabulky.
Aby nedocházelo k problémům s asymetrickým směrováním, je nutné vytvořit trasy pro provoz aplikace.
Pokud vaše aplikace mají jiné závislosti, je potřeba je přidat do brány Azure Firewall. Vytvořte pravidla aplikace, která povolí provoz HTTP/HTTPS a pravidla sítě pro všechno ostatní.
Protokolování a škálování
Azure Firewall může odesílat protokoly do několika různých systémů úložiště. Pokyny ke konfiguraci protokolování pro bránu firewall najdete v postupu v kurzu: Monitorování protokolů a metrik brány Azure Firewall.
Po dokončení nastavení protokolování můžete v případě, že používáte Log Analytics, zobrazit blokovaný provoz pomocí dotazu, například:
AzureDiagnostics | where msg_s contains "Deny" | where TimeGenerated >= ago(1h)
Integrace služby Azure Firewall s protokoly služby Azure Monitor je užitečná při prvním zprovoznění aplikace. Zvlášť když neznáte všechny závislosti aplikace. Další informace o protokolech služby Azure Monitor najdete v tématu Analýza dat protokolů ve službě Azure Monitor.
Další informace o limitech škálování služby Azure Firewall a zvýšení požadavků najdete v tomto dokumentu nebo v nejčastějších dotazech.
Přístup ke clusteru
Po úspěšném nastavení brány firewall můžete použít interní koncový bod (https://CLUSTERNAME-int.azurehdinsight.net
) pro přístup k Ambari z virtuální sítě.
Pokud chcete použít veřejný koncový bod (https://CLUSTERNAME.azurehdinsight.net
) nebo koncový bod ssh (CLUSTERNAME-ssh.azurehdinsight.net
), ujistěte se, že máte správné trasy v směrovací tabulce a pravidlech skupiny zabezpečení sítě, abyste se vyhnuli problému s asymetrickým směrováním, který je zde vysvětlený. Konkrétně v tomto případě musíte povolit IP adresu klienta v pravidlech příchozí skupiny zabezpečení sítě a přidat ji také do směrovací tabulky definované uživatelem s dalším segmentem směrování nastaveným jako internet
. Pokud směrování není správně nastavené, zobrazí se chyba časového limitu.
Další kroky
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro