Sdílet prostřednictvím

Nakonfigurujte pro clustery Azure HDInsight odchozí síťový provoz přes bránu firewall.

  • Článek

Tento článek obsahuje postup zabezpečení odchozího provozu z clusteru HDInsight pomocí služby Azure Firewall. Následující postup předpokládá, že konfigurujete bránu Azure Firewall pro existující cluster. Pokud nasazujete nový cluster za bránou firewall, nejprve vytvořte cluster a podsíť HDInsight. Pak postupujte podle kroků v tomto průvodci.

Pozadí

Clustery HDInsight se obvykle nasazují ve virtuální síti. Cluster má závislosti na službách mimo danou virtuální síť.

Příchozí provoz správy nejde odesílat přes bránu firewall. Značky služby NSG můžete použít pro příchozí provoz, jak je uvedeno tady.

Závislosti odchozího provozu SLUŽBY HDInsight jsou téměř zcela definované plně kvalifikovanými názvy domén. Které nemají za sebou statické IP adresy. Nedostatek statických adres znamená, že skupiny zabezpečení sítě (NSG) nemůžou uzamknout odchozí provoz z clusteru. IP adresy se často mění tak, že není možné nastavit pravidla na základě aktuálního překladu ip adres a použití.

Zabezpečte odchozí adresy pomocí brány firewall, která může řídit odchozí provoz na základě plně kvalifikovaných názvů domén. Azure Firewall omezuje odchozí provoz na základě plně kvalifikovaného názvu domény cílové značky nebo značky plně kvalifikovaného názvu domény.

Konfigurace služby Azure Firewall se službou HDInsight

Shrnutí kroků pro uzamčení výchozího přenosu dat z existující služby HDInsight pomocí služby Azure Firewall jsou:

  1. Vytvořte podsíť.
  2. Vytvořte bránu firewall.
  3. Add application pravidla pro bránu firewall.
  4. Přidejte do brány firewall pravidla sítě.
  5. Vytvořte směrovací tabulku.

Vytvoření nové podsítě

Ve virtuální síti, ve které existuje váš cluster, vytvořte podsíť s názvem AzureFirewallSubnet .

Vytvoření nové brány firewall pro cluster

Vytvořte bránu firewall s názvem Test-FW01 pomocí postupu nasazení brány firewall z kurzu: Nasazení a konfigurace služby Azure Firewall pomocí webu Azure Portal.

Konfigurace brány firewall s pravidly aplikace

Vytvořte kolekci pravidel aplikace, která clusteru umožňuje odesílat a přijímat důležité komunikace.

  1. Na webu Azure Portal vyberte novou bránu firewall Test-FW01 .

  2. Přejděte na Nastavení> Rules>Application rule collection>+ Add application rule collection.

    Název: Přidejte kolekci pravidel aplikace.

  3. Na obrazovce Přidat kolekci pravidel aplikace zadejte následující informace:

    Horní oddíl

    Vlastnost Hodnota
    Name FwAppRule
    Priorita 200
    Akce Povolit

    Oddíl značek plně kvalifikovaných názvů domén

    Název Zdrojová adresa Značka plně kvalifikovaného názvu domény Notes
    Rule_1 * WindowsUpdate a HDInsight Požadováno pro služby HDI

    Oddíl Cílových plně kvalifikovaných názvů domén

    Název Zdrojové adresy Protokol: Port Cílové plně kvalifikované názvy domén Notes
    Rule_2 * HTTPS:443 login.windows.net Umožňuje aktivitu přihlášení k Windows.
    Rule_3 * HTTPS:443 login.microsoftonline.com Umožňuje aktivitu přihlášení k Windows.
    Rule_4 * HTTPS:443 storage_account_name.blob.core.windows.net Nahraďte storage_account_name skutečným názvem účtu úložiště. Ujistěte se, že je v účtu úložiště povolený zabezpečený přenos . Pokud pro přístup k účtům úložiště používáte privátní koncový bod, tento krok není potřeba a provoz úložiště se nepřesměruje do brány firewall.
    Rule_5 * http:80 azure.archive.ubuntu.com Umožňuje instalaci aktualizací zabezpečení Ubuntu v clusteru.

    Název: Zadejte podrobnosti o kolekci pravidel aplikace.

  4. Vyberte Přidat.

Konfigurace brány firewall s pravidly sítě

Vytvořte síťová pravidla pro správnou konfiguraci clusteru HDInsight.

  1. Pokračujte z předchozího kroku a přejděte do kolekce>+ Add network rule collection pravidel sítě.

  2. Add network rule collection Na obrazovce zadejte následující informace:

    Horní oddíl

    Vlastnost Hodnota
    Name FwNetRule
    Priorita 200
    Akce Povolit

    Oddíl Značky služeb

    Název Protokol Zdrojové adresy Značky služeb Cílové porty Notes
    Rule_6 TCP * SQL 1433, 11000-11999 Pokud používáte výchozí sql servery poskytované službou HDInsight, nakonfigurujte pravidlo sítě v části Značky služeb pro SQL, které vám umožní protokolovat a auditovat provoz SQL. Pokud jste nenakonfigurovali koncové body služby pro SQL Server v podsíti HDInsight, která bránu firewall vynechá. Pokud používáte vlastní SQL server pro Ambari, Oozie, Ranger a metastore Hive, stačí povolit provoz jenom na vlastní SQL Servery. Podívejte se na architekturu připojení Azure SQL Database a Azure Synapse Analytics a zjistěte, proč je kromě 1433 potřeba rozsah portů 11000–11999.
    Rule_7 TCP * Azure Monitor * (volitelné) Zákazníci, kteří plánují používat funkci automatického škálování, by měli toto pravidlo přidat.

    Název: Zadejte kolekci pravidel aplikace.

  3. Vyberte Přidat.

Vytvoření a konfigurace směrovací tabulky

Vytvořte směrovací tabulku s následujícími položkami:

  • Všechny IP adresy ze služeb Stav a správa s typem dalšího segmentu směrování internetu. Měla by obsahovat 4 IP adresy obecných oblastí a také 2 IP adresy pro vaši konkrétní oblast. Toto pravidlo je potřeba pouze v případě, že je resourceProvider Připojení ion nastavený na Příchozí. Pokud je ResourceProvider Připojení ion nastavený na Odchozí, tyto IP adresy nejsou potřeba v trasách definovanou uživatelem.

  • Jedna trasa virtuálního zařízení pro IP adresu 0.0.0.0/0 s dalším segmentem směrování, který je vaší privátní IP adresou služby Azure Firewall.

Pokud chcete například nakonfigurovat směrovací tabulku pro cluster vytvořený v oblasti USA – východ, postupujte takto:

  1. Vyberte test brány Azure Firewall Test-FW01. Zkopírujte privátní IP adresu uvedenou na stránce Přehled. V tomto příkladu použijeme ukázkovou adresu 10.0.2.4.

  2. Pak přejděte na Všechny služby>Síťové>směrovací tabulky a vytvořte směrovací tabulku.

  3. Z nové trasy přejděte na Nastavení> Routes>+ Přidat. Přidejte následující trasy:

Název trasy Předpona adresy Typ dalšího směrování Adresa dalšího segmentu
168.61.49.99 168.61.49.99/32 Internet NA
23.99.5.239 23.99.5.239/32 Internet NA
168.61.48.131 168.61.48.131/32 Internet NA
138.91.141.162 138.91.141.162/32 Internet NA
13.82.225.233 13.82.225.233/32 Internet NA
40.71.175.99 40.71.175.99/32 Internet NA
0.0.0.0 0.0.0.0/0 Virtuální zařízení 10.0.2.4

Dokončete konfiguraci směrovací tabulky:

  1. Přiřaďte směrovací tabulku, kterou jste vytvořili, do podsítě HDInsight výběrem podsítí v části Nastavení.

  2. Vyberte + Přidružit.

  3. Na obrazovce Přidružit podsíť vyberte virtuální síť, do které byl cluster vytvořen. A podsíť, kterou jste použili pro cluster HDInsight.

  4. Vyberte OK.

Provoz hraničních uzlů nebo vlastních aplikací

Výše uvedené kroky umožní clusteru pracovat bez problémů. Stále potřebujete nakonfigurovat závislosti tak, aby vyhovovaly vašim vlastním aplikacím běžícím na hraničních uzlech, pokud je to možné.

Závislosti aplikací musí být identifikovány a přidány do brány Azure Firewall nebo směrovací tabulky.

Aby nedocházelo k problémům s asymetrickým směrováním, je nutné vytvořit trasy pro provoz aplikace.

Pokud vaše aplikace mají jiné závislosti, je potřeba je přidat do brány Azure Firewall. Vytvořte pravidla aplikace, která povolí provoz HTTP/HTTPS a pravidla sítě pro všechno ostatní.

Protokolování a škálování

Azure Firewall může odesílat protokoly do několika různých systémů úložiště. Pokyny ke konfiguraci protokolování pro bránu firewall najdete v postupu v kurzu: Monitorování protokolů a metrik brány Azure Firewall.

Po dokončení nastavení protokolování můžete v případě, že používáte Log Analytics, zobrazit blokovaný provoz pomocí dotazu, například:

AzureDiagnostics | where msg_s contains "Deny" | where TimeGenerated >= ago(1h)

Integrace služby Azure Firewall s protokoly služby Azure Monitor je užitečná při prvním zprovoznění aplikace. Zvlášť když neznáte všechny závislosti aplikace. Další informace o protokolech služby Azure Monitor najdete v tématu Analýza dat protokolů ve službě Azure Monitor.

Další informace o limitech škálování služby Azure Firewall a zvýšení požadavků najdete v tomto dokumentu nebo v nejčastějších dotazech.

Přístup ke clusteru

Po úspěšném nastavení brány firewall můžete použít interní koncový bod (https://CLUSTERNAME-int.azurehdinsight.net) pro přístup k Ambari z virtuální sítě.

Pokud chcete použít veřejný koncový bod (https://CLUSTERNAME.azurehdinsight.net) nebo koncový bod ssh (CLUSTERNAME-ssh.azurehdinsight.net), ujistěte se, že máte správné trasy v směrovací tabulce a pravidlech skupiny zabezpečení sítě, abyste se vyhnuli problému s asymetrickým směrováním, který je zde vysvětlený. Konkrétně v tomto případě musíte povolit IP adresu klienta v pravidlech příchozí skupiny zabezpečení sítě a přidat ji také do směrovací tabulky definované uživatelem s dalším segmentem směrování nastaveným jako internet. Pokud směrování není správně nastavené, zobrazí se chyba časového limitu.

Další kroky