Povolení služby Private Link v clusteru HDInsight

  • Článek

V tomto článku se dozvíte o použití služby Azure Private Link k privátnímu připojení ke clusteru HDInsight napříč sítěmi přes páteřní síť Microsoftu. Tento článek je rozšířením článku Omezení připojení clusteru v Azure HDInsight, který se zaměřuje na omezení veřejného připojení. Pokud chcete veřejné připojení ke clusterům HDInsight nebo v rámci nich a závislých prostředků, zvažte omezení připojení clusteru podle pokynů v tématu Řízení síťového provozu ve službě Azure HDInsight.

Private Link je možné použít ve scénářích mezi sítěmi, ve kterých není partnerský vztah virtuálních sítí dostupný nebo povolený.

Poznámka:

Omezení veřejného připojení je předpokladem pro povolení služby Private Link a nemělo by se považovat za stejnou funkci.

Použití služby Private Link pro připojení ke clusteru HDInsight je volitelná funkce a ve výchozím nastavení je zakázaná. Tato funkce je dostupná pouze v případě resourceProviderConnection , že je vlastnost sítě nastavená na odchozí, jak je popsáno v článku Omezení připojení clusteru v Azure HDInsight.

Pokud privateLink je tato možnost nastavená jako povolená, vytvoří se interní nástroje pro vyrovnávání zatížení úrovně Standard a pro každý SLB se zřídí služba Azure Private Link. Služba Private Link umožňuje přístup ke clusteru HDInsight z privátních koncových bodů.

Úspěšné vytvoření clusteru Private Link provede mnoho kroků, takže jsme je zde nastínili. Postupujte podle každého z následujících kroků a ujistěte se, že je všechno správně nastavené.

Krok 1: Vytvoření požadavků

Pokud je chcete spustit, nasaďte následující prostředky, pokud jste je ještě nevytvořili. Abyste mohli připojit podsíť, ve které se cluster HDInsight nasadí, musíte mít aspoň jednu skupinu prostředků, dvě virtuální sítě a skupinu zabezpečení sítě.

Typ Název Účel
Skupina prostředků hdi-privlink-rg Používá se k udržování společných prostředků
Virtuální síť hdi-privlink-cluster-vnet Virtuální síť, ve které se cluster nasadí
Virtuální síť hdi-privlink-client-vnet Virtuální síť, ze které se klienti budou připojovat ke clusteru
Skupina zabezpečení sítě hdi-privlink-cluster-vnet-nsg Výchozí skupina zabezpečení sítě podle potřeby pro nasazení clusteru

Poznámka:

Skupinu zabezpečení sítě (NSG) je možné jednoduše nasadit. Pro nasazení clusteru nemusíme upravovat žádná pravidla skupiny zabezpečení sítě.

Krok 2: Konfigurace podsítě HDInsight

  • Zakažte privateLinkServiceNetworkPolicies v podsíti. Pokud chcete zvolit zdrojovou IP adresu pro vaši službu Private Link, v podsíti se vyžaduje explicitní nastavení privateLinkServiceNetworkPolicies zákazu. Podle pokynů v tomto článku zakažte zásady sítě pro služby Private Link.
  • Povolte koncové body služby v podsíti. Pro úspěšné nasazení clusteru HDInsight služby Private Link doporučujeme přidat Microsoft.SQLdo podsítě koncové Microsoft.Storagebody služby a Microsoft.KeyVault koncové body služby před nasazením clusteru. Koncové body služby směrují provoz přímo z vaší virtuální sítě do služby v páteřní síti Microsoft Azure. Udržování provozu na páteřní síti Azure umožňuje pokračovat v auditování a monitorování odchozího internetového provozu z vašich virtuálních sítí prostřednictvím vynuceného tunelování, aniž by to mělo vliv na provoz služby.

Krok 3: Nasazení služby NAT Gateway nebo brány firewall

Standardní nástroje pro vyrovnávání zatížení automaticky neposkytují veřejné odchozí překlad adres (NAT ) jako nástroje pro vyrovnávání zatížení úrovně Basic. Vzhledem k tomu, že Private Link clustery používají nástroje pro vyrovnávání zatížení úrovně Standard, musíte pro připojení k odchozím veřejným závislostem HDInsight poskytnout vlastní řešení překladu adres (NAT Gateway) nebo překlad adres NAT poskytovaných bránou firewall.

Nasazení služby NAT Gateway (možnost 1)

Pokud nechcete konfigurovat bránu firewall nebo síťové virtuální zařízení (NVA) pro překlad adres (NAT), můžete se rozhodnout použít bránu NAT. Začněte tím, že přidáte bránu NAT (s novou veřejnou IP adresou ve vaší virtuální síti) do nakonfigurované podsítě vaší virtuální sítě. Tato brána zodpovídá za překlad privátní interní IP adresy na veřejné adresy v případě, že provoz musí jít mimo vaši virtuální síť.

Základní nastavení, které vám umožní začít:

  1. Na webu Azure Portal vyhledejte "NAT Gateways" a klikněte na Vytvořit.

  2. Ve službě NAT Gateway použijte následující konfigurace. (Tady nezahrnujeme všechny konfigurace, takže můžete použít výchozí hodnoty.)

    Config Hodnota
    Název brány NAT hdi-privlink-nat-gateway
    Předpony veřejných IP adres Vytvoření nové předpony veřejné IP adresy
    Název předpony veřejné IP adresy hdi-privlink-nat-gateway-prefix
    Velikost předpony veřejné IP adresy /28 (16 adres)
    Virtuální síť hdi-privlink-cluster-vnet
    Název podsítě default

  3. Po dokončení nasazení služby NAT Gateway můžete přejít k dalšímu kroku.

Konfigurace brány firewall (možnost 2)

Základní nastavení, které vám umožní začít:

  1. Přidejte do virtuální sítě novou podsíť s názvem AzureFirewallSubnet .
  2. Pomocí nové podsítě nakonfigurujte novou bránu firewall a přidejte zásady brány firewall.
  3. Jako hodnotu v směrovací tabulce použijte privátní IP adresu nextHopIpAddress nové brány firewall.
  4. Přidejte směrovací tabulku do nakonfigurované podsítě vaší virtuální sítě.

Váš cluster HDInsight stále potřebuje přístup ke svým odchozím závislostem. Pokud tyto odchozí závislosti nejsou povolené, vytvoření clusteru může selhat. Další informace o nastavení brány firewall najdete v tématu Řízení síťového provozu ve službě Azure HDInsight.

Krok 4: Nasazení clusteru private link

V tomto okamžiku je potřeba se postarat o všechny požadavky a vy jste připraveni nasadit cluster Private Link. Následující diagram znázorňuje příklad konfigurace sítě, která se vyžaduje před vytvořením clusteru. V tomto příkladu se veškerý odchozí provoz vynucuje do služby Azure Firewall přes trasu definovanou uživatelem. Požadované odchozí závislosti by měly být povoleny v bráně firewall před vytvořením clusteru. V případě clusterů balíčků zabezpečení podniku může partnerský vztah virtuálních sítí poskytovat síťové připojení ke službě Microsoft Entra Domain Services.

Diagram prostředí Private Link před vytvořením clusteru

Vytvoření clusteru

Následující fragment kódu JSON obsahuje dvě vlastnosti sítě, které musíte nakonfigurovat v šabloně Azure Resource Manageru pro vytvoření privátního clusteru HDInsight:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

Kompletní šablonu s mnoha funkcemi podnikového zabezpečení HDInsight, včetně služby Private Link, najdete v šabloně podnikového zabezpečení SLUŽBY HDInsight.

Pokud chcete vytvořit cluster pomocí PowerShellu, podívejte se na příklad.

Pokud chcete vytvořit cluster pomocí Azure CLI, podívejte se na příklad.

Krok 5: Vytváření privátních koncových bodů

Azure automaticky vytvoří službu Private Link pro nástroje pro vyrovnávání zatížení Ambari a SSH během nasazení clusteru Private Link. Po nasazení clusteru musíte v klientských virtuálních sítích vytvořit dva privátní koncové body, jeden pro Ambari a druhý pro přístup SSH. Pak je propojte se službami Private Link, které byly vytvořeny v rámci nasazení clusteru.

Vytvoření privátních koncových bodů:

  1. Otevřete web Azure Portal a vyhledejte Private Link.

  2. Ve výsledcích klikněte na ikonu Private Link.

  3. Klikněte na Vytvořit privátní koncový bod a pomocí následujících konfigurací nastavte privátní koncový bod Ambari:

    Config Hodnota
    Name hdi-privlink-cluster
    Typ prostředku Microsoft.Network/privateLinkServices
    Prostředek gateway-* (Tato hodnota by měla odpovídat ID nasazení HDI vašeho clusteru, například gateway-4eafe3a2a67e4cd8762c22a55fe4654)
    Virtuální síť hdi-privlink-client-vnet
    Podsíť default

    Diagram základní karty Private LinkDiagram karty prostředku Private LinkDiagram karty virtuální sítě Private LinkDiagram karty koncového bodu DNS služby Private LinkDiagram karty značky Private LinkDiagram karty revize služby Private Link

  4. Opakováním tohoto procesu vytvořte další privátní koncový bod pro přístup přes SSH pomocí následujících konfigurací:

    Config Hodnota
    Name hdi-privlink-cluster-ssh
    Typ prostředku Microsoft.Network/privateLinkServices
    Prostředek headnode-* (Tato hodnota by měla odpovídat ID nasazení HDI vašeho clusteru, například headnode-4eafe3a2a67e4cd88762c22a55fe4654)
    Virtuální síť hdi-privlink-client-vnet
    Podsíť default

Důležité

Pokud používáte cluster KafkaRestProxy HDInsight, postupujte podle těchto dodatečných kroků a povolte privátní koncové body.

Po vytvoření privátních koncových bodů budete s touto fází nastavení hotovi. Pokud jste si nevytvořili poznámku o privátních IP adresách přiřazených ke koncovým bodům, postupujte následovně:

  1. Otevřete klientskou virtuální síť na webu Azure Portal.
  2. Klikněte na kartu Privátní koncové body.
  3. Měli byste vidět uvedená síťová rozhraní Ambari i ssh.
  4. Klikněte na každý z nich a přejděte do okna Konfigurace DNS a zobrazte privátní IP adresu.
  5. Poznamenejte si tyto IP adresy, protože se vyžadují pro připojení ke clusteru a správné konfiguraci DNS.

Krok 6: Konfigurace DNS pro připojení přes privátní koncové body

Pro přístup k privátním clusterům můžete nakonfigurovat překlad DNS prostřednictvím privátních zón DNS. Položky Služby Private Link vytvořené ve veřejné zóně azurehdinsight.net DNS spravované službou Azure jsou následující:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

Následující obrázek ukazuje příklad položek privátního DNS nakonfigurovaného tak, aby umožňoval přístup ke clusteru z virtuální sítě, která není v partnerském vztahu nebo nemá přímý pohled na cluster. Privátní zónu Azure DNS můžete použít k přepsání *.privatelink.azurehdinsight.net plně kvalifikovaných názvů domén (FQDN) a překladu IP adres privátních koncových bodů v síti klienta. Konfigurace je určená <clustername>.azurehdinsight.net pouze v tomto příkladu, ale rozšiřuje se také na další koncové body clusteru.

Diagram architektury Private Link

Konfigurace překladu DNS prostřednictvím Privátní DNS zóny:

  1. Vytvořte zónu Privátní DNS Azure. (Tady nezahrnujeme všechny konfigurace, všechny ostatní konfigurace jsou ponechány na výchozích hodnotách.

    Config Hodnota
    Name privatelink.azurehdinsight.net

    Diagram zóny privátního dns

  2. Přidejte sadu záznamů do zóny Privátní DNS pro Ambari.

    Config Hodnota
    Name YourPrivateLinkClusterName
    Typ A – záznam aliasu na adresu IPv4
    TTL 0
    Jednotka TTL Hodiny
    IP adresa Privátní IP adresa privátního koncového bodu pro přístup k Ambari

    Diagram přidání záznamu zóny privátního dns

  3. Přidejte sadu záznamů do zóny Privátní DNS pro SSH.

    Config Hodnota
    Name YourPrivateLinkClusterName-ssh
    Typ A – záznam aliasu na adresu IPv4
    TTL 0
    Jednotka TTL Hodiny
    IP adresa Privátní IP adresa privátního koncového bodu pro přístup SSH

    Diagram zóny DNS privátního propojení přidejte záznam SSH.

Důležité

Pokud používáte cluster KafkaRestProxy HDInsight, postupujte podle těchto dodatečných kroků a nakonfigurujte DNS pro připojení přes privátní koncový bod.

  1. Přidružte privátní zónu DNS k virtuální síti klienta přidáním propojení virtuální sítě.

    1. Otevřete privátní zónu DNS na webu Azure Portal.
    2. Klikněte na kartu Propojení virtuální sítě.
    3. Klikněte na tlačítko Přidat.
    4. Vyplňte podrobnosti: Název propojení, předplatné a virtuální síť (vaše klientská virtuální síť)
    5. Klikněte na Uložit.

    Diagram propojení virtuální sítě

Krok 7: Kontrola připojení ke clusteru

Posledním krokem je otestování připojení ke clusteru. Vzhledem k tomu, že je tento cluster izolovaný nebo privátní, nemůžeme k němu přistupovat pomocí žádné veřejné IP adresy nebo FQDN. Místo toho máme několik možností:

  • Nastavení přístupu VPN k klientské virtuální síti z místní sítě
  • Nasazení virtuálního počítače do klientské virtuální sítě a přístup ke clusteru z tohoto virtuálního počítače

V tomto příkladu nasadíme virtuální počítač do klientské virtuální sítě pomocí následující konfigurace a otestujeme připojení.

Config Hodnota
Virtual machine name hdi-privlink-client-vm
Image Windows 10 Pro, verze 2004 – Gen1
Veřejné příchozí porty Povolit vybrané porty
Vyberte příchozí porty RDP (3389)
Potvrdím, že mám oprávněnou licenci na Windows 10... Zkontrolováno
Virtuální síť hdi-privlink-client-vnet
Podsíť default

Po nasazení klientského virtuálního počítače můžete otestovat přístup Ambari i SSH.

Postup otestování přístupu Ambari:

  1. Na virtuálním počítači otevřete webový prohlížeč.
  2. Přejděte k běžnému plně kvalifikovanému názvu domény vašeho clusteru: https://<clustername>.azurehdinsight.net
  3. Pokud se uživatelské rozhraní Ambari načte, konfigurace je správná pro přístup k Ambari.

Otestování přístupu ssh:

  1. Otevřete příkazový řádek a získejte okno terminálu.
  2. V okně terminálu se zkuste připojit ke clusteru pomocí SSH: ssh sshuser@<clustername>.azurehdinsight.net (Nahraďte sshuser uživatelem ssh, který jste vytvořili pro cluster).
  3. Pokud se můžete připojit, konfigurace je správná pro přístup SSH.

Správa privátních koncových bodů pro HDInsight

Privátní koncové body pro clustery Azure HDInsight můžete použít k tomu, aby klienti ve virtuální síti mohli bezpečně přistupovat k vašemu clusteru přes Private Link. Síťový provoz mezi klienty ve virtuální síti a clusterem HDInsight prochází přes páteřní síť Microsoftu, čímž se eliminuje vystavení z veřejného internetu.

Diagram prostředí správy privátních koncových bodů

Příjemce služby Private Link (například Azure Data Factory) si může vybrat ze dvou metod schvalování připojení:

  • Automaticky: Pokud má uživatel služby oprávnění řízení přístupu na základě role (RBAC) Azure pro prostředek HDInsight, může příjemce zvolit metodu automatického schvalování. V takovém případě, když požadavek dosáhne prostředku HDInsight, nevyžaduje se žádná akce z prostředku HDInsight a připojení se automaticky schválí.
  • Ruční: Pokud uživatel služby nemá oprávnění Azure RBAC k prostředku HDInsight, může uživatel zvolit metodu ručního schvalování. V tomto případě se požadavek na připojení zobrazí u prostředků HDInsight jako Čekající. Před vytvořením připojení musí prostředek HDInsight požadavek schválit ručně.

Pokud chcete spravovat privátní koncové body, přejděte v zobrazení clusteru na webu Azure Portal do části Sítě v části Zabezpečení a sítě. Tady můžete zobrazit všechna existující připojení, stavy připojení a podrobnosti privátního koncového bodu.

Můžete také schválit, odmítnout nebo odebrat existující připojení. Při vytváření privátního připojení můžete určit, ke kterému podsourcu HDInsightu (například bráně nebo hlavnímu uzlu), ke kterému se chcete připojit.

Následující tabulka ukazuje různé akce prostředků HDInsight a výsledné stavy připojení pro privátní koncové body. Prostředek HDInsight může také později změnit stav připojení privátního koncového bodu bez zásahu příjemce. Akce aktualizuje stav koncového bodu na straně příjemce.

Akce poskytovatele služeb Stav privátního koncového bodu příjemce služby Popis
Nic Nevyřízeno Připojení ion je vytvořen ručně a čeká na schválení vlastníkem prostředku Private Link.
Schválit Schválený Připojení ion byl automaticky nebo ručně schválen a je připravený k použití.
Odmítnout Zamítnuto Připojení byl vlastníkem prostředku Private Link odmítnut.
Odebrat Odpojeno Připojení odebrání vlastníkem prostředku Private Link. Privátní koncový bod se stane informativním a měl by být odstraněn pro vyčištění.

Další kroky