Vytváření a konfigurace clusterů Enterprise Security Package ve službě Azure HDInsight

  • Článek

Balíček zabezpečení podniku (ESP) pro Azure HDInsight poskytuje přístup k ověřování založenému na službě Active Directory, podpoře více uživatelů a řízení přístupu na základě rolí pro clustery Apache Hadoop v Azure. Clustery HDInsight ESP umožňují organizacím, které dodržují přísné podnikové zásady zabezpečení, aby mohly bezpečně zpracovávat citlivá data.

Tento průvodce ukazuje, jak vytvořit cluster Azure HDInsight s podporou ESP. Ukazuje také, jak vytvořit virtuální počítač IaaS s Windows, na kterém je povolená služba Active Directory a DNS (Domain Name System). Pomocí tohoto průvodce nakonfigurujte potřebné prostředky, aby se místní uživatelé mohli přihlásit ke clusteru HDInsight s podporou ESP.

Server, který vytvoříte, bude fungovat jako náhrada skutečného místního prostředí. Použijete ho pro kroky nastavení a konfigurace. Později zopakujete kroky ve vlastním prostředí.

Tato příručka vám také pomůže vytvořit hybridní prostředí identit pomocí synchronizace hodnot hash hesel s ID Microsoft Entra. Průvodce doplňuje použití ESP ve službě HDInsight.

Před použitím tohoto procesu ve vlastním prostředí:

  • Nastavte službu Active Directory a DNS.
  • Povolte ID Microsoft Entra.
  • Synchronizujte místní uživatelské účty s ID Microsoft Entra.

Microsoft Entra architecture diagram.

Vytvoření místního prostředí

V této části použijete šablonu nasazení Azure Pro rychlý start k vytvoření nových virtuálních počítačů, konfiguraci DNS a přidání nové doménové struktury Active Directory.

  1. Přejděte do šablony nasazení Pro rychlý start a vytvořte virtuální počítač Azure s novou doménovou strukturou Active Directory.

  2. Vyberte Nasadit do Azure.

  3. Přihlaste se ke svému předplatnému Azure.

  4. Na stránce Vytvoření virtuálního počítače Azure s novou doménovou strukturou AD zadejte následující informace:

    Vlastnost Hodnota
    Předplatné Vyberte předplatné, do kterého chcete prostředky nasadit.
    Skupina prostředků Vyberte Vytvořit nový a zadejte název. OnPremADVRG
    Umístění Vyberte umístění.
    Uživatelské jméno správce HDIFabrikamAdmin
    Heslo správce Zadejte heslo.
    Název domény HDIFabrikam.com
    Předpona DNS hdifabrikam

    Ponechte zbývající výchozí hodnoty.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Přečtěte si podmínky a ujednání a pak vyberte Souhlasím s podmínkami a ujednáními uvedenými výše.

  6. Vyberte Koupit a monitorujte nasazení a počkejte, až se dokončí. Dokončení nasazení trvá přibližně 30 minut.

Konfigurace uživatelů a skupin pro přístup ke clusteru

V této části vytvoříte uživatele, kteří budou mít přístup ke clusteru HDInsight na konci této příručky.

  1. Připojení k řadiči domény pomocí vzdálené plochy.

    1. Na webu Azure Portal přejděte do skupin>prostředků OnPremADVRG>adVM> Připojení.
    2. V rozevíracím seznamu IP adres vyberte veřejnou IP adresu.
    3. Vyberte Stáhnout soubor RDP a pak soubor otevřete.
    4. Slouží HDIFabrikam\HDIFabrikamAdmin jako uživatelské jméno.
    5. Zadejte heslo, které jste zvolili pro účet správce.
    6. Vyberte OK.

  2. Na řídicím panelu řadiče domény Správce serveru přejděte na Nástroje> Uživatelé a počítače služby Active Directory.

    On the Server Manager dashboard, open Active Directory Management.

  3. Vytvořte dva nové uživatele: HDI Správa a HDIUser. Tito dva uživatelé se přihlásí ke clusterům HDInsight.

    1. Na stránce Uživatelé a počítače služby Active Directory klepněte pravým tlačítkem myši HDIFabrikam.coma přejděte do části Nový>uživatel.

      Create a new Active Directory user.

    2. Na stránce Nový objekt – Uživatel zadejte HDIUser jméno a přihlašovací jméno uživatele. Ostatní pole se automaticky vyplní. Pak vyberte Další.

      Create the first admin user object.

    3. V automaticky otevíraných otevíraných oknech zadejte heslo pro nový účet. Vyberte Heslo nikdy nevyprší a pak v místní zprávě OK .

    4. Vyberte Další a pak dokončete vytvoření nového účtu.

    5. Opakujte výše uvedené kroky a vytvořte uživatele HDIAdmin.

      Create a second admin user object.

  4. Vytvořte globální skupinu zabezpečení.

    1. V Uživatelé a počítače služby Active Directory klikněte pravým tlačítkem HDIFabrikam.commyši a přejděte do části Nová>skupina.

    2. Zadejte HDIUserGroup do textového pole Název skupiny.

    3. Vyberte OK.

    Create a new Active Directory group.

    Create a new object.

  5. Přidání členů do skupiny HDIUserGroup

    1. Klikněte pravým tlačítkem na HDIUser a vyberte Přidat do skupiny....

    2. Do pole Zadejte názvy objektů pro výběr textového pole zadejte HDIUserGroup. Potom v automaticky otevíraných oken vyberte OK a OK .

    3. Opakujte předchozí kroky pro účet HDI Správa.

      Add the member HDIUser to the group HDIUserGroup.

Právě jste vytvořili prostředí služby Active Directory. Přidali jste dva uživatele a skupinu uživatelů, kteří mají přístup ke clusteru HDInsight.

Uživatelé se budou synchronizovat s MICROSOFT Entra ID.

Vytvoření adresáře Microsoft Entra

  1. Přihlaste se k portálu Azure.

  2. Vyberte Vytvořit prostředek a zadejte directory. Vyberte Vytvořit MICROSOFT Entra ID>.

  3. V části Název organizace zadejte HDIFabrikam.

  4. V části Počáteční název domény zadejte HDIFabrikamoutlook.

  5. Vyberte Vytvořit.

    Create a Microsoft Entra directory.

Vytvoření vlastní domény

  1. V novém ID Microsoft Entra v části Spravovat vyberte Vlastní názvy domén.

  2. Vyberte + Přidat vlastní doménu.

  3. V části Vlastní název domény zadejte HDIFabrikam.coma pak vyberte Přidat doménu.

  4. Potom dokončete přidání informací DNS do doménového registrátora.

    Create a custom domain.

Vytvoření skupiny

  1. V novém ID Microsoft Entra v části Spravovat vyberte Skupiny.
  2. Vyberte + Nová skupina.
  3. Do textového pole pro název skupiny zadejte AAD DC Administrators.
  4. Vyberte Vytvořit.

Konfigurace tenanta Microsoft Entra

Teď nakonfigurujete tenanta Microsoft Entra, abyste mohli synchronizovat uživatele a skupiny z instance místní Active Directory do cloudu.

Vytvořte správce tenanta Služby Active Directory.

  1. Přihlaste se k webu Azure Portal a vyberte svého tenanta Microsoft Entra HDIFabrikam.

  2. Přejděte na Spravovat>uživatele>Nový uživatel.

  3. Zadejte následující podrobnosti pro nového uživatele:

    Identita

    Vlastnost Popis
    Jméno uživatele Zadejte fabrikamazureadmin do textového pole. V rozevíracím seznamu názvu domény vyberte hdifabrikam.com
    Název Zadejte fabrikamazureadmin.

    Heslo

    1. Vyberte Možnost Umožnit mi vytvořit heslo.
    2. Zadejte bezpečné heslo podle svého výběru.

    Skupiny a role

    1. Vyberte 0 vybraných skupin.

    2. Vyberte AAD DC Správa istrátory a pak vyberte.

      The Microsoft Entra groups dialog box.

    3. Vyberte uživatele.

    4. Vyberte globálního správce a pak vyberte.

      The Microsoft Entra role dialog box.

  4. Vyberte Vytvořit.

  5. Pak se nový uživatel přihlásí k webu Azure Portal, kde se zobrazí výzva ke změně hesla. Než nakonfigurujete Připojení Microsoft Entra, budete to muset udělat.

Synchronizace místních uživatelů s Microsoft Entra ID

Konfigurace microsoft entra Připojení

  1. Z řadiče domény stáhněte microsoft Entra Připojení.

  2. Otevřete spustitelný soubor, který jste stáhli, a odsouhlaste licenční podmínky. Zvolte Pokračovat.

  3. Vyberte Použít expresní nastavení.

  4. Na stránce Připojení na microsoft Entra ID zadejte uživatelské jméno a heslo globálního správce pro Microsoft Entra ID. Použijte uživatelské jméno fabrikamazureadmin@hdifabrikam.com , které jste vytvořili při konfiguraci tenanta služby Active Directory. Pak vyberte Další.

    Connect to Microsoft Entra ID.

  5. Na stránce Připojení na Doména služby Active Directory Services zadejte uživatelské jméno a heslo pro účet podnikového správce. Použijte uživatelské jméno HDIFabrikam\HDIFabrikamAdmin a heslo, které jste vytvořili dříve. Pak vyberte Další.

    Connect to A D D S page.

  6. Na stránce konfigurace přihlášení Microsoft Entra vyberte Další.

    Microsoft Entra sign-in configuration page.

  7. Na stránce Připraveno ke konfiguraci vyberte Nainstalovat.

    Ready to configure page.

  8. Na stránce Dokončení konfigurace vyberte Ukončit. Configuration complete page.

  9. Po dokončení synchronizace ověřte, že se uživatelé, které jste vytvořili v adresáři IaaS, synchronizují s ID Microsoft Entra.

    1. Přihlaste se k portálu Azure.
    2. Vyberte Microsoft Entra ID>HDIFabrikam>Users.

Vytvoření spravované identity přiřazené uživatelem

Vytvořte spravovanou identitu přiřazenou uživatelem, kterou můžete použít ke konfiguraci služby Microsoft Entra Domain Services. Další informace najdete v tématu Vytvoření, výpis, odstranění nebo přiřazení role spravované identitě přiřazené uživatelem pomocí webu Azure Portal.

  1. Přihlaste se k portálu Azure.
  2. Vyberte Vytvořit prostředek a zadejte managed identity. Vyberte Vytvoření spravované identity>přiřazené uživatelem.
  3. Jako název zdroje zadejte HDIFabrikamManagedIdentity.
  4. Vyberte své předplatné.
  5. V části Skupina prostředků vyberte Vytvořit nový a zadejte HDIFabrikam-CentralUS.
  6. V části Umístění vyberte USA – střed.
  7. Vyberte Vytvořit.

Create a new user-assigned managed identity.

Povolení Microsoft Entra Domain Services

Chcete-li povolit službu Microsoft Entra Domain Services, postupujte podle těchto kroků. Další informace naleznete v tématu Povolení služby Microsoft Entra Domain Services pomocí webu Azure Portal.

  1. Vytvořte virtuální síť pro hostování služby Microsoft Entra Domain Services. Spusťte následující kód PowerShellu.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Přihlaste se k portálu Azure.

  3. Vyberte Vytvořit prostředek, zadejte Domain servicesa vyberte Vytvořit službu Microsoft Entra Domain Services>.

  4. Na stránce Základy:

    1. V části Název adresáře vyberte adresář Microsoft Entra, který jste vytvořili: HDIFabrikam.

    2. Jako název domény DNS zadejte HDIFabrikam.com.

    3. Vyberte své předplatné.

    4. Zadejte skupinu prostředků HDIFabrikam-CentralUS. Jako umístění vyberte USA – střed.

      Microsoft Entra Domain Services basic details.

  5. Na stránce Síť vyberte síť (HDIFabrikam-VNET) a podsíť (AADDS-subnet), kterou jste vytvořili pomocí skriptu PowerShellu. Nebo zvolte Vytvořit novou , aby se teď vytvořila virtuální síť.

    Create virtual network step.

  6. Na stránce skupiny Správa istrator byste měli vidět oznámení, že skupina s názvem AAD DC Správa istrators již byla vytvořena pro správu této skupiny. Členství této skupiny můžete změnit, pokud chcete, ale v takovém případě ho nemusíte měnit. Vyberte OK.

    View the Microsoft Entra administrator group.

  7. Na stránce Synchronizace povolte úplnou synchronizaci výběrem možnosti Vše>v pořádku.

    Enable Microsoft Entra Domain Services synchronization.

  8. Na stránce Souhrn ověřte podrobnosti služby Microsoft Entra Domain Services a vyberte OK.

    Enable Microsoft Entra Domain Services.

Po povolení služby Microsoft Entra Domain Services se místní server DNS spustí na virtuálních počítačích Microsoft Entra.

Konfigurace virtuální sítě Microsoft Entra Domain Services

Pomocí následujícího postupu nakonfigurujte virtuální síť Služby Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) tak, aby používala vlastní servery DNS.

  1. Vyhledejte IP adresy vlastních serverů DNS.

    1. HDIFabrikam.com Vyberte prostředek Microsoft Entra Domain Services.
    2. V části Spravovat vyberte Vlastnosti.
    3. Vyhledejte IP adresy pod IP adresou ve virtuální síti.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Nakonfigurujte HDIFabrikam-AADDSVNET tak, aby používaly vlastní IP adresy 10.0.0.4 a 10.0.0.5.

    1. V části Nastavení vyberte Servery DNS.
    2. Vyberte Vlastní.
    3. Do textového pole zadejte první IP adresu (10.0.0.4).
    4. Zvolte Uložit.
    5. Opakujte kroky a přidejte další IP adresu (10.0.0.5).

V našem scénáři jsme nakonfigurovali službu Microsoft Entra Domain Services tak, aby používala IP adresy 10.0.0.4 a 10.0.0.5 a nastavili stejnou IP adresu ve virtuální síti Microsoft Entra Domain Services:

The custom DNS servers page.

Zabezpečení provozu PROTOKOLU LDAP

Protokol LDAP (Lightweight Directory Access Protocol) se používá ke čtení a zápisu do microsoft Entra ID. Přenosy protokolu LDAP můžete nastavit jako důvěrné a zabezpečené pomocí technologie SSL (Secure Sockets Layer) nebo TLS (Transport Layer Security). Ldap přes SSL (LDAPS) můžete povolit tak, že nainstalujete správně formátovaný certifikát.

Další informace o protokolu SECURE LDAP naleznete v tématu Konfigurace LDAPS pro spravovanou doménu služby Microsoft Entra Domain Services.

V této části vytvoříte certifikát podepsaný svým držitelem, stáhnete certifikát a nakonfigurujete LDAPS pro spravovanou doménu SLUŽBY HDIFabrikam Microsoft Entra Domain Services.

Následující skript vytvoří certifikát pro HDIFabrikam. Certifikát je uložen v cestě LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Poznámka:

K vytvoření žádosti o certifikát TLS/SSL lze použít jakýkoli nástroj nebo aplikace, které vytvoří platný požadavek PKCS (Public Key Cryptography Standards) č. 10.

Ověřte, že je certifikát nainstalovaný v osobním úložišti počítače:

  1. Spusťte konzolu Microsoft Management Console (MMC).

  2. Přidejte modul snap-in Certifikáty, který spravuje certifikáty v místním počítači.

  3. Rozbalte certifikáty (místní počítač)>Osobní>certifikáty. V osobním úložišti by měl existovat nový certifikát. Tento certifikát se vystaví plně kvalifikovanému názvu hostitele.

    Verify local certificate creation.

  4. V podokně vpravo klikněte pravým tlačítkem myši na certifikát, který jste vytvořili. Přejděte na všechny úkoly a pak vyberte Exportovat.

  5. Na stránce Exportovat privátní klíč vyberte Ano, vyexportujte privátní klíč. Počítač, na kterém se klíč naimportuje, potřebuje privátní klíč ke čtení šifrovaných zpráv.

    The Export Private Key page of the Certificate Export Wizard.

  6. Na stránce Exportovat formát souboru ponechte výchozí nastavení a pak vyberte Další.

  7. Na stránce Heslo zadejte heslo pro privátní klíč. V případě šifrování vyberte TripleDES-SHA1. Pak vyberte Další.

  8. Na stránce Soubor k exportu zadejte cestu a název exportovaného souboru certifikátu a pak vyberte Další. Název souboru musí mít příponu .pfx. Tento soubor je nakonfigurovaný na webu Azure Portal pro navázání zabezpečeného připojení.

  9. Povolte LDAPS pro spravovanou doménu služby Microsoft Entra Domain Services.

    1. Na webu Azure Portal vyberte doménu HDIFabrikam.com.
    2. V části Spravovat vyberte Protokol Secure LDAP.
    3. Na stránce Secure LDAP v části Secure LDAP vyberte Povolit.
    4. Vyhledejte soubor certifikátu .pfx, který jste exportovali do počítače.
    5. Zadejte heslo certifikátu.

    Enable secure LDAP.

  10. Teď, když jste povolili LDAPS, se ujistěte, že je dostupný tak, že povolíte port 636.

    1. Ve skupině prostředků HDIFabrikam-CentralUS vyberte skupinu zabezpečení sítě AADDS-HDIFabrikam.com-NSG.

    2. V části Nastavení vyberte Přidat příchozí pravidla>zabezpečení.

    3. Na stránce Přidat příchozí pravidlo zabezpečení zadejte následující vlastnosti a vyberte Přidat:

      Vlastnost Hodnota
      Source Všechny
      Rozsahy zdrojových portů *
      Cíl Všechny
      Rozsah cílových portů 636
      Protokol Všechny
      Akce Povolit
      Priorita <Požadované číslo>
      Název Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity je spravovaná identita přiřazená uživatelem. Role Přispěvatel služby HDInsight Domain Services je povolená pro spravovanou identitu, která umožní této identitě číst, vytvářet, upravovat a odstraňovat operace služeb domény.

Create a user-assigned managed identity.

Vytvoření clusteru HDInsight s podporou ESP

Tento krok vyžaduje následující požadavky:

  1. Vytvořte novou skupinu prostředků HDIFabrikam-WestUS v umístění USA – západ.

  2. Vytvořte virtuální síť, která bude hostovat cluster HDInsight s podporou ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Vytvořte partnerský vztah mezi virtuální sítí, která je hostitelem služby Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) a virtuální sítí, která bude hostitelem clusteru HDInsight s podporou ESP.HDIFabrikam-HDIVNet Následující kód PowerShellu použijte k vytvoření partnerského vztahu mezi dvěma virtuálními sítěmi.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Vytvořte nový účet Azure Data Lake Storage Gen2 s názvem Hdigen2store. Nakonfigurujte účet s identitou spravovanou uživatelem HDIFabrikamManagedIdentity. Další informace najdete v tématu Používání služby Azure Data Lake Storage Gen2 s clustery Azure HDInsight.

  5. Nastavte vlastní DNS ve virtuální síti HDIFabrikam-AADDSVNET .

    1. Přejděte na skupiny>prostředků webu Azure Portal >OnPremADVRG>HDIFabrikam-AADDSVNET>DNS servery.

    2. Vyberte Vlastní a zadejte 10.0.0.4 a 10.0.0.5.

    3. Zvolte Uložit.

      Save custom DNS settings for a virtual network.

  6. Vytvořte nový cluster HDInsight Spark s podporou ESP.

    1. Vyberte Vlastní (velikost, nastavení, aplikace).

    2. Zadejte podrobnosti o základech (oddíl 1). Ujistěte se, že typ clusteru je Spark 2.3 (HDI 3.6). Ujistěte se, že je skupina prostředků HDIFabrikam-CentralUS.

    3. V případě zabezpečení a sítě (oddíl 2) vyplňte následující podrobnosti:

      • V části Balíček zabezpečení organizace vyberte Povoleno.

      • Vyberte uživatele správce clusteru a vyberte účet HDI Správa, který jste vytvořili jako místní uživatel správce. Klepněte na tlačítko Vybrat.

      • Vyberte skupinu přístupu ke clusteru>HDIUserGroup. Každý uživatel, kterého do této skupiny přidáte v budoucnu, bude mít přístup ke clusterům HDInsight.

        Select the cluster access group HDIUserGroup.

    4. Dokončete další kroky konfigurace clusteru a ověřte podrobnosti v souhrnu clusteru. Vyberte Vytvořit.

  7. Přihlaste se k uživatelskému rozhraní Ambari pro nově vytvořený cluster na adrese https://CLUSTERNAME.azurehdinsight.net. Použijte uživatelské jméno hdiadmin@hdifabrikam.com správce a jeho heslo.

    The Apache Ambari UI sign-in window.

  8. Na řídicím panelu clusteru vyberte Role.

  9. Na stránce Role v části Přiřadit role k těmto rolím vedle role clusteru Správa istrator zadejte skupinu hdiusergroup.

    Assign the cluster admin role to hdiusergroup.

  10. Otevřete klienta SSH (Secure Shell) a přihlaste se ke clusteru. Použijte hdiuser, který jste vytvořili v instanci místní Active Directory.

    Sign in to the cluster by using the SSH client.

Pokud se můžete přihlásit pomocí tohoto účtu, nakonfigurovali jste cluster ESP správně tak, aby se synchronizoval s vaší instancí místní Active Directory.

Další kroky

Přečtěte si úvod k zabezpečení Apache Hadoopu pomocí ESP.