Dela via

Skapa och konfigurera Enterprise Security Package-kluster i Azure HDInsight

  • Artikel

Enterprise Security Package (ESP) för Azure HDInsight ger dig åtkomst till Active Directory-baserad autentisering, stöd för flera användare och rollbaserad åtkomstkontroll för dina Apache Hadoop-kluster i Azure. HDInsight ESP-kluster gör det möjligt för organisationer som följer strikta företagssäkerhetsprinciper att bearbeta känsliga data på ett säkert sätt.

Den här guiden visar hur du skapar ett ESP-aktiverat Azure HDInsight-kluster. Den visar också hur du skapar en virtuell Windows IaaS-dator där Active Directory och DNS (Domain Name System) är aktiverade. Använd den här guiden för att konfigurera nödvändiga resurser så att lokala användare kan logga in på ett ESP-aktiverat HDInsight-kluster.

Den server som du skapar fungerar som en ersättning för din faktiska lokala miljö. Du använder den för installations- och konfigurationsstegen. Senare upprepar du stegen i din egen miljö.

Den här guiden hjälper dig också att skapa en hybrididentitetsmiljö med hjälp av synkronisering av lösenordshash med Microsoft Entra-ID. Guiden kompletterar Använd ESP i HDInsight.

Innan du använder den här processen i din egen miljö:

  • Konfigurera Active Directory och DNS.
  • Aktivera Microsoft Entra-ID.
  • Synkronisera lokala användarkonton med Microsoft Entra-ID.

Microsoft Entra architecture diagram.

Skapa en lokal miljö

I det här avsnittet använder du en azure-snabbstartsdistributionsmall för att skapa nya virtuella datorer, konfigurera DNS och lägga till en ny Active Directory-skog.

  1. Gå till snabbstartsdistributionsmallen för att skapa en virtuell Azure-dator med en ny Active Directory-skog.

  2. Välj Distribuera till Azure.

  3. Logga in på din Azure-prenumeration.

  4. På sidan Skapa en virtuell Azure-dator med en ny AD-skog anger du följande information:

    Property Värde
    Prenumeration Välj den prenumeration där du vill distribuera resurserna.
    Resursgrupp Välj Skapa ny och ange namnet OnPremADVRG
    Plats Välj en plats.
    Användarnamn för administratör HDIFabrikamAdmin
    Administratörslösenord Ange ett lösenord.
    Domännamn HDIFabrikam.com
    Dns-prefix hdifabrikam

    Låt de återstående standardvärdena vara kvar.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Granska villkoren och välj sedan Jag godkänner de villkor som anges ovan.

  6. Välj Köp och övervaka distributionen och vänta tills den har slutförts. Distributionen tar cirka 30 minuter att slutföra.

Konfigurera användare och grupper för klusteråtkomst

I det här avsnittet skapar du de användare som ska ha åtkomst till HDInsight-klustret i slutet av den här guiden.

  1. Anslut till domänkontrollanten med hjälp av Fjärrskrivbord.

    1. Från Azure-portalen går du till Resursgrupper>OnPremADVRG>adVM> Anslut.
    2. I listrutan IP-adress väljer du den offentliga IP-adressen.
    3. Välj Ladda ned RDP-fil och öppna sedan filen.
    4. Använd HDIFabrikam\HDIFabrikamAdmin som användarnamn.
    5. Ange det lösenord som du valde för administratörskontot.
    6. Välj OK.

  2. Från domänkontrollanten Serverhanteraren instrumentpanelen går du till Verktyg> Active Directory - användare och datorer.

    On the Server Manager dashboard, open Active Directory Management.

  3. Skapa två nya användare: HDIAdmin och HDIUser. Dessa två användare loggar in på HDInsight-kluster.

    1. På sidan Active Directory - användare och datorer högerklickar du på HDIFabrikam.comoch navigerar sedan till Ny>användare.

      Create a new Active Directory user.

    2. På sidan Nytt objekt – användare anger du HDIUser som Förnamn och Användarens inloggningsnamn. De andra fälten fylls i automatiskt. Välj sedan Nästa.

      Create the first admin user object.

    3. I popup-fönstret som visas anger du ett lösenord för det nya kontot. Välj Lösenord upphör aldrig att gälla och sedan OK i popup-meddelandet.

    4. Välj Nästa och sedan Slutför för att skapa det nya kontot.

    5. Upprepa stegen ovan för att skapa användaren HDIAdmin.

      Create a second admin user object.

  4. Skapa en global säkerhetsgrupp.

    1. Från Active Directory - användare och datorer högerklickar du på HDIFabrikam.comoch navigerar sedan till Ny>grupp.

    2. Ange HDIUserGroup i textrutan Gruppnamn .

    3. Välj OK.

    Create a new Active Directory group.

    Create a new object.

  5. Lägg till medlemmar i HDIUserGroup.

    1. Högerklicka på HDIUser och välj Lägg till i en grupp....

    2. I rutan Ange objektnamn för att välja text anger du HDIUserGroup. Välj sedan OK och OK igen i popup-fönstret.

    3. Upprepa föregående steg för HDIAdmin-kontot .

      Add the member HDIUser to the group HDIUserGroup.

Nu har du skapat din Active Directory-miljö. Du har lagt till två användare och en användargrupp som kan komma åt HDInsight-klustret.

Användarna synkroniseras med Microsoft Entra-ID.

Skapa en Microsoft Entra-katalog

  1. Logga in på Azure-portalen.

  2. Välj Skapa en resurs och skriv directory. Välj Microsoft Entra-ID>Skapa.

  3. Under Organisationsnamn anger du HDIFabrikam.

  4. Under Initial domain name (Ursprungligt domännamn) anger du HDIFabrikamoutlook.

  5. Välj Skapa.

    Create a Microsoft Entra directory.

Skapa en anpassad domän

  1. Från ditt nya Microsoft Entra-ID går du till Hantera och väljer Anpassade domännamn.

  2. Välj + Lägg till en anpassad domän.

  3. Under Anpassat domännamn anger du HDIFabrikam.comoch väljer sedan Lägg till domän.

  4. Fyll sedan i Lägg till DIN DNS-information till domänregistratorn.

    Create a custom domain.

Skapa en grupp

  1. Från ditt nya Microsoft Entra-ID går du till Hantera och väljer Grupper.
  2. Välj + Ny grupp.
  3. I textrutan gruppnamn anger du AAD DC Administrators.
  4. Välj Skapa.

Konfigurera din Microsoft Entra-klientorganisation

Nu ska du konfigurera din Microsoft Entra-klientorganisation så att du kan synkronisera användare och grupper från den lokal Active Directory instansen till molnet.

Skapa en Active Directory-klientadministratör.

  1. Logga in på Azure-portalen och välj din Microsoft Entra-klientorganisation, HDIFabrikam.

  2. Gå till Hantera>användare>Ny användare.

  3. Ange följande information för den nya användaren:

    Identitet

    Property beskrivning
    Användarnamn Ange fabrikamazureadmin i textrutan. I listrutan domännamn väljer du hdifabrikam.com
    Name Ange fabrikamazureadmin.

    Lösenord

    1. Välj Låt mig skapa lösenordet.
    2. Ange ett säkert lösenord.

    Grupper och roller

    1. Välj 0 grupper markerade.

    2. Välj AAD DC-administratörer och sedan Välj.

      The Microsoft Entra groups dialog box.

    3. Välj Användare.

    4. Välj Global administratör och sedan Välj.

      The Microsoft Entra role dialog box.

  4. Välj Skapa.

  5. Låt sedan den nya användaren logga in på Azure-portalen där den uppmanas att ändra lösenordet. Du måste göra detta innan du konfigurerar Microsoft Entra Anslut.

Synkronisera lokala användare med Microsoft Entra-ID

Konfigurera Microsoft Entra Anslut

  1. Ladda ned Microsoft Entra Anslut från domänkontrollanten.

  2. Öppna den körbara fil som du laddade ned och godkänn licensvillkoren. Välj Fortsätt.

  3. Välj Använd expressinställningar.

  4. På sidan Anslut till Microsoft Entra-ID anger du användarnamnet och lösenordet för den globala administratören för Microsoft Entra-ID. Använd användarnamnet fabrikamazureadmin@hdifabrikam.com som du skapade när du konfigurerade Active Directory-klientorganisationen. Välj sedan Nästa.

    Connect to Microsoft Entra ID.

  5. På sidan Anslut till Active Directory-domän Services anger du användarnamnet och lösenordet för ett företagsadministratörskonto. Använd användarnamnet HDIFabrikam\HDIFabrikamAdmin och dess lösenord som du skapade tidigare. Välj sedan Nästa.

    Connect to A D D S page.

  6. På inloggningskonfigurationssidan för Microsoft Entra väljer du Nästa.

    Microsoft Entra sign-in configuration page.

  7. På sidan Redo att konfigurera väljer du Installera.

    Ready to configure page.

  8. På sidan Konfiguration slutförd väljer du Avsluta. Configuration complete page.

  9. När synkroniseringen är klar kontrollerar du att de användare som du skapade i IaaS-katalogen är synkroniserade med Microsoft Entra-ID.

    1. Logga in på Azure-portalen.
    2. Välj Microsoft Entra ID>HDIFabrikam-användare.>

Skapa en användartilldelad hanterad identitet

Skapa en användartilldelad hanterad identitet som du kan använda för att konfigurera Microsoft Entra Domain Services. Mer information finns i Skapa, lista, ta bort eller tilldela en roll till en användartilldelad hanterad identitet med hjälp av Azure-portalen.

  1. Logga in på Azure-portalen.
  2. Välj Skapa en resurs och skriv managed identity. Välj Användartilldelad hanterad identitet>Skapa.
  3. För Resursnamn anger du HDIFabrikamManagedIdentity.
  4. Välj din prenumeration.
  5. Under Resursgrupp väljer du Skapa ny och anger HDIFabrikam-CentralUS.
  6. Under Plats väljer du USA, centrala.
  7. Välj Skapa.

Create a new user-assigned managed identity.

Aktivera Microsoft Entra Domain Services

Följ de här stegen för att aktivera Microsoft Entra Domain Services. Mer information finns i Aktivera Microsoft Entra Domain Services med hjälp av Azure-portalen.

  1. Skapa ett virtuellt nätverk som är värd för Microsoft Entra Domain Services. Kör följande PowerShell-kod.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Logga in på Azure-portalen.

  3. Välj Skapa resurs, ange Domain servicesoch välj Microsoft Entra Domain Services>Create.

  4. På sidan Grundläggande :

    1. Under Katalognamn väljer du den Microsoft Entra-katalog som du skapade: HDIFabrikam.

    2. För DNS-domännamn anger du HDIFabrikam.com.

    3. Välj din prenumeration.

    4. Ange resursgruppen HDIFabrikam-CentralUS. För Plats väljer du USA, centrala.

      Microsoft Entra Domain Services basic details.

  5. På sidan Nätverk väljer du nätverket (HDIFabrikam-VNET) och det undernät (AADDS-undernät) som du skapade med hjälp av PowerShell-skriptet. Eller välj Skapa ny för att skapa ett virtuellt nätverk nu.

    Create virtual network step.

  6. På sidan Administratörsgrupp bör du se ett meddelande om att en grupp med namnet AAD DC-administratörer redan har skapats för att administrera den här gruppen. Du kan ändra medlemskapet för den här gruppen om du vill, men i det här fallet behöver du inte ändra den. Välj OK.

    View the Microsoft Entra administrator group.

  7. På sidan Synkronisering aktiverar du fullständig synkronisering genom att välja Alla>OK.

    Enable Microsoft Entra Domain Services synchronization.

  8. På sidan Sammanfattning kontrollerar du informationen för Microsoft Entra Domain Services och väljer OK.

    Enable Microsoft Entra Domain Services.

När du har aktiverat Microsoft Entra Domain Services körs en lokal DNS-server på de virtuella Microsoft Entra-datorerna.

Konfigurera ditt virtuella Microsoft Entra Domain Services-nätverk

Använd följande steg för att konfigurera ditt virtuella Microsoft Entra Domain Services-nätverk (HDIFabrikam-AADDSVNET) för att använda dina anpassade DNS-servrar.

  1. Leta upp IP-adresserna för dina anpassade DNS-servrar.

    1. Välj resursen HDIFabrikam.com Microsoft Entra Domain Services.
    2. Välj Egenskaper under Hantera.
    3. Hitta IP-adresserna under IP-adress i det virtuella nätverket.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Konfigurera HDIFabrikam-AADDSVNET att använda anpassade IP-adresser 10.0.0.4 och 10.0.0.5.

    1. Under Inställningar väljer du DNS-servrar.
    2. Välj Kund.
    3. I textrutan anger du den första IP-adressen (10.0.0.4).
    4. Välj Spara.
    5. Upprepa stegen för att lägga till den andra IP-adressen (10.0.0.5).

I vårt scenario konfigurerade vi Microsoft Entra Domain Services att använda IP-adresserna 10.0.0.4 och 10.0.0.5, vilket anger samma IP-adress i det virtuella Nätverket Microsoft Entra Domain Services:

The custom DNS servers page.

Skydda LDAP-trafik

Lightweight Directory Access Protocol (LDAP) används för att läsa från och skriva till Microsoft Entra ID. Du kan göra LDAP-trafik konfidentiell och säker med hjälp av SSL-teknik (Secure Sockets Layer) eller TLS (Transport Layer Security). Du kan aktivera LDAP över SSL (LDAPS) genom att installera ett korrekt formaterat certifikat.

Mer information om säker LDAP finns i Konfigurera LDAPS för en hanterad Domän för Microsoft Entra Domain Services.

I det här avsnittet skapar du ett självsignerat certifikat, laddar ned certifikatet och konfigurerar LDAPS för den hanterade domänen HDIFabrikam Microsoft Entra Domain Services.

Följande skript skapar ett certifikat för HDIFabrikam. Certifikatet sparas i sökvägen LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Kommentar

Alla verktyg eller program som skapar en giltig PKCS-begäran (Public Key Cryptography Standards) #10 kan användas för att bilda TLS/SSL-certifikatbegäran.

Kontrollera att certifikatet är installerat i datorns personliga arkiv:

  1. Starta Microsoft Management Console (MMC).

  2. Lägg till snapin-modulen Certifikat som hanterar certifikat på den lokala datorn.

  3. Expandera Certifikat (lokal dator)>Personliga>certifikat. Ett nytt certifikat bör finnas i det personliga arkivet. Det här certifikatet utfärdas till det fullständigt kvalificerade värdnamnet.

    Verify local certificate creation.

  4. Högerklicka på certifikatet som du skapade i fönstret till höger. Peka på Alla uppgifter och välj sedan Exportera.

  5. På sidan Exportera privat nyckel väljer du Ja, exportera den privata nyckeln. Den dator där nyckeln ska importeras behöver den privata nyckeln för att läsa de krypterade meddelandena.

    The Export Private Key page of the Certificate Export Wizard.

  6. På sidan Exportera filformat lämnar du standardinställningarna och väljer sedan Nästa.

  7. På sidan Lösenord skriver du ett lösenord för den privata nyckeln. För Kryptering väljer du TripleDES-SHA1. Välj sedan Nästa.

  8. På sidan Fil att exportera skriver du sökvägen och namnet på den exporterade certifikatfilen och väljer sedan Nästa. Filnamnet måste ha ett .pfx-tillägg. Den här filen konfigureras i Azure-portalen för att upprätta en säker anslutning.

  9. Aktivera LDAPS för en hanterad domän i Microsoft Entra Domain Services.

    1. Från Azure-portalen väljer du domänen HDIFabrikam.com.
    2. Under Hantera väljer du Säker LDAP.
    3. På sidan Säker LDAP går du till Säker LDAP och väljer Aktivera.
    4. Bläddra efter pfx-certifikatfilen som du exporterade på datorn.
    5. Ange certifikatlösenordet.

    Enable secure LDAP.

  10. Nu när du har aktiverat LDAPS kontrollerar du att det kan nås genom att aktivera port 636.

    1. I resursgruppen HDIFabrikam-CentralUS väljer du nätverkssäkerhetsgruppen AADDS-HDIFabrikam.com-NSG.

    2. Under Inställningar väljer du Inkommande säkerhetsregler>Lägg till.

    3. På sidan Lägg till inkommande säkerhetsregel anger du följande egenskaper och väljer Lägg till:

      Property Värde
      Source Alla
      Källportintervall *
      Mål Alla
      Målportintervall 636
      Protokoll Alla
      Åtgärd Tillåt
      Prioritet <Önskat tal>
      Name Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity är den användartilldelade hanterade identiteten. Rollen HDInsight Domain Services-deltagare är aktiverad för den hanterade identitet som gör att den här identiteten kan läsa, skapa, ändra och ta bort domäntjänståtgärder.

Create a user-assigned managed identity.

Skapa ett ESP-aktiverat HDInsight-kluster

Det här steget kräver följande krav:

  1. Skapa en ny resursgrupp HDIFabrikam-WestUS på platsen USA, västra.

  2. Skapa ett virtuellt nätverk som ska vara värd för det ESP-aktiverade HDInsight-klustret.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Skapa en peer-relation mellan det virtuella nätverket som är värd för Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) och det virtuella nätverk som ska vara värd för DET ESP-aktiverade HDInsight-klustret (HDIFabrikam-HDIVNet). Använd följande PowerShell-kod för att peerkoppla de två virtuella nätverken.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Skapa ett nytt Azure Data Lake Storage Gen2-konto med namnet Hdigen2store. Konfigurera kontot med den användarhanterade identiteten HDIFabrikamManagedIdentity. Mer information finns i Använda Azure Data Lake Storage Gen2 med Azure HDInsight-kluster.

  5. Konfigurera anpassad DNS i det virtuella nätverket HDIFabrikam-AADDSVNET .

    1. Gå till Azure-portalen >Resursgrupper>OnPremADVRG>HDIFabrikam-AADDSVNET>DNS-servrar.

    2. Välj Anpassad och ange 10.0.0.4 och 10.0.0.5.

    3. Välj Spara.

      Save custom DNS settings for a virtual network.

  6. Skapa ett nytt ESP-aktiverat HDInsight Spark-kluster.

    1. Välj Anpassad (storlek, inställningar, appar).

    2. Ange information för Grunderna (avsnitt 1). Kontrollera att klustertypen är Spark 2.3 (HDI 3.6). Kontrollera att resursgruppen är HDIFabrikam-CentralUS.

    3. För Säkerhet + nätverk (avsnitt 2) fyller du i följande information:

      • Under Företagssäkerhetspaket väljer du Aktiverad.

      • Välj Klusteradministratörsanvändare och välj det HDIAdmin-konto som du skapade som lokal administratörsanvändare. Klicka på Välj.

      • Välj Klusteråtkomstgrupp>HDIUserGroup. Alla användare som du lägger till i den här gruppen i framtiden kommer att kunna komma åt HDInsight-kluster.

        Select the cluster access group HDIUserGroup.

    4. Slutför de andra stegen i klusterkonfigurationen och verifiera informationen i klustersammanfattningen. Välj Skapa.

  7. Logga in på Ambari-användargränssnittet för det nyligen skapade klustret på https://CLUSTERNAME.azurehdinsight.net. Använd ditt administratörsanvändarnamn hdiadmin@hdifabrikam.com och dess lösenord.

    The Apache Ambari UI sign-in window.

  8. Välj Roller på klusterinstrumentpanelen.

  9. På sidan Roller går du till Tilldela roller till dessa bredvid rollen Klusteradministratör och anger gruppen hdiusergroup.

    Assign the cluster admin role to hdiusergroup.

  10. Öppna SSH-klienten (Secure Shell) och logga in på klustret. Använd den hdiuser som du skapade i lokal Active Directory-instansen.

    Sign in to the cluster by using the SSH client.

Om du kan logga in med det här kontot har du konfigurerat ESP-klustret korrekt för att synkronisera med din lokal Active Directory-instans.

Nästa steg

Läs En introduktion till Apache Hadoop-säkerhet med ESP.