Dela via

Skapa och konfigurera Enterprise Security Package-kluster i Azure HDInsight

  • Artikel

Enterprise Security Package (ESP) för Azure HDInsight ger dig åtkomst till Active Directory-baserad autentisering, stöd för flera användare och rollbaserad åtkomstkontroll för dina Apache Hadoop-kluster i Azure. HDInsight ESP-kluster gör det möjligt för organisationer som följer strikta företagssäkerhetsprinciper att bearbeta känsliga data på ett säkert sätt.

Den här guiden visar hur du skapar ett ESP-aktiverat Azure HDInsight-kluster. Den visar också hur du skapar en virtuell Windows IaaS-dator där Active Directory och DNS (Domain Name System) är aktiverade. Använd den här guiden för att konfigurera nödvändiga resurser så att lokala användare kan logga in på ett ESP-aktiverat HDInsight-kluster.

Den server som du skapar fungerar som en ersättning för din faktiska lokala miljö. Du använder den för installations- och konfigurationsstegen. Senare upprepar du stegen i din egen miljö.

Den här guiden hjälper dig också att skapa en hybrididentitetsmiljö med hjälp av synkronisering av lösenordshash med Microsoft Entra-ID. Guiden kompletterar Använd ESP i HDInsight.

Innan du använder den här processen i din egen miljö:

  • Konfigurera Active Directory och DNS.
  • Aktivera Microsoft Entra-ID.
  • Synkronisera lokala användarkonton med Microsoft Entra-ID.

Arkitekturdiagram för Microsoft Entra.

Skapa en lokal miljö

I det här avsnittet använder du en azure-snabbstartsdistributionsmall för att skapa nya virtuella datorer, konfigurera DNS och lägga till en ny Active Directory-skog.

  1. Gå till snabbstartsdistributionsmallen för att skapa en virtuell Azure-dator med en ny Active Directory-skog.

  2. Välj Distribuera till Azure.

  3. Logga in på din Azure-prenumeration.

  4. På sidan Skapa en virtuell Azure-dator med en ny AD-skog anger du följande information:

    Property Värde
    Prenumeration Välj den prenumeration där du vill distribuera resurserna.
    Resursgrupp Välj Skapa ny och ange namnet OnPremADVRG
    Plats Välj en plats.
    Användarnamn för administratör HDIFabrikamAdmin
    Administratörslösenord Ange ett lösenord.
    Domännamn HDIFabrikam.com
    Dns-prefix hdifabrikam

    Låt de återstående standardvärdena vara kvar.

    Mall för Att skapa en virtuell Azure-dator med en ny Microsoft Entra-skog.

  5. Granska villkoren och välj sedan Jag godkänner de villkor som anges ovan.

  6. Välj Köp och övervaka distributionen och vänta tills den har slutförts. Distributionen tar cirka 30 minuter att slutföra.

Konfigurera användare och grupper för klusteråtkomst

I det här avsnittet skapar du de användare som ska ha åtkomst till HDInsight-klustret i slutet av den här guiden.

  1. Anslut till domänkontrollanten med hjälp av Fjärrskrivbord.

    1. Från Azure-portalen går du till Resursgrupper>OnPremADVRG>adVM>Connect.
    2. I listrutan IP-adress väljer du den offentliga IP-adressen.
    3. Välj Ladda ned RDP-fil och öppna sedan filen.
    4. Använd HDIFabrikam\HDIFabrikamAdmin som användarnamn.
    5. Ange det lösenord som du valde för administratörskontot.
    6. Välj OK.

  2. Från instrumentpanelen för domänkontrollantens Serverhanteraren går du till Verktyg>Active Directory-användare och datorer.

    Öppna Active Directory Management på instrumentpanelen för Serverhanteraren.

  3. Skapa två nya användare: HDIAdmin och HDIUser. Dessa två användare loggar in på HDInsight-kluster.

    1. På sidan Active Directory-användare och datorer högerklickar du på HDIFabrikam.comoch navigerar sedan till Ny>användare.

      Skapa en ny Active Directory-användare.

    2. På sidan Nytt objekt – användare anger du HDIUser som Förnamn och Användarens inloggningsnamn. De andra fälten fylls i automatiskt. Välj sedan Nästa.

      Skapa det första administratörsanvändarobjektet.

    3. I popup-fönstret som visas anger du ett lösenord för det nya kontot. Välj Lösenord upphör aldrig att gälla och sedan OK i popup-meddelandet.

    4. Välj Nästa och sedan Slutför för att skapa det nya kontot.

    5. Upprepa stegen ovan för att skapa användaren HDIAdmin.

      Skapa ett andra administratörsanvändarobjekt.

  4. Skapa en säkerhetsgrupp.

    1. Från Active Directory-användare och datorer högerklickar du på HDIFabrikam.comoch navigerar sedan till Ny>grupp.

    2. Ange HDIUserGroup i textrutan Gruppnamn .

    3. Välj OK.

    Skapa en ny Active Directory-grupp.

    Skapa ett nytt objekt.

  5. Lägg till medlemmar i HDIUserGroup.

    1. Högerklicka på HDIUser och välj Lägg till i en grupp....

    2. I rutan Ange objektnamn för att välja text anger du HDIUserGroup. Välj sedan OK och OK igen i popup-fönstret.

    3. Upprepa föregående steg för HDIAdmin-kontot .

      Lägg till medlemmen HDIUser i gruppen HDIUserGroup.

Nu har du skapat din Active Directory-miljö. Du har lagt till två användare och en användargrupp som kan komma åt HDInsight-klustret.

Användarna synkroniseras med Microsoft Entra-ID.

Skapa en Microsoft Entra-katalog

  1. Logga in på Azure-portalen.

  2. Välj Skapa en resurs och skriv directory. Välj Microsoft Entra-ID>Skapa.

  3. Under Organisationsnamn anger du HDIFabrikam.

  4. Under Initial domain name (Ursprungligt domännamn) anger du HDIFabrikamoutlook.

  5. Välj Skapa.

    Skapa en Microsoft Entra-katalog.

Skapa en anpassad domän

  1. Från ditt nya Microsoft Entra-ID går du till Hantera och väljer Anpassade domännamn.

  2. Välj + Lägg till en anpassad domän.

  3. Under Anpassat domännamn anger du HDIFabrikam.comoch väljer sedan Lägg till domän.

  4. Fyll sedan i Lägg till DIN DNS-information till domänregistratorn.

    Skapa en anpassad domän.

Skapa en grupp

  1. Från ditt nya Microsoft Entra-ID går du till Hantera och väljer Grupper.
  2. Välj + Ny grupp.
  3. I textrutan gruppnamn anger du AAD DC Administrators.
  4. Välj Skapa.

Konfigurera din Microsoft Entra-klientorganisation

Nu ska du konfigurera din Microsoft Entra-klientorganisation så att du kan synkronisera användare och grupper från den lokalni Active Directory instansen till molnet.

Skapa en Active Directory-klientadministratör.

  1. Logga in på Azure-portalen och välj din Microsoft Entra-klientorganisation, HDIFabrikam.

  2. Gå till Hantera>användare>Ny användare.

  3. Ange följande information för den nya användaren:

    Identitet

    Property beskrivning
    Användarnamn Ange fabrikamazureadmin i textrutan. I listrutan domännamn väljer du hdifabrikam.com
    Name Ange fabrikamazureadmin.

    Lösenord

    1. Välj Låt mig skapa lösenordet.
    2. Ange ett säkert lösenord.

    Grupper och roller

    1. Välj 0 grupper markerade.

    2. Välj AAD DC Administratörer och sedan Välj.

      Dialogrutan Microsoft Entra-grupper.

    3. Välj Användare.

    4. Välj Administratör och sedan Välj.

      Dialogrutan Microsoft Entra-roll.

  4. Välj Skapa.

  5. Låt sedan den nya användaren logga in på Azure-portalen där den uppmanas att ändra lösenordet. Du måste göra detta innan du konfigurerar Microsoft Entra Connect.

Synkronisera lokala användare med Microsoft Entra-ID

Konfigurera Microsoft Entra Connect

  1. Ladda ned Microsoft Entra Connect från domänkontrollanten.

  2. Öppna den körbara fil som du laddade ned och godkänn licensvillkoren. Välj Fortsätt.

  3. Välj Använd expressinställningar.

  4. På sidan Anslut till Microsoft Entra-ID anger du användarnamnet och lösenordet för administratören för Microsoft Entra-ID. Använd användarnamnet fabrikamazureadmin@hdifabrikam.com som du skapade när du konfigurerade Active Directory-klientorganisationen. Välj sedan Nästa.

    Anslut till Microsoft Entra ID.

  5. På sidan Anslut till Usluge domena aktivnog direktorijuma anger du användarnamnet och lösenordet för ett företagsadministratörskonto. Använd användarnamnet HDIFabrikam\HDIFabrikamAdmin och dess lösenord som du skapade tidigare. Välj sedan Nästa.

    Anslut till sidan A D D S.

  6. På inloggningskonfigurationssidan för Microsoft Entra väljer du Nästa.

    Microsoft Entra-inloggningskonfigurationssida.

  7. På sidan Redo att konfigurera väljer du Installera.

    Redo att konfigurera sidan.

  8. På sidan Konfiguration slutförd väljer du Avsluta. Sidan Konfigurationen har slutförts.

  9. När synkroniseringen är klar kontrollerar du att de användare som du skapade i IaaS-katalogen är synkroniserade med Microsoft Entra-ID.

    1. Logga in på Azure-portalen.
    2. Välj Microsoft Entra ID>HDIFabrikam-användare.>

Skapa en användartilldelad hanterad identitet

Skapa en användartilldelad hanterad identitet som du kan använda för att konfigurera Microsoft Entra Domain Services. Mer information finns i Skapa, lista, ta bort eller tilldela en roll till en användartilldelad hanterad identitet med hjälp av Azure-portalen.

  1. Logga in på Azure-portalen.
  2. Välj Skapa en resurs och skriv managed identity. Välj Användartilldelad hanterad identitet>Skapa.
  3. För Resursnamn anger du HDIFabrikamManagedIdentity.
  4. Välj din prenumeration.
  5. Under Resursgrupp väljer du Skapa ny och anger HDIFabrikam-CentralUS.
  6. Under Plats väljer du USA, centrala.
  7. Välj Skapa.

Skapa en ny användartilldelad hanterad identitet.

Aktivera Microsoft Entra Domain Services

Följ de här stegen för att aktivera Microsoft Entra Domain Services. Mer information finns i Aktivera Microsoft Entra Domain Services med hjälp av Azure-portalen.

  1. Skapa ett virtuellt nätverk som är värd för Microsoft Entra Domain Services. Kör följande PowerShell-kod.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Logga in på Azure-portalen.

  3. Välj Skapa resurs, ange Domain servicesoch välj Microsoft Entra Domain Services>Create.

  4. På sidan Grundläggande :

    1. Under Katalognamn väljer du den Microsoft Entra-katalog som du skapade: HDIFabrikam.

    2. För DNS-domännamn anger du HDIFabrikam.com.

    3. Välj din prenumeration.

    4. Ange resursgruppen HDIFabrikam-CentralUS. För Plats väljer du USA, centrala.

      Grundläggande information om Microsoft Entra Domain Services.

  5. På sidan Nätverk väljer du nätverket (HDIFabrikam-VNET) och det undernät (AADDS-undernät) som du skapade med hjälp av PowerShell-skriptet. Eller välj Skapa ny för att skapa ett virtuellt nätverk nu.

    Skapa steg för virtuellt nätverk.

  6. På sidan Administratörsgrupp bör du se ett meddelande om att en grupp med namnet AAD DC Administratörer redan har skapats för att administrera den här gruppen. Du kan ändra medlemskapet för den här gruppen om du vill, men i det här fallet behöver du inte ändra den. Välj OK.

    Visa Microsoft Entra-administratörsgruppen.

  7. På sidan Synkronisering aktiverar du fullständig synkronisering genom att välja Alla>OK.

    Aktivera Synkronisering av Microsoft Entra Domain Services.

  8. På sidan Sammanfattning kontrollerar du informationen för Microsoft Entra Domain Services och väljer OK.

    Aktivera Microsoft Entra Domain Services.

När du har aktiverat Microsoft Entra Domain Services körs en lokal DNS-server på de virtuella Microsoft Entra-datorerna.

Konfigurera ditt virtuella Microsoft Entra Domain Services-nätverk

Använd följande steg för att konfigurera ditt virtuella Microsoft Entra Domain Services-nätverk (HDIFabrikam-AADDSVNET) för att använda dina anpassade DNS-servrar.

  1. Leta upp IP-adresserna för dina anpassade DNS-servrar.

    1. Välj resursen HDIFabrikam.com Microsoft Entra Domain Services.
    2. Välj Egenskaper under Hantera.
    3. Hitta IP-adresserna under IP-adress i det virtuella nätverket.

    Leta upp anpassade DNS-IP-adresser för Microsoft Entra Domain Services.

  2. Konfigurera HDIFabrikam-AADDSVNET att använda anpassade IP-adresser 10.0.0.4 och 10.0.0.5.

    1. Under Inställningar väljer du DNS-servrar.
    2. Välj Kund.
    3. I textrutan anger du den första IP-adressen (10.0.0.4).
    4. Välj Spara.
    5. Upprepa stegen för att lägga till den andra IP-adressen (10.0.0.5).

I vårt scenario konfigurerade vi Microsoft Entra Domain Services att använda IP-adresserna 10.0.0.4 och 10.0.0.5, vilket anger samma IP-adress i det virtuella Nätverket Microsoft Entra Domain Services:

Sidan anpassade DNS-servrar.

Skydda LDAP-trafik

Lightweight Directory Access Protocol (LDAP) används för att läsa från och skriva till Microsoft Entra ID. Du kan göra LDAP-trafik konfidentiell och säker med hjälp av SSL-teknik (Secure Sockets Layer) eller TLS (Transport Layer Security). Du kan aktivera LDAP över SSL (LDAPS) genom att installera ett korrekt formaterat certifikat.

Mer information om säker LDAP finns i Konfigurera LDAPS för en hanterad Domän för Microsoft Entra Domain Services.

I det här avsnittet skapar du ett självsignerat certifikat, laddar ned certifikatet och konfigurerar LDAPS för den hanterade domänen HDIFabrikam Microsoft Entra Domain Services.

Följande skript skapar ett certifikat för HDIFabrikam. Certifikatet sparas i sökvägen LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Kommentar

Alla verktyg eller program som skapar en giltig PKCS-begäran (Public Key Cryptography Standards) #10 kan användas för att bilda TLS/SSL-certifikatbegäran.

Kontrollera att certifikatet är installerat i datorns personliga arkiv:

  1. Starta Microsoft Management Console (MMC).

  2. Lägg till snapin-modulen Certifikat som hanterar certifikat på den lokala datorn.

  3. Expandera Certifikat (lokal dator)>Personliga>certifikat. Ett nytt certifikat bör finnas i det personliga arkivet. Det här certifikatet utfärdas till det fullständigt kvalificerade värdnamnet.

    Kontrollera att det lokala certifikatet har skapats.

  4. Högerklicka på certifikatet som du skapade i fönstret till höger. Peka på Alla uppgifter och välj sedan Exportera.

  5. På sidan Exportera privat nyckel väljer du Ja, exportera den privata nyckeln. Den dator där nyckeln ska importeras behöver den privata nyckeln för att läsa de krypterade meddelandena.

    Sidan Exportera privat nyckel i guiden Exportera certifikat.

  6. På sidan Exportera filformat lämnar du standardinställningarna och väljer sedan Nästa.

  7. På sidan Lösenord skriver du ett lösenord för den privata nyckeln. För Kryptering väljer du TripleDES-SHA1. Välj sedan Nästa.

  8. På sidan Fil att exportera skriver du sökvägen och namnet på den exporterade certifikatfilen och väljer sedan Nästa. Filnamnet måste ha ett .pfx-tillägg. Den här filen konfigureras i Azure-portalen för att upprätta en säker anslutning.

  9. Aktivera LDAPS för en hanterad domän i Microsoft Entra Domain Services.

    1. Från Azure-portalen väljer du domänen HDIFabrikam.com.
    2. Under Hantera väljer du Säker LDAP.
    3. På sidan Säker LDAP går du till Säker LDAP och väljer Aktivera.
    4. Bläddra efter pfx-certifikatfilen som du exporterade på datorn.
    5. Ange certifikatlösenordet.

    Aktivera säker LDAP.

  10. Nu när du har aktiverat LDAPS kontrollerar du att det kan nås genom att aktivera port 636.

    1. I resursgruppen HDIFabrikam-CentralUS väljer du nätverkssäkerhetsgruppen AADDS-HDIFabrikam.com-NSG.

    2. Under Inställningar väljer du Inkommande säkerhetsregler>Lägg till.

    3. På sidan Lägg till inkommande säkerhetsregel anger du följande egenskaper och väljer Lägg till:

      Property Värde
      Source Alla
      Källportintervall *
      Mål Alla
      Målportintervall 636
      Protokoll Alla
      Åtgärd Tillåt
      Prioritet <Önskat tal>
      Name Port_LDAP_636

      Dialogrutan Lägg till inkommande säkerhetsregel.

HDIFabrikamManagedIdentity är den användartilldelade hanterade identiteten. Rollen HDInsight Domain Services-deltagare är aktiverad för den hanterade identitet som gör att den här identiteten kan läsa, skapa, ändra och ta bort domäntjänståtgärder.

Skapa en användartilldelad hanterad identitet.

Skapa ett ESP-aktiverat HDInsight-kluster

Det här steget kräver följande krav:

  1. Skapa en ny resursgrupp HDIFabrikam-WestUS på platsen USA, västra.

  2. Skapa ett virtuellt nätverk som ska vara värd för det ESP-aktiverade HDInsight-klustret.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Skapa en peer-relation mellan det virtuella nätverket som är värd för Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) och det virtuella nätverk som ska vara värd för DET ESP-aktiverade HDInsight-klustret (HDIFabrikam-HDIVNet). Använd följande PowerShell-kod för att peerkoppla de två virtuella nätverken.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Skapa ett nytt Azure Data Lake Storage Gen2-konto med namnet Hdigen2store. Konfigurera kontot med den användarhanterade identiteten HDIFabrikamManagedIdentity. Mer information finns i Använda Azure Data Lake Storage Gen2 med Azure HDInsight-kluster.

  5. Konfigurera anpassad DNS i det virtuella nätverket HDIFabrikam-AADDSVNET .

    1. Gå till Azure-portalen >Resursgrupper>OnPremADVRG>HDIFabrikam-AADDSVNET>DNS-servrar.

    2. Välj Anpassad och ange 10.0.0.4 och 10.0.0.5.

    3. Välj Spara.

      Spara anpassade DNS-inställningar för ett virtuellt nätverk.

  6. Skapa ett nytt ESP-aktiverat HDInsight Spark-kluster.

    1. Välj Anpassad (storlek, inställningar, appar).

    2. Ange information för Grunderna (avsnitt 1). Kontrollera att klustertypen är Spark 2.3 (HDI 3.6). Kontrollera att resursgruppen är HDIFabrikam-CentralUS.

    3. För Säkerhet + nätverk (avsnitt 2) fyller du i följande information:

      • Under Företagssäkerhetspaket väljer du Aktiverad.

      • Välj Klusteradministratörsanvändare och välj det HDIAdmin-konto som du skapade som lokal administratörsanvändare. Klicka på Välj.

      • Välj Klusteråtkomstgrupp>HDIUserGroup. Alla användare som du lägger till i den här gruppen i framtiden kommer att kunna komma åt HDInsight-kluster.

        Välj klusteråtkomstgruppen HDIUserGroup.

    4. Slutför de andra stegen i klusterkonfigurationen och verifiera informationen i klustersammanfattningen. Välj Skapa.

  7. Logga in på Ambari-användargränssnittet för det nyligen skapade klustret på https://CLUSTERNAME.azurehdinsight.net. Använd ditt administratörsanvändarnamn hdiadmin@hdifabrikam.com och dess lösenord.

    Inloggningsfönstret för Apache Ambari-användargränssnittet.

  8. Välj Roller på klusterinstrumentpanelen.

  9. På sidan Roller går du till Tilldela roller till dessa bredvid rollen Klusteradministratör och anger gruppen hdiusergroup.

    Tilldela klusteradministratörsrollen till hdiusergroup.

  10. Öppna SSH-klienten (Secure Shell) och logga in på klustret. Använd den hdiuser som du skapade i lokalni Active Directory-instansen.

    Logga in på klustret med hjälp av SSH-klienten.

Om du kan logga in med det här kontot har du konfigurerat ESP-klustret korrekt för att synkronisera med din lokalni Active Directory-instans.

Nästa steg

Läs En introduktion till Apache Hadoop-säkerhet med ESP.