Share via

Enterprise Security Package-clusters maken en configureren in Azure HDInsight

  • Artikel

Enterprise Security Package (ESP) voor Azure HDInsight biedt u toegang tot verificatie op basis van Active Directory, ondersteuning voor meerdere gebruikers en op rollen gebaseerd toegangsbeheer voor uw Apache Hadoop-clusters in Azure. MET HDInsight ESP-clusters kunnen organisaties die voldoen aan strikt beveiligingsbeleid voor bedrijven, gevoelige gegevens veilig verwerken.

In deze handleiding ziet u hoe u een Azure HDInsight-cluster met ESP maakt. Ook ziet u hoe u een Windows IaaS-VM maakt waarop Active Directory en Domain Name System (DNS) zijn ingeschakeld. Gebruik deze handleiding om de benodigde resources zo te configureren dat on-premises gebruikers zich kunnen aanmelden bij een HDInsight-cluster met ESP.

De server die u maakt, fungeert als vervanging voor uw werkelijke on-premises omgeving. U gebruikt deze voor de installatie- en configuratiestappen. Later herhaalt u de stappen in uw eigen omgeving.

Deze handleiding helpt u ook bij het maken van een hybride identiteitsomgeving met behulp van wachtwoord-hashsynchronisatie met Microsoft Entra ID. De handleiding vormt een aanvulling op ESP gebruiken in HDInsight.

Voordat u dit proces in uw eigen omgeving gebruikt:

  • Active Directory en DNS instellen.
  • Schakel Microsoft Entra-id in.
  • On-premises gebruikersaccounts synchroniseren met Microsoft Entra-id.

Microsoft Entra architecture diagram.

Een on-premises omgeving maken

In deze sectie gebruikt u een Azure Quickstart-implementatiesjabloon om nieuwe VIRTUELE machines te maken, DNS te configureren en een nieuw Active Directory-forest toe te voegen.

  1. Ga naar de quickstart-implementatiesjabloon om een Virtuele Azure-machine te maken met een nieuw Active Directory-forest.

  2. Selecteer Implementeren in Azure.

  3. Meld u aan bij uw Azure-abonnement.

  4. Geef op de pagina Een virtuele Azure-machine maken met een nieuw AD-forest de volgende informatie op:

    Eigenschappen Weergegeven als
    Abonnement Selecteer het abonnement waar u de resources wilt implementeren.
    Resourcegroep Selecteer Nieuwe maken en voer de naam in OnPremADVRG
    Locatie Selecteer een locatie.
    Gebruikersnaam van beheerder HDIFabrikamAdmin
    Wachtwoord beheerder Voer een wachtwoord in.
    Domeinnaam HDIFabrikam.com
    Dns-voorvoegsel hdifabrikam

    Laat de resterende standaardwaarden staan.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Bekijk de voorwaarden en selecteer vervolgens ik ga akkoord met de bovenstaande voorwaarden.

  6. Selecteer Kopen en controleer de implementatie en wacht tot deze is voltooid. De implementatie duurt ongeveer 30 minuten.

Gebruikers en groepen configureren voor clustertoegang

In deze sectie maakt u de gebruikers die aan het einde van deze handleiding toegang hebben tot het HDInsight-cluster.

  1. Verbinding maken met behulp van Extern bureaublad naar de domeincontroller.

    1. Navigeer vanuit Azure Portal naar Resourcegroepen>OnPremADVRG>adVM> Verbinding maken.
    2. Selecteer in de vervolgkeuzelijst MET IP-adressen het openbare IP-adres.
    3. Selecteer RDP-bestand downloaden en open het bestand.
    4. Gebruik HDIFabrikam\HDIFabrikamAdmin deze naam als gebruikersnaam.
    5. Voer het wachtwoord in dat u hebt gekozen voor het beheerdersaccount.
    6. Selecteer OK.

  2. Ga vanaf de domeincontroller Serverbeheer dashboard naar Extra> Active Directory.

    On the Server Manager dashboard, open Active Directory Management.

  3. Maak twee nieuwe gebruikers: HDI Beheer en HDIUser. Deze twee gebruikers melden zich aan bij HDInsight-clusters.

    1. Klik op de pagina Active Directory met de rechtermuisknop HDIFabrikam.comen navigeer naar Nieuwe>gebruiker.

      Create a new Active Directory user.

    2. Voer op de pagina Nieuw object - Gebruiker de voornaam en aanmeldingsnaam van de gebruiker HDIUser in. De andere velden worden automatisch ingevuld. Selecteer Volgende.

      Create the first admin user object.

    3. Voer in het pop-upvenster dat wordt weergegeven een wachtwoord in voor het nieuwe account. Selecteer Wachtwoord verloopt nooit en klik op OK in het pop-upbericht.

    4. Selecteer Volgende en vervolgens Voltooien om het nieuwe account te maken.

    5. Herhaal de bovenstaande stappen om de gebruiker HDIAdminte maken.

      Create a second admin user object.

  4. Maak een globale beveiligingsgroep.

    1. Klik in Active Directory met de rechtermuisknop HDIFabrikam.comen navigeer naar Nieuwe>groep.

    2. Voer HDIUserGroup het tekstvak Groepsnaam in.

    3. Selecteer OK.

    Create a new Active Directory group.

    Create a new object.

  5. Voeg leden toe aan HDIUserGroup.

    1. Klik met de rechtermuisknop op HDIUser en selecteer Toevoegen aan een groep....

    2. Voer in het tekstvak De objectnamen invoeren HDIUserGroupin om het tekstvak te selecteren. Selecteer vervolgens OK en ok opnieuw in het pop-upvenster.

    3. Herhaal de vorige stappen voor het HDI Beheer-account.

      Add the member HDIUser to the group HDIUserGroup.

U hebt nu uw Active Directory-omgeving gemaakt. U hebt twee gebruikers en een gebruikersgroep toegevoegd die toegang hebben tot het HDInsight-cluster.

De gebruikers worden gesynchroniseerd met Microsoft Entra-id.

Een Microsoft Entra-map maken

  1. Meld u aan bij het Azure-portaal.

  2. Selecteer Een resource maken en typ directory. Selecteer Microsoft Entra ID>Maken.

  3. Voer onder De naam van de organisatie de naam in HDIFabrikam.

  4. Voer onder De initiële domeinnaam in HDIFabrikamoutlook.

  5. Selecteer Maken.

    Create a Microsoft Entra directory.

Een aangepast domein maken

  1. Selecteer aangepaste domeinnamen in uw nieuwe Microsoft Entra-id onder Beheren.

  2. Selecteer + Aangepast domein toevoegen.

  3. Voer onder Aangepaste domeinnaam de naam in HDIFabrikam.comen selecteer vervolgens Domein toevoegen.

  4. Vul vervolgens uw DNS-gegevens toe aan de domeinregistrar.

    Create a custom domain.

Een groep maken

  1. Selecteer Groepen in uw nieuwe Microsoft Entra-id onder Beheren.
  2. Selecteer + Nieuwe groep.
  3. Typ in AAD DC Administratorshet tekstvak groepsnaam .
  4. Selecteer Maken.

Uw Microsoft Entra-tenant configureren

Nu configureert u uw Microsoft Entra-tenant, zodat u gebruikers en groepen vanuit het on-premises Active Directory-exemplaar kunt synchroniseren met de cloud.

Maak een Active Directory-tenantbeheerder.

  1. Meld u aan bij Azure Portal en selecteer uw Microsoft Entra-tenant, HDIFabrikam.

  2. Navigeer naar Nieuwe>gebruiker beheren.>

  3. Voer de volgende gegevens in voor de nieuwe gebruiker:

    Identiteit

    Eigenschappen Beschrijving
    User name Voer fabrikamazureadmin het tekstvak in. Selecteer in de vervolgkeuzelijst domeinnaam hdifabrikam.com
    Naam Voer fabrikamazureadmin in.

    Wachtwoord

    1. Selecteer Laat me het wachtwoord maken.
    2. Voer een veilig wachtwoord van uw keuze in.

    Groepen en rollen

    1. Selecteer 0 groepen geselecteerd.

    2. Selecteer AAD DC Beheer istrators en selecteer vervolgens.

      The Microsoft Entra groups dialog box.

    3. Selecteer Gebruiker.

    4. Selecteer globale beheerder en selecteer vervolgens.

      The Microsoft Entra role dialog box.

  4. Selecteer Maken.

  5. Laat de nieuwe gebruiker zich vervolgens aanmelden bij Azure Portal, waar het wordt gevraagd om het wachtwoord te wijzigen. U moet dit doen voordat u Microsoft Entra-Verbinding maken configureert.

On-premises gebruikers synchroniseren met Microsoft Entra-id

Microsoft Entra-Verbinding maken configureren

  1. Download Microsoft Entra Verbinding maken vanaf de domeincontroller.

  2. Open het uitvoerbare bestand dat u hebt gedownload en ga akkoord met de licentievoorwaarden. Selecteer Doorgaan.

  3. Selecteer Snelle instellingen gebruiken.

  4. Voer op de pagina Verbinding maken microsoft-entra-id de gebruikersnaam en het wachtwoord in van de globale beheerder voor Microsoft Entra-id. Gebruik de gebruikersnaam fabrikamazureadmin@hdifabrikam.com die u hebt gemaakt toen u uw Active Directory-tenant hebt geconfigureerd. Selecteer Volgende.

    Connect to Microsoft Entra ID.

  5. Voer op de pagina Verbinding maken voor het Active Directory-domein Services de gebruikersnaam en het wachtwoord voor een ondernemingsbeheerdersaccount in. Gebruik de gebruikersnaam HDIFabrikam\HDIFabrikamAdmin en het bijbehorende wachtwoord die u eerder hebt gemaakt. Selecteer Volgende.

    Connect to A D D S page.

  6. Selecteer Volgende op de aanmeldingsconfiguratiepagina van Microsoft Entra.

    Microsoft Entra sign-in configuration page.

  7. Selecteer Installeren op de pagina Gereed om te configureren.

    Ready to configure page.

  8. Selecteer de pagina Configuratie voltooid op Afsluiten. Configuration complete page.

  9. Nadat de synchronisatie is voltooid, controleert u of de gebruikers die u in de IaaS-directory hebt gemaakt, zijn gesynchroniseerd met Microsoft Entra-id.

    1. Meld u aan bij het Azure-portaal.
    2. Selecteer Microsoft Entra ID>HDIFabrikam-gebruikers.>

Een door de gebruiker toegewezen beheerde identiteit maken

Maak een door de gebruiker toegewezen beheerde identiteit die u kunt gebruiken om Microsoft Entra Domain Services te configureren. Zie Een rol maken, weergeven, verwijderen of toewijzen aan een door de gebruiker toegewezen beheerde identiteit met behulp van Azure Portal voor meer informatie.

  1. Meld u aan bij het Azure-portaal.
  2. Selecteer Een resource maken en typ managed identity. Selecteer Door de gebruiker toegewezen beheerde identiteit>maken.
  3. Voer voor de resourcenaam de naam in HDIFabrikamManagedIdentity.
  4. Selecteer uw abonnement.
  5. Selecteer onder Resourcegroep Nieuwe maken en voer deze inHDIFabrikam-CentralUS.
  6. Selecteer ONDER Locatie VS - centraal.
  7. Selecteer Maken.

Create a new user-assigned managed identity.

Microsoft Entra Domain Services inschakelen.

Volg deze stappen om Microsoft Entra Domain Services in te schakelen. Zie Microsoft Entra Domain Services inschakelen met behulp van Azure Portal voor meer informatie.

  1. Maak een virtueel netwerk voor het hosten van Microsoft Entra Domain Services. Voer de volgende PowerShell-code uit.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Meld u aan bij het Azure-portaal.

  3. Selecteer Resource maken, voer Domain servicesen selecteer Microsoft Entra Domain Services>Maken.

  4. Op de pagina Basisinformatie :

    1. Selecteer onder Mapnaam de Microsoft Entra-map die u hebt gemaakt: HDIFabrikam.

    2. Voer voor de DNS-domeinnaam HDIFabrikam.com in.

    3. Selecteer uw abonnement.

    4. Geef de resourcegroep HDIFabrikam-CentralUS op. Voor Locatie selecteert u VS - centraal.

      Microsoft Entra Domain Services basic details.

  5. Selecteer op de pagina Netwerk het netwerk (HDIFabrikam-VNET) en het subnet (AADDS-subnet) dat u hebt gemaakt met behulp van het PowerShell-script. Of kies Nieuwe maken om nu een virtueel netwerk te maken.

    Create virtual network step.

  6. Op de Beheer istrator-groepspagina ziet u een melding dat er al een groep met de naam AAD DC Beheer istrators is gemaakt om deze groep te beheren. U kunt desgewenst het lidmaatschap van deze groep wijzigen, maar in dit geval hoeft u deze niet te wijzigen. Selecteer OK.

    View the Microsoft Entra administrator group.

  7. Schakel op de pagina Synchronisatie volledige synchronisatie in door Alles>ok te selecteren.

    Enable Microsoft Entra Domain Services synchronization.

  8. Controleer op de pagina Samenvatting de details voor Microsoft Entra Domain Services en selecteer OK.

    Enable Microsoft Entra Domain Services.

Nadat u Microsoft Entra Domain Services hebt ingeschakeld, wordt een lokale DNS-server uitgevoerd op de Microsoft Entra-VM's.

Uw virtuele Microsoft Entra Domain Services-netwerk configureren

Gebruik de volgende stappen om uw virtuele Microsoft Entra Domain Services-netwerk (HDIFabrikam-AADDSVNET) te configureren voor het gebruik van uw aangepaste DNS-servers.

  1. Zoek de IP-adressen van uw aangepaste DNS-servers.

    1. Selecteer de HDIFabrikam.com Microsoft Entra Domain Services-resource.
    2. Selecteer Eigenschappen onder Beheren.
    3. Zoek de IP-adressen onder IP-adres in het virtuele netwerk.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Configureer HDIFabrikam-AADDSVNET voor het gebruik van aangepaste IP-adressen 10.0.0.4 en 10.0.0.5.

    1. Selecteer dns-servers onder Instellingen.
    2. Selecteer Aangepast.
    3. Voer in het tekstvak het eerste IP-adres in (10.0.0.4).
    4. Selecteer Opslaan.
    5. Herhaal de stappen om het andere IP-adres toe te voegen (10.0.0.5).

In ons scenario hebben we Microsoft Entra Domain Services geconfigureerd voor het gebruik van IP-adressen 10.0.0.4 en 10.0.0.5, waarbij hetzelfde IP-adres wordt ingesteld op het virtuele netwerk van Microsoft Entra Domain Services:

The custom DNS servers page.

LDAP-verkeer beveiligen

Lightweight Directory Access Protocol (LDAP) wordt gebruikt voor het lezen van en schrijven naar Microsoft Entra-id. U kunt LDAP-verkeer vertrouwelijk en veilig maken met behulp van SSL-technologie (Secure Sockets Layer) of TLS-technologie (Transport Layer Security). U kunt LDAP via SSL (LDAPS) inschakelen door een correct opgemaakt certificaat te installeren.

Zie LDAPS configureren voor een door Microsoft Entra Domain Services beheerd domein voor meer informatie over Secure LDAP.

In deze sectie maakt u een zelfondertekend certificaat, downloadt u het certificaat en configureert u LDAPS voor het beheerde domein HDIDownloadam Microsoft Entra Domain Services.

Met het volgende script maakt u een certificaat voor HDIFabrikam. Het certificaat wordt opgeslagen in het pad LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Notitie

Elk hulpprogramma of elke toepassing die een geldige PKCS-aanvraag (Public Key Cryptography Standards) #10 maakt, kan worden gebruikt om de TLS/SSL-certificaataanvraag te maken.

Controleer of het certificaat is geïnstalleerd in het persoonlijke archief van de computer:

  1. Start Microsoft Management Console (MMC).

  2. Voeg de module Certificaten toe waarmee certificaten op de lokale computer worden beheerd.

  3. Vouw certificaten (lokale computer)>persoonlijke>certificaten uit. Er moet een nieuw certificaat aanwezig zijn in het persoonlijke archief. Dit certificaat wordt uitgegeven aan de volledig gekwalificeerde hostnaam.

    Verify local certificate creation.

  4. Klik in het deelvenster aan de rechterkant met de rechtermuisknop op het certificaat dat u hebt gemaakt. Wijs Alle taken aan en selecteer Exporteren.

  5. Selecteer Ja op de pagina Persoonlijke sleutel exporteren de persoonlijke sleutel exporteren. De computer waarop de sleutel wordt geïmporteerd, heeft de persoonlijke sleutel nodig om de versleutelde berichten te lezen.

    The Export Private Key page of the Certificate Export Wizard.

  6. Laat op de pagina Bestandsindeling exporteren de standaardinstellingen staan en selecteer vervolgens Volgende.

  7. Typ op de pagina Wachtwoord een wachtwoord voor de persoonlijke sleutel. Voor Versleuteling selecteert u TripleDES-SHA1. Selecteer Volgende.

  8. Typ op de pagina Bestand om te exporteren het pad en de naam voor het geëxporteerde certificaatbestand en selecteer vervolgens Volgende. De bestandsnaam moet een PFX-extensie hebben. Dit bestand is geconfigureerd in Azure Portal om een beveiligde verbinding tot stand te brengen.

  9. Schakel LDAPS in voor een door Microsoft Entra Domain Services beheerd domein.

    1. Selecteer in De Azure-portal het domein HDIFabrikam.com.
    2. Selecteer Secure LDAP onder Beheren.
    3. Selecteer Inschakelen op de pagina Secure LDAP onder Secure LDAP.
    4. Blader naar het PFX-certificaatbestand dat u op uw computer hebt geëxporteerd.
    5. Voer het certificaatwachtwoord in.

    Enable secure LDAP.

  10. Nu u LDAPS hebt ingeschakeld, controleert u of deze bereikbaar is door poort 636 in te schakelen.

    1. Selecteer in de resourcegroep HDIFabrikam-CentralUS de netwerkbeveiligingsgroep AADDS-HDIFabrikam.com-NSG.

    2. Selecteer onder Instellingen de optie Inkomende beveiligingsregels>toevoegen.

    3. Voer op de pagina Binnenkomende beveiligingsregel toevoegen de volgende eigenschappen in en selecteer Toevoegen:

      Eigenschappen Waarde
      Source Alle
      Poortbereiken van bron *
      Doel Alle
      Doelpoortbereik 636
      Protocol Alle
      Actie Toestaan
      Prioriteit <Gewenst getal>
      Naam Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity is de door de gebruiker toegewezen beheerde identiteit. De rol HDInsight Domain Services-inzender is ingeschakeld voor de beheerde identiteit waarmee deze identiteit bewerkingen voor domeinservices kan lezen, maken, wijzigen en verwijderen.

Create a user-assigned managed identity.

Een HDInsight-cluster met ESP maken

Voor deze stap zijn de volgende vereisten vereist:

  1. Maak een nieuwe resourcegroep HDIFabrikam-WestUS op de locatie VS - west.

  2. Maak een virtueel netwerk waarop het HDInsight-cluster met ESP wordt gehost.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Maak een peerrelatie tussen het virtuele netwerk dat als host fungeert voor Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) en het virtuele netwerk waarop het HDInsight-cluster met ESP wordt gehost (HDIFabrikam-HDIVNet). Gebruik de volgende PowerShell-code om de twee virtuele netwerken te koppelen.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Maak een nieuw Azure Data Lake Storage Gen2-account met de naam Hdigen2store. Configureer het account met de door de gebruiker beheerde identiteit HDIFabrikamManagedIdentity. Zie Azure Data Lake Storage Gen2 gebruiken met Azure HDInsight-clusters gebruiken voor meer informatie.

  5. Stel aangepaste DNS in het virtuele netwerk HDIFabrikam-AADDSVNET in.

    1. Ga naar azure Portal-resourcegroepen >>OnPremADVRG>HDIFabrikam-AADDSVNET>DNS-servers.

    2. Selecteer Aangepast en voer 10.0.0.4 en 10.0.0.5 in.

    3. Selecteer Opslaan.

      Save custom DNS settings for a virtual network.

  6. Maak een nieuw HDInsight Spark-cluster met ESP-functionaliteit.

    1. Selecteer Aangepast (grootte, instellingen, apps).>

    2. Voer details in voor basisbeginselen (sectie 1). Zorg ervoor dat het clustertype Spark 2.3 (HDI 3.6) is. Zorg ervoor dat de resourcegroep HDIFabrikam-CentralUS is.

    3. Vul voor Beveiliging en netwerken (sectie 2) de volgende gegevens in:

      • Selecteer Ingeschakeld onder Enterprise Security Package.

      • Selecteer de gebruiker van de clusterbeheerder en selecteer het HDI Beheer-account dat u hebt gemaakt als de on-premises beheerdergebruiker. Klik op Selecteren.

      • Selecteer Clustertoegangsgroep>HDIUserGroup. Elke gebruiker die u in de toekomst aan deze groep toevoegt, heeft toegang tot HDInsight-clusters.

        Select the cluster access group HDIUserGroup.

    4. Voer de andere stappen van de clusterconfiguratie uit en controleer de details in het clusteroverzicht. Selecteer Maken.

  7. Meld u aan bij de Ambari-gebruikersinterface voor het zojuist gemaakte cluster op https://CLUSTERNAME.azurehdinsight.net. Gebruik de gebruikersnaam hdiadmin@hdifabrikam.com en het bijbehorende wachtwoord van uw beheerder.

    The Apache Ambari UI sign-in window.

  8. Selecteer Rollen in het clusterdashboard.

  9. Voer op de pagina Rollen, onder Rollen toewijzen aan deze, naast de rol Cluster Beheer istrator, de groep hdiusergroup in.

    Assign the cluster admin role to hdiusergroup.

  10. Open uw SSH-client (Secure Shell) en meld u aan bij het cluster. Gebruik de hdiuser die u hebt gemaakt in het on-premises Active Directory-exemplaar.

    Sign in to the cluster by using the SSH client.

Als u zich met dit account kunt aanmelden, hebt u uw ESP-cluster correct geconfigureerd om te synchroniseren met uw on-premises Active Directory-exemplaar.

Volgende stappen

Lees een inleiding tot Apache Hadoop-beveiliging met ESP.