Share via

Creare e configurare cluster Enterprise Security Package in Azure HDInsight

  • Articolo

Enterprise Security Package (ESP) per Azure HDInsight consente di accedere all'autenticazione basata su Active Directory, al supporto multiutente e al controllo degli accessi in base al ruolo per i cluster Apache Hadoop in Azure. I cluster ESP HDInsight consentono alle organizzazioni che rispettano criteri di sicurezza aziendali rigorosi per elaborare i dati sensibili in modo sicuro.

Questa guida illustra come creare un cluster Azure HDInsight abilitato per ESP. Viene inoltre illustrato come creare una macchina virtuale IaaS Windows in cui sono abilitati Active Directory e Domain Name System (DNS). Usare questa guida per configurare le risorse necessarie per consentire agli utenti locali di accedere a un cluster HDInsight abilitato per ESP.

Il server creato fungerà da sostituzione per l'ambiente locale effettivo . Verrà usato per i passaggi di installazione e configurazione. Successivamente si ripeteranno i passaggi nel proprio ambiente.

Questa guida consente anche di creare un ambiente ibrido per le identità usando la sincronizzazione dell'hash delle password con Microsoft Entra ID. La guida integra l'uso di ESP in HDInsight.

Prima di usare questo processo nel proprio ambiente:

  • Configurare Active Directory e DNS.
  • Abilitare Microsoft Entra ID.
  • Sincronizzare gli account utente locali con Microsoft Entra ID.

Microsoft Entra architecture diagram.

Creare un ambiente locale

In questa sezione si userà un modello di distribuzione di avvio rapido di Azure per creare nuove macchine virtuali, configurare DNS e aggiungere una nuova foresta Active Directory.

  1. Passare al modello di distribuzione Avvio rapido per creare una macchina virtuale di Azure con una nuova foresta Di Active Directory.

  2. Selezionare Distribuisci in Azure.

  3. Accedere alla sottoscrizione di Azure.

  4. Nella pagina Creare una macchina virtuale di Azure con una nuova foresta di Active Directory specificare le informazioni seguenti:

    Proprietà valore
    Subscription Selezionare la sottoscrizione in cui si vogliono distribuire le risorse.
    Gruppo di risorse Selezionare Crea nuovo e immettere il nome OnPremADVRG
    Ufficio Selezionare una località.
    Nome utente amministratore HDIFabrikamAdmin
    Password amministratore Immettere una password.
    Nome dominio HDIFabrikam.com
    Prefisso DNS hdifabrikam

    Lasciare i valori predefiniti restanti.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Esaminare i termini e le condizioni e quindi selezionare Accetto i termini e le condizioni indicati in precedenza.

  6. Selezionare Acquista e monitorare la distribuzione e attendere il completamento. Il completamento della distribuzione richiede circa 30 minuti.

Configurare utenti e gruppi per l'accesso al cluster

In questa sezione verranno creati gli utenti che avranno accesso al cluster HDInsight alla fine di questa guida.

  1. Connessione al controller di dominio tramite Desktop remoto.

    1. Dal portale di Azure passare a Gruppi>di risorse SuPremADVRG>adVM> Connessione.
    2. Nell'elenco a discesa Indirizzo IP selezionare l'indirizzo IP pubblico.
    3. Selezionare Scarica file RDP e quindi aprire il file.
    4. Usare HDIFabrikam\HDIFabrikamAdmin come nome utente.
    5. Immettere la password scelta per l'account amministratore.
    6. Seleziona OK.

  2. Dal dashboard di Server Manager del controller di dominio passare a Strumenti> Utenti e computer di Active Directory.

    On the Server Manager dashboard, open Active Directory Management.

  3. Creare due nuovi utenti: HDI Amministrazione e HDIUser. Questi due utenti accederanno ai cluster HDInsight.

    1. Nella pagina Utenti e computer di Active Directory fare clic con il pulsante destro del mouse su HDIFabrikam.come quindi passare a Nuovo>utente.

      Create a new Active Directory user.

    2. Nella pagina Nuovo oggetto - Utente immettere HDIUser nome e nome di accesso utente. Gli altri campi verranno popolati automaticamente. Quindi seleziona Avanti.

      Create the first admin user object.

    3. Nella finestra popup visualizzata immettere una password per il nuovo account. Selezionare Password non scade mai e quindi OK nel messaggio popup.

    4. Selezionare Avanti e quindi Fine per creare il nuovo account.

    5. Ripetere i passaggi precedenti per creare l'utente HDIAdmin.

      Create a second admin user object.

  4. Creare un gruppo di sicurezza globale.

    1. Da Utenti e computer di Active Directory fare clic con il pulsante destro del mouse su HDIFabrikam.come quindi passare a Nuovo>gruppo.

    2. Immettere HDIUserGroup nella casella di testo Nome gruppo.

    3. Seleziona OK.

    Create a new Active Directory group.

    Create a new object.

  5. Aggiungere membri a HDIUserGroup.

    1. Fare clic con il pulsante destro del mouse su HDIUser e scegliere Aggiungi a un gruppo.

    2. Nella casella di testo Immettere i nomi degli oggetti da selezionare immettere HDIUserGroup. Selezionare quindi OK e di nuovo OK nella finestra popup.

    3. Ripetere i passaggi precedenti per l'account HDI Amministrazione.

      Add the member HDIUser to the group HDIUserGroup.

È stato creato l'ambiente Active Directory. Sono stati aggiunti due utenti e un gruppo di utenti che possono accedere al cluster HDInsight.

Gli utenti verranno sincronizzati con Microsoft Entra ID.

Creare una directory Microsoft Entra

  1. Accedere al portale di Azure.

  2. Selezionare Crea una risorsa e digitare directory. Selezionare Microsoft Entra ID Create .Select Microsoft Entra ID>Create.

  3. In Nome organizzazione immettere HDIFabrikam.

  4. In Nome di dominio iniziale immettere HDIFabrikamoutlook.

  5. Seleziona Crea.

    Create a Microsoft Entra directory.

Creare un dominio personalizzato

  1. Dal nuovo ID Microsoft Entra, in Gestisci, selezionare Nomi di dominio personalizzati.

  2. Selezionare + Aggiungi dominio personalizzato.

  3. In Nome di dominio personalizzato immettere HDIFabrikam.come quindi selezionare Aggiungi dominio.

  4. Completare quindi Aggiungere le informazioni DNS al registrar.

    Create a custom domain.

Creare un gruppo

  1. Dal nuovo ID Microsoft Entra, in Gestisci selezionare Gruppi.
  2. Selezionare + Nuovo gruppo.
  3. Nella casella di testo Nome gruppo immettere AAD DC Administrators.
  4. Seleziona Crea.

Configurare il tenant di Microsoft Entra

A questo punto si configurerà il tenant di Microsoft Entra in modo che sia possibile sincronizzare utenti e gruppi dall'istanza di Active Directory locale al cloud.

Creare un amministratore tenant di Active Directory.

  1. Accedere al portale di Azure e selezionare il tenant Microsoft Entra, HDIFabrikam.

  2. Passare a Gestisci>utenti>Nuovo utente.

  3. Immettere i dettagli seguenti per il nuovo utente:

    Identità

    Proprietà Descrizione
    Nome utente Immettere fabrikamazureadmin nella casella di testo. Nell'elenco a discesa nome di dominio selezionare hdifabrikam.com
    Nome Immetti fabrikamazureadmin.

    Password

    1. Selezionare Consenti la creazione della password.
    2. Immettere una password sicura a scelta.

    Gruppi e ruoli

    1. Selezionare 0 gruppi selezionati.

    2. Selezionare AAD DC Amministrazione istrators e quindi Selezionare.

      The Microsoft Entra groups dialog box.

    3. Selezionare Utente.

    4. Selezionare Amministratore globale e quindi Seleziona.

      The Microsoft Entra role dialog box.

  4. Seleziona Crea.

  5. Chiedere quindi al nuovo utente di accedere al portale di Azure in cui verrà richiesto di modificare la password. È necessario eseguire questa operazione prima di configurare Microsoft Entra Connessione.

Sincronizzare gli utenti locali con Microsoft Entra ID

Configurare microsoft Entra Connessione

  1. Dal controller di dominio scaricare Microsoft Entra Connessione.

  2. Aprire il file eseguibile scaricato e accettare le condizioni di licenza. Selezionare Continua.

  3. Selezionare Usa impostazioni rapide.

  4. Nella pagina Connessione a Microsoft Entra ID immettere il nome utente e la password dell'amministratore globale per Microsoft Entra ID. Usare il nome utente fabrikamazureadmin@hdifabrikam.com creato durante la configurazione del tenant di Active Directory. Quindi seleziona Avanti.

    Connect to Microsoft Entra ID.

  5. Nella pagina Connessione per Dominio di Active Directory Services immettere il nome utente e la password per un account amministratore dell'organizzazione. Usare il nome utente HDIFabrikam\HDIFabrikamAdmin e la relativa password creati in precedenza. Quindi seleziona Avanti.

    Connect to A D D S page.

  6. Nella pagina di configurazione dell'accesso a Microsoft Entra selezionare Avanti.

    Microsoft Entra sign-in configuration page.

  7. Nella pagina Pronto per la configurazione selezionare Installa.

    Ready to configure page.

  8. Nella pagina La configurazione è stata completata selezionare Esci. Configuration complete page.

  9. Al termine della sincronizzazione, verificare che gli utenti creati nella directory IaaS siano sincronizzati con Microsoft Entra ID.

    1. Accedere al portale di Azure.
    2. Selezionare Microsoft Entra ID>HDIFabrikam Users (Utenti HDIFabrikam).>

Creare un'identità gestita assegnata dall'utente

Creare un'identità gestita assegnata dall'utente che è possibile usare per configurare Microsoft Entra Domain Services. Per altre informazioni, vedere Creare, elencare, eliminare o assegnare un ruolo a un'identità gestita assegnata dall'utente usando il portale di Azure.

  1. Accedere al portale di Azure.
  2. Selezionare Crea una risorsa e digitare managed identity. Selezionare User Assigned Managed Identity Create (Crea identità>gestita assegnata dall'utente).
  3. Per Nome risorsa immettere HDIFabrikamManagedIdentity.
  4. Selezionare la propria sottoscrizione.
  5. In Gruppo di risorse selezionare Crea nuovo e immettere HDIFabrikam-CentralUS.
  6. In Località selezionare Stati Uniti centrali.
  7. Seleziona Crea.

Create a new user-assigned managed identity.

Abilitare Microsoft Entra Domain Services.

Seguire questa procedura per abilitare Microsoft Entra Domain Services. Per altre informazioni, vedere Abilitare Microsoft Entra Domain Services tramite il portale di Azure.

  1. Creare una rete virtuale per ospitare Microsoft Entra Domain Services. Eseguire il codice di PowerShell seguente.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Accedere al portale di Azure.

  3. Selezionare Crea risorsa, immettere Domain servicese selezionare Microsoft Entra Domain Services Create (Crea servizi>di dominio Microsoft Entra).

  4. Nella pagina Informazioni di base:

    1. In Nome directory selezionare la directory Microsoft Entra creata: HDIFabrikam.

    2. Per Nome di dominio DNS immettere HDIFabrikam.com.

    3. Selezionare la propria sottoscrizione.

    4. Specificare il gruppo di risorse HDIFabrikam-CentralUS. Per Località selezionare Stati Uniti centrali.

      Microsoft Entra Domain Services basic details.

  5. Nella pagina Rete selezionare la rete (HDIFabrikam-VNET) e la subnet (AADDS-subnet) creata usando lo script di PowerShell. In alternativa, scegliere Crea nuovo per creare una rete virtuale.

    Create virtual network step.

  6. Nella pagina del gruppo Amministrazione istrator dovrebbe essere visualizzata una notifica che indica che è già stato creato un gruppo denominato AAD DC Amministrazione istrators per amministrare questo gruppo. È possibile modificare l'appartenenza a questo gruppo se si vuole, ma in questo caso non è necessario modificarla. Seleziona OK.

    View the Microsoft Entra administrator group.

  7. Nella pagina Sincronizzazione abilitare la sincronizzazione completa selezionando Tutto>OK.

    Enable Microsoft Entra Domain Services synchronization.

  8. Nella pagina Riepilogo verificare i dettagli per Microsoft Entra Domain Services e selezionare OK.

    Enable Microsoft Entra Domain Services.

Dopo aver abilitato Microsoft Entra Domain Services, viene eseguito un server DNS locale nelle macchine virtuali Microsoft Entra.

Configurare la rete virtuale di Microsoft Entra Domain Services

Seguire questa procedura per configurare la rete virtuale di Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) per usare i server DNS personalizzati.

  1. Individuare gli indirizzi IP dei server DNS personalizzati.

    1. Selezionare la HDIFabrikam.com risorsa Servizi di dominio Microsoft Entra.
    2. In Gestione selezionare Proprietà.
    3. Trovare gli indirizzi IP in Indirizzo IP nella rete virtuale.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Configurare HDIFabrikam-AADDSVNET per usare indirizzi IP personalizzati 10.0.0.4 e 10.0.0.5.

    1. In Impostazioni selezionare Server DNS.
    2. Seleziona Personalizza.
    3. Nella casella di testo immettere il primo indirizzo IP (10.0.0.4).
    4. Seleziona Salva.
    5. Ripetere i passaggi per aggiungere l'altro indirizzo IP (10.0.0.5).

In questo scenario, Microsoft Entra Domain Services è stato configurato per l'uso degli indirizzi IP 10.0.0.4 e 10.0.0.5, impostando lo stesso indirizzo IP nella rete virtuale di Servizi di dominio Microsoft Entra:

The custom DNS servers page.

Protezione del traffico LDAP

Lightweight Directory Access Protocol (LDAP) viene usato per leggere e scrivere in Microsoft Entra ID. È possibile rendere il traffico LDAP riservato e sicuro usando la tecnologia SECURE Sockets Layer (SSL) o Transport Layer Security (TLS). È possibile abilitare LDAP tramite SSL (LD piattaforma di strumenti analitici) installando un certificato formattato correttamente.

Per altre informazioni su LDAP sicuro, vedere Configurare LD piattaforma di strumenti analitici per un dominio gestito di Microsoft Entra Domain Services.

In questa sezione viene creato un certificato autofirmato, si scarica il certificato e si configura LD piattaforma di strumenti analitici per il dominio gestito di Microsoft Entra Domain Services di HDIFabrikam.

Lo script seguente crea un certificato per HDIFabrikam. Il certificato viene salvato nel percorso LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Nota

Qualsiasi utilità o applicazione che crea una richiesta PKCS (Public Key Cryptography Standards) #10 valida può essere usata per formare la richiesta di certificato TLS/SSL.

Verificare che il certificato sia installato nell'archivio personale del computer:

  1. Avviare Microsoft Management Console (MMC).

  2. Aggiungere lo snap-in Certificati che gestisce i certificati nel computer locale.

  3. Espandere Certificati (computer locale)>Certificati personali.> Nell'archivio personale deve esistere un nuovo certificato. Questo certificato viene rilasciato al nome host completo.

    Verify local certificate creation.

  4. Nel riquadro a destra fare clic con il pulsante destro del mouse sul certificato creato. Puntare a Tutte le attività e quindi selezionare Esporta.

  5. Nella pagina Esporta chiave privata selezionare Sì, esportare la chiave privata. Il computer in cui verrà importata la chiave deve avere la chiave privata per leggere i messaggi crittografati.

    The Export Private Key page of the Certificate Export Wizard.

  6. Nella pagina Formato file di esportazione lasciare le impostazioni predefinite e quindi selezionare Avanti.

  7. Nella pagina Password digitare una password per la chiave privata. Per Crittografia selezionare TripleDES-SHA1. Quindi seleziona Avanti.

  8. Nella pagina File da esportare digitare il percorso e il nome del file di certificato esportato e quindi selezionare Avanti. Il nome del file deve avere un'estensione pfx. Questo file è configurato nella portale di Azure per stabilire una connessione sicura.

  9. Abilitare LD piattaforma di strumenti analitici per un dominio gestito di Microsoft Entra Domain Services.

    1. Nel portale di Azure selezionare il dominio HDIFabrikam.com.
    2. In Gestisci selezionare LDAP sicuro.
    3. Nella pagina LDAP sicuro, in LDAP sicuro selezionare Abilita.
    4. Cercare il file di certificato pfx esportato nel computer.
    5. Immettere la password del certificato.

    Enable secure LDAP.

  10. Dopo aver abilitato LD piattaforma di strumenti analitici, assicurarsi che sia raggiungibile abilitando la porta 636.

    1. Nel gruppo di risorse HDIFabrikam-CentralUS selezionare il gruppo di sicurezza di rete AADDS-HDIFabrikam.com-NSG.

    2. In Impostazioni selezionare Regole>di sicurezza in ingresso Aggiungi.

    3. Nella pagina Aggiungi regola di sicurezza in ingresso immettere le proprietà seguenti e selezionare Aggiungi:

      Proprietà Valore
      Origine Any
      Intervalli porte di origine *
      Destinazione Any
      Intervallo di porte di destinazione 636
      Protocollo Any
      Azione Consenti
      Priorità <Numero desiderato>
      Nome Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity è l'identità gestita assegnata dall'utente. Il ruolo Collaboratore servizi di dominio HDInsight è abilitato per l'identità gestita che consentirà a questa identità di leggere, creare, modificare ed eliminare le operazioni dei servizi di dominio.

Create a user-assigned managed identity.

Creare un cluster HDInsight abilitato per ESP

Questo passaggio richiede i prerequisiti seguenti:

  1. Creare un nuovo gruppo di risorse HDIFabrikam-WestUS nella località Stati Uniti occidentali.

  2. Creare una rete virtuale che ospiterà il cluster HDInsight abilitato per ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Creare una relazione peer tra la rete virtuale che ospita Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) e la rete virtuale che ospiterà il cluster HDInsight abilitato per ESP (HDIFabrikam-HDIVNet). Usare il codice di PowerShell seguente per eseguire il peering delle due reti virtuali.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Creare un nuovo account Azure Data Lake Archiviazione Gen2 denominato Hdigen2store. Configurare l'account con l'identità gestita dall'utente HDIFabrikamManagedIdentity. Per altre informazioni, vedere Usare Azure Data Lake Storage Gen2 con cluster Azure HDInsight.

  5. Configurare il DNS personalizzato nella rete virtuale HDIFabrikam-AADDSVNET .

    1. Passare ai gruppi>di risorse di portale di Azure >SuPremADVRG>HDIFabrikam-AADDSVNET>DNS server.

    2. Selezionare Personalizzato e immettere 10.0.0.4 e 10.0.0.5.

    3. Seleziona Salva.

      Save custom DNS settings for a virtual network.

  6. Creare un nuovo cluster HDInsight Spark abilitato per ESP.

    1. Selezionare Personalizzato (dimensioni, impostazioni, app).

    2. Immettere i dettagli per Informazioni di base (sezione 1). Verificare che il tipo di cluster sia Spark 2.3 (HDI 3.6). Assicurarsi che il gruppo di risorse sia HDIFabrikam-CentralUS.

    3. Per Sicurezza e rete (sezione 2), compilare i dettagli seguenti:

      • In Enterprise Security Package selezionare Abilitato.

      • Selezionare Utente amministratore del cluster e selezionare l'account HDI Amministrazione creato come utente amministratore locale. Fare clic su Seleziona.

      • Selezionare Gruppo di accesso cluster>HDIUserGroup. Qualsiasi utente aggiunto a questo gruppo in futuro sarà in grado di accedere ai cluster HDInsight.

        Select the cluster access group HDIUserGroup.

    4. Completare gli altri passaggi della configurazione del cluster e verificare i dettagli nel riepilogo del cluster. Seleziona Crea.

  7. Accedere all'interfaccia utente di Ambari per il cluster appena creato all'indirizzo https://CLUSTERNAME.azurehdinsight.net. Usare il nome utente hdiadmin@hdifabrikam.com dell'amministratore e la relativa password.

    The Apache Ambari UI sign-in window.

  8. Nel dashboard del cluster selezionare Ruoli.

  9. Nella pagina Ruoli, in Assegna ruoli a questi, accanto al ruolo Cluster Amministrazione istrator immettere il gruppo hdiusergroup.

    Assign the cluster admin role to hdiusergroup.

  10. Aprire il client Secure Shell (SSH) e accedere al cluster. Usare hdiuser creato nell'istanza di Active Directory locale.

    Sign in to the cluster by using the SSH client.

Se è possibile accedere con questo account, il cluster ESP è stato configurato correttamente per la sincronizzazione con l'istanza di Active Directory locale.

Passaggi successivi

Leggere Introduzione alla sicurezza di Apache Hadoop con ESP.