Configurare cluster HDInsight per l'integrazione di Microsoft Entra con Enterprise Security Package

Questo articolo fornisce un riepilogo e una panoramica del processo di creazione e configurazione di un cluster HDInsight integrato con Microsoft Entra ID. Questa integrazione si basa su una funzionalità HDInsight denominata Enterprise Security Package (ESP), Microsoft Entra Domain Services e Active Directory locale preesistente.

Per un'esercitazione dettagliata su come installare e configurare un dominio in Azure, creare un cluster abilitato per ESP e quindi sincronizzare gli utenti locali, vedere Creare e configurare cluster Enterprise Security Package in Azure HDInsight.

Background

Enterprise Security Package (ESP) offre l'integrazione di Active Directory per Azure HDInsight. Questa integrazione consente agli utenti di dominio di usare le credenziali di dominio per l'autenticazione con cluster HDInsight ed eseguire processi di Big Data.

Nota

ESP è disponibile a livello generale in HDInsight 4.0 e 5.0 per questi tipi di cluster: Apache Spark, Interactive, Hadoop, Apache Kafka e HBase. I cluster ESP creati prima della data della disponibilità generale di ESP (1° ottobre 2018) non sono supportati.

Prerequisiti

Prima di poter creare un cluster HDInsight abilitato per ESP, è necessario soddisfare alcuni prerequisiti:

• Active Directory locale esistente e Microsoft Entra ID.
• Abilitare Microsoft Entra Domain Services.
• Controllare lo stato di integrità di Microsoft Entra Domain Services per assicurarsi che la sincronizzazione sia stata completata.
• Creare e autorizzare un'identità gestita.
• Completare la configurazione di rete per DNS e i problemi correlati.

Ognuno di questi elementi viene illustrato in dettaglio. Per la procedura dettagliata per completare tutti questi passaggi, vedere Creare e configurare cluster Enterprise Security Package in Azure HDInsight.

Abilitare Microsoft Entra Domain Services.

L'abilitazione di Microsoft Entra Domain Services è un prerequisito prima di poter creare un cluster HDInsight con ESP. Per altre informazioni vedere Abilitare Microsoft Entra Domain Services tramite il portale di Azure.

Quando Microsoft Entra Domain Services è abilitato, per impostazione predefinita tutti gli utenti e gli oggetti avviano la sincronizzazione da Microsoft Entra ID a Microsoft Entra Domain Services. La durata dell'operazione di sincronizzazione dipende dal numero di oggetti in Microsoft Entra ID. La sincronizzazione potrebbe richiedere alcuni giorni per centinaia di migliaia di oggetti.

Il nome di dominio usato con Microsoft Entra Domain Services deve essere composto da un massimo di 39 caratteri per funzionare con HDInsight.

È possibile scegliere di sincronizzare solo i gruppi che devono accedere ai cluster HDInsight. Questa opzione di sincronizzazione che coinvolge solo determinati gruppi è chiamata sincronizzazione con ambito. Per istruzioni, vedere Configurare la sincronizzazione con ambito da Microsoft Entra ID al dominio gestito.

Quando si abilita LDAP sicuro, inserire il nome di dominio nel nome del soggetto. E il nome alternativo del soggetto nel certificato. Se il nome di dominio è contoso100.onmicrosoft.com, verificare che nel nome del soggetto del certificato e nel nome alternativo del soggetto sia presente il nome esatto. Per altre informazioni, vedere Configurare l'accesso LDAP sicuro (LDAPS) per un dominio gestito di Microsoft Entra Domain Services.

Nell'esempio seguente viene creato un certificato autofirmato. Il nome di dominio contoso100.onmicrosoft.com si trova sia in Subject (nome soggetto) che in DnsName (nome alternativo del soggetto).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Nota

Solo gli amministratori dei tenant hanno i privilegi necessari per abilitare Microsoft Entra Domain Services. Se l'archiviazione cluster è Azure Data Lake Storage Gen1 o Gen2, disabilitare Multi-Factor Authentication di Microsoft Entra solo per gli utenti che dovranno accedere al cluster usando le autenticazioni Kerberos di base. Se l'organizzazione richiede l'autenticazione a più fattori, provare a usare la funzionalità broker di ID di HDInsight.

È possibile usare indirizzi IP attendibili o l'accesso condizionale per disabilitare l'autenticazione a più fattori per utenti specifici solo quando accedono all'intervallo IP per la rete virtuale del cluster HDInsight.

Se l'archiviazione del cluster viene eseguita in Archiviazione BLOB di Azure, non disabilitare l'autenticazione a più fattori.

Controllare lo stato di integrità di Microsoft Entra Domain Services

Visualizzare lo stato integrità di Microsoft Entra Domain Services selezionando Integrità nella categoria Gestione. Verificare che lo stato di Microsoft Entra Domain Services sia verde (in esecuzione) e che la sincronizzazione sia stata completata.

Creare e autorizzare un'identità gestita

Usare un'identità gestita assegnata dall'utente viene usata per semplificare le operazioni sicure dei servizi di dominio. Quando si assegna all'identità gestita il ruolo Collaboratore per Servizi di dominio HDInsight, tale identità può leggere, creare, modificare ed eliminare le operazioni dei servizi di dominio.

Alcune operazioni dei servizi di dominio, ad esempio la creazione di unità organizzative ed entità servizio, sono necessarie per HDInsight Enterprise Security Package. È possibile creare identità gestite in qualsiasi sottoscrizione. Per altre informazioni sulle identità gestite in generale, vedere Identità gestite per le risorse di Azure. Per altre informazioni sul funzionamento delle identità gestite in Azure HDInsight, vedere Identità gestite in Azure HDInsight.

Per configurare i cluster ESP, creare un'identità gestita assegnata dall'utente se non è già disponibile. Vedere Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Successivamente, assegnare all'identità gestita il ruolo Collaboratore per Servizi di dominio HDInsight in Controllo di accesso per Microsoft Entra Domain Services. Per eseguire questa assegnazione di ruolo, sono necessari privilegi di amministratore di Microsoft Entra Domain Services.

Al momento dell'assegnazione del ruolo Collaboratore per Servizi di dominio HDInsight, verificare che l'identità abbia l'accesso corretto (on behalf of) per eseguire le operazioni dei servizi di dominio sul dominio di Microsoft Entra Domain Services. Queste operazioni includono la creazione e l'eliminazione di OU.

Dopo aver assegnato il ruolo all'identità gestita, l'amministratore di Microsoft Entra Domain Services gestisce chi lo usa. In primo luogo, l'amministratore seleziona l'identità gestita nel portale. Seleziona quindi Controllo di accesso (IAM) da Panoramica. L'amministratore assegna il ruolo Operatore di identità gestite a utenti o gruppi che vogliono creare cluster ESP.

Ad esempio, l'amministratore di Microsoft Entra Domain Services può assegnare questo ruolo al gruppo MarketingTeam per l'identità gestita sjmsi. Nell'immagine seguente è illustrato un esempio. Questa assegnazione garantisce che le persone giuste nell'organizzazione possano usare l'identità gestita per creare cluster ESP.

Configurazione di rete

Nota

Microsoft Entra Domain Services deve essere distribuito in una rete virtuale basata su Azure Resource Manager. Le reti virtuali classiche non sono supportate per Microsoft Entra Domain Services. Per altre informazioni vedere Abilitare Microsoft Entra Domain Services tramite il portale di Azure.

Abilitare Microsoft Entra Domain Services. Viene quindi eseguito un server DNS locale nelle macchine virtuali di Active Directory. Configurare la rete virtuale di Microsoft Entra Domain Services per l'uso di questi server DNS personalizzati. Per individuare gli indirizzi IP corretti, selezionare Proprietà nella categoria Gestisci e osservare l'INDIRIZZO IP NELLA RETE VIRTUALE.

Modificare la configurazione dei server DNS nella rete virtuale di Microsoft Entra Domain Services. Per usare questi indirizzi IP personalizzati, selezionare Server DNS nella categoria Impostazioni. Selezionare quindi l'opzione Personalizza, immettere il primo indirizzo IP nella casella di testo e selezionare Salva. Aggiungere altri indirizzi IP seguendo la stessa procedura.

È più semplice posizionare sia l'istanza di Microsoft Entra Domain Services, sia il cluster HDInsight nella stessa rete virtuale di Azure. Se si prevede di usare reti virtuali diverse, è necessario eseguire il peering di tali reti in modo che il controller di dominio sia visibile alle rete virtuali di HDInsight. Per altre informazioni, vedere Peering di rete virtuale.

Dopo aver eseguito il peering delle reti virtuali, configurare la rete virtuale di HDInsight per l'uso di un server DNS personalizzato. Immettere gli indirizzi IP privati di Microsoft Entra Domain Services come indirizzi del server DNS. Quando entrambe le reti virtuali usano gli stessi server DNS, il nome del dominio personalizzato viene risolto nell'indirizzo IP corretto ed è raggiungibile da HDInsight. Ad esempio, se il nome di dominio è contoso.com, dopo questo passaggio, ping contoso.com deve essere risolto nell'indirizzo IP di Microsoft Entra Domain Services corretto.

Se si usano regole dei gruppi di sicurezza di rete (NSG) nella subnet HDInsight, è consigliabile consentire gli indirizzi IP necessari per il traffico in entrata e in uscita.

Per testare la configurazione di rete, aggiungere una macchina virtuale Windows alla rete virtuale/subnet HDInsight ed effettuare il ping del nome di dominio. (Deve essere risolto in un indirizzo IP.) Eseguire ldp.exe per accedere al dominio di Microsoft Entra Domain Services. Infine, aggiungere la macchina virtuale Windows al dominio per verificare che tutte le chiamate RPC necessarie tra il client e il server abbiano esito positivo.

Usare nslookup per confermare l'accesso di rete all'account di archiviazione. Oppure qualsiasi database esterno che è possibile usare (ad esempio Metastore Hive esterno o Ranger DB). Verificare che le porte necessarie siano consentite nelle regole del gruppo di sicurezza di rete della subnet di Microsoft Entra Domain Services, se un gruppo di sicurezza di rete protegge Microsoft Entra Domain Services. Se l'aggiunta al dominio di questa macchina virtuale Windows ha esito positivo, continuare con il passaggio successivo e creare i cluster ESP.

Creazione di un cluster HDInsight con ESP

Dopo aver configurato i passaggi precedenti in modo corretto, il passaggio successivo consiste nel creare il cluster HDInsight con ESP abilitato. Quando si crea un cluster HDInsight, è possibile abilitare Enterprise Security Package nella scheda Sicurezza e rete. Per un modello di Azure Resource Manager per la distribuzione, usare l'esperienza del portale una sola volta. Scaricare quindi il modello precompilato nella pagina Rivedi e crea per riutilizzarlo in futuro.

È anche possibile abilitare la funzionalità Broker di ID di HDInsight durante la creazione del cluster. La funzionalità Broker di ID consente di accedere ad Ambari usando l'autenticazione a più fattori e ottenere i ticket Kerberos necessari senza bisogno di hash delle password in Microsoft Entra Domain Services.

Nota

I primi sei caratteri dei nomi di cluster ESP devono essere univoci nell'ambiente in uso. Se, ad esempio, si hanno più cluster ESP in reti virtuali diverse, scegliere una convenzione di denominazione in grado di assicurare che i primi sei caratteri dei nomi di cluster siano univoci.

Dopo aver abilitato ESP, gli errori di configurazione comuni relativi a Microsoft Entra Domain Services verranno automaticamente rilevati e convalidati. Dopo aver risolto questi errori, è possibile continuare con il passaggio successivo.

Quando si crea un cluster HDInsight con ESP, è necessario fornire i seguenti parametri:

• Utente amministratore del cluster: scegliere un amministratore per il cluster dall'istanza sincronizzata di Microsoft Entra Domain Services. Questo account di dominio deve essere già sincronizzato e disponibile in Microsoft Entra Domain Services.

• Gruppi di accesso del cluster: i gruppi di sicurezza di cui si intende sincronizzare gli utenti e farli accedere al cluster devono essere disponibili in Microsoft Entra Domain Services. Un esempio è il gruppo HiveUsers. Per altre informazioni, vedere Creare un gruppo e aggiungere membri in Microsoft Entra ID.

• URL LDAPS: un esempio è ldaps://contoso.com:636.

L'identità gestita creata può essere scelta dall'elenco a discesa Identità gestita assegnata dall'utente durante la creazione di un nuovo cluster.

.

Passaggi successivi

• Per configurare i criteri Hive ed eseguire query Hive, vedere Configurare criteri Apache Hive per cluster HDInsight con ESP.
• Per usare SSH per la connessione a cluster HDInsight con ESP, vedere Usare SSH con Apache Hadoop basato su Linux in HDInsight da Linux, Unix o OS X.