Gestire i cluster HDInsight con Enterprise Security Package
Informazioni su utenti e ruoli in HDInsight Enterprise Security Package (ESP) e su come gestire i cluster ESP.
Usare VSCode per collegarsi a un cluster aggiunto al dominio
È possibile collegare un cluster normale usando un nome utente Apache Ambari gestito e anche collegare un cluster Apache Hadoop di sicurezza usando un nome utente di dominio (ad esempio: user1@contoso.com).
Aprire Visual Studio Code. Verificare che l'estensione Spark & Hive Tools sia installata.
Seguire la procedura descritta in Collegare un cluster per Visual Studio Code.
Usare IntelliJ per collegarsi a un cluster aggiunto al dominio
È possibile collegare un cluster normale usando un nome utente Ambari gestito e anche collegare un cluster Hadoop di sicurezza usando un nome utente di dominio (ad esempio: user1@contoso.com).
Aprire IntelliJ IDEA. Verificare che tutti i prerequisiti siano soddisfatti.
Seguire la procedura descritta in Collegare un cluster per IntelliJ.
Usare Eclipse per collegarsi a un cluster aggiunto al dominio
È possibile collegare un cluster normale usando un nome utente Ambari gestito e anche collegare un cluster Hadoop di sicurezza usando un nome utente di dominio (ad esempio: user1@contoso.com).
Aprire Eclipse. Verificare che tutti i prerequisiti siano soddisfatti.
Seguire la procedura descritta in Collegare un cluster per Eclipse.
Accedere ai cluster con Enterprise Security Package
Il pacchetto di sicurezza aziendale (noto in precedenza come HDInsight Premium) fornisce l'accesso multiutente al cluster, con l'autenticazione eseguita da Active Directory e l'autorizzazione concessa da Apache Ranger e ACL di archiviazione (ACL ADLS). L'autorizzazione fornisce limiti sicuri tra più utenti e consente solo agli utenti con privilegi di accedere ai dati in base ai criteri di autorizzazione.
La sicurezza e l'isolamento degli utenti sono importanti per un cluster HDInsight con il pacchetto di sicurezza aziendale. Per soddisfare questi requisiti, l'accesso SSH al cluster con Enterprise Security Package è supportato per l'utente locale selezionato al momento della creazione del cluster, nonché per gli utenti disponibili in AAD-DS (ad esempio Kerberos). La tabella seguente mostra i metodi di accesso consigliati per ogni tipo di cluster:
| Carico di lavoro | Scenario | Metodo di accesso |
|---|---|---|
| Apache Hadoop | Hive - query/processi interattivi | |
| Apache Spark | Query/processi interattivi, PySpark interattivo | |
| Apache Spark | Scenari batch - Spark-submit, PySpark | |
| Interactive Query (LLAP) | Interattivo | |
| Any | Installazione applicazione personalizzata |
Nota
Jupyter non è installato/supportato in Enterprise Security Package.
L'uso delle API standard aiuta dal punto di vista della sicurezza. Si ottengono anche i vantaggi seguenti:
- Gestione: è possibile gestire il codice e automatizzare i processi usando API standard, come Livy, HS2 e così via.
- Audit : con SSH non è possibile controllare quali utenti connettersi al cluster. Questo non sarebbe il caso in cui i processi vengono costruiti tramite endpoint standard come verrebbero eseguiti nel contesto dell'utente.
Usare Beeline
Installare Beeline nel computer e stabilire la connessione tramite la rete Internet pubblica, usando i parametri seguenti:
- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'
Se Beeline è installato in locale e si esegue la connessione tramite una rete virtuale di Azure, usare i parametri seguenti:
Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'
Per trovare il nome di dominio completo di un nodo head, usare le informazioni contenute nel documento Gestire i cluster HDInsight mediante l'API REST Ambari.
Utenti dei cluster HDInsight con ESP
Un cluster HDInsight non ESP dispone di due account utente creati durante la creazione del cluster:
- Amministratore Ambari: questo account è denominato anche Utente Hadoop o Utente HTTP. Questo account può essere usato per accedere ad Ambari all'indirizzo
https://CLUSTERNAME.azurehdinsight.net. Può anche essere usato per eseguire query nelle viste Ambari, eseguire processi tramite strumenti esterni (ad esempio PowerShell, Templeton, Visual Studio) ed eseguire l'autenticazione con i driver ODBC Hive e gli strumenti di BUSINESS Intelligence (ad esempio Excel, Power BI o Tableau).
Un cluster HDInsight con ESP ha tre nuovi utenti, oltre all'amministratore di Ambari.
Amministrazione Ranger: questo account è l'account di amministratore Ranger locale di Apache. Non è un utente di dominio active directory. Questo account può essere usato per configurare criteri e creare altri utenti amministratori o amministratori con delega (i quali potranno gestire i criteri). Per impostazione predefinita, il nome utente è admin e la password corrisponde alla password dell'amministratore Ambari. La password può essere aggiornata dalla pagina delle impostazioni di Ranger.
Utente del dominio di amministrazione cluster: questo account corrisponde a un utente del dominio di Active Directory designato come amministratore del cluster Hadoop che include Ambari e Ranger. È necessario specificare le credenziali dell'utente durante la creazione del cluster. L'utente dispone dei privilegi seguenti:
- Aggiunta di computer al dominio e posizionamento degli stessi all'interno dell'unità organizzativa specificata in fase di creazione del cluster.
- Creazione delle entità di servizio nell'unità organizzativa specificata in fase di creazione del cluster.
- Creazione delle voci DNS inverse.
Tenere presente che questi privilegi sono gli stessi di altri utenti di Active Directory.
Esistono alcuni punti finali all'interno del cluster (ad esempio Templeton) che non sono gestiti da Ranger e quindi non sono sicuri. Questi endpoint sono bloccati per tutti gli utenti, tranne l'utente del dominio di amministrazione del cluster.
Normale: durante la creazione del cluster, è possibile specificare più gruppi di Active Directory. Gli utenti di questi gruppi sono sincronizzati con Ranger e Ambari. Questi utenti sono utenti di dominio e possono accedere solo agli endpoint gestiti da Ranger (ad esempio, Hiveserver2). A questi utenti potranno essere applicati tutti i criteri di controllo e controllo degli accessi in base al ruolo.
Ruoli dei cluster HDInsight con ESP
Enterprise Security Package per HDInsight ha i seguenti ruoli:
- Amministrazione cluster
- Operatore del cluster
- Amministratore del servizio
- Operatore del servizio
- Utente del cluster
Per visualizzare le autorizzazioni associate a questi ruoli
Aprire l'interfaccia utente per la gestione di Ambari. Vedere Open the Ambari Management UI (Aprire l'interfaccia utente per la gestione di Ambari).
Nel menu a sinistra selezionare Ruoli.
Selezionare il punto interrogativo blu per visualizzare le autorizzazioni:
Aprire l'interfaccia utente per la gestione di Ambari.
Passare a
https://CLUSTERNAME.azurehdinsight.net/dove CLUSTERNAME è il nome del cluster.Accedere ad Ambari usando il nome utente di dominio e la password dell'amministratore del cluster.
Selezionare il menu a discesa amministratore nell'angolo in alto a destra e quindi selezionare Gestisci Ambari.
L'interfaccia utente ha il seguente aspetto:
Elencare gli utenti del dominio sincronizzati da Active Directory
Aprire l'interfaccia utente per la gestione di Ambari. Vedere Open the Ambari Management UI (Aprire l'interfaccia utente per la gestione di Ambari).
Nel menu a sinistra selezionare Utenti. Verranno visualizzati tutti gli utenti sincronizzati da Active Directory al cluster HDInsight.
Elencare gli utenti del dominio sincronizzati da Active Directory
Aprire l'interfaccia utente per la gestione di Ambari. Vedere Open the Ambari Management UI (Aprire l'interfaccia utente per la gestione di Ambari).
Nel menu a sinistra selezionare Gruppi. Verranno visualizzati tutti i gruppi sincronizzati da Active Directory al cluster HDInsight.
Configurare le autorizzazioni delle viste Hive
Aprire l'interfaccia utente per la gestione di Ambari. Vedere Open the Ambari Management UI (Aprire l'interfaccia utente per la gestione di Ambari).
Nel menu a sinistra selezionare Visualizzazioni.
Selezionare HIVE per visualizzare i dettagli.
Selezionare il collegamento Visualizzazione Hive per configurare le viste Hive.
Scorrere verso il basso fino alla sezione Permissions Autorizzazioni.
Selezionare Aggiungi utente o Aggiungi gruppo e quindi specificare gli utenti o i gruppi che possono usare viste Hive.
Configurare i ruoli degli utenti
Per visualizzare un elenco dei ruoli con le relative autorizzazioni, vedere Ruoli dei cluster HDInsight con ESP.
- Aprire l'interfaccia utente per la gestione di Ambari. Vedere Open the Ambari Management UI (Aprire l'interfaccia utente per la gestione di Ambari).
- Nel menu a sinistra selezionare Ruoli.
- Selezionare Aggiungi utente o Aggiungi gruppo per assegnare utenti e gruppi a ruoli diversi.
Passaggi successivi
- Per configurare un cluster HDInsight con Enterprise Security Package, vedere Configurare i cluster HDInsight con ESP.
- Per configurare i criteri Hive ed eseguire le query Hive, vedere Configurare criteri Apache Hive per i cluster HDInsight con ESP.