Gérer des clusters HDInsight avec le pack Sécurité Entreprise
Découvrez les utilisateurs et les rôles du pack Sécurité Entreprise (ESP) HDInsight et apprenez à gérer des clusters ESP.
Utiliser VS Code pour établir un lien avec un cluster joint à un domaine
Vous pouvez lier un cluster normal à l’aide du nom d’utilisateur Apache Ambari managé, mais également lier un cluster de sécurité Apache Hadoop à l’aide du nom d’utilisateur de domaine (par exemple : user1@contoso.com).
Ouvrez Visual Studio Code. Assurez-vous que l’extension Spark & Hive Tools est installée.
Suivez les étapes de liaison d’un cluster pour Visual Studio Code.
Utiliser IntelliJ pour établir un lien avec un cluster joint à un domaine
Vous pouvez lier un cluster normal à l’aide du nom d’utilisateur Ambari managé, mais également lier un cluster de sécurité Hadoop à l’aide du nom d’utilisateur de domaine (par exemple : user1@contoso.com).
Ouvrez IntelliJ IDEA. Assurez-vous que tous les prérequis sont respectés.
Suivez les étapes de liaison d’un cluster pour IntelliJ.
Utiliser Eclipse pour établir un lien avec un cluster joint à un domaine
Vous pouvez lier un cluster normal à l’aide du nom d’utilisateur Ambari managé, mais également lier un cluster de sécurité Hadoop à l’aide du nom d’utilisateur de domaine (par exemple : user1@contoso.com).
Ouvrez Eclipse. Assurez-vous que tous les prérequis sont respectés.
Suivez les étapes de liaison d’un cluster pour Eclipse.
Accéder aux clusters à l’aide du Pack Sécurité Entreprise
Enterprise Security Package (anciennement HDInsight Premium) permet à plusieurs utilisateurs d’accéder au cluster avec une authentification gérée par Active Directory et une autorisation exécutée par Apache Ranger et les ACL Storage (ACL ADLS). L’autorisation définit des limites sécurisées entre plusieurs utilisateurs et permet uniquement aux utilisateurs disposant de privilèges d’accéder aux données en fonction des stratégies d’autorisation.
La sécurité et l’isolement des utilisateurs sont des aspects importants pour un cluster HDInsight qui utilise Enterprise Security Package. Pour répondre à ces exigences, l’accès SSH au cluster avec le Pack Sécurité Entreprise est pris en charge pour l’utilisateur local sélectionné au moment de la création du cluster, ainsi que pour les utilisateurs disponibles dans AAD-DS (c.-à-d. Kerberos). Le tableau suivant présente les méthodes d’accès recommandées pour chaque type de cluster :
| Charge de travail | Scénario | Méthode d'accès |
|---|---|---|
| Apache Hadoop | Hive – Travaux/requêtes interactifs | |
| Apache Spark | Travaux/requêtes interactifs, PySpark interactif | |
| Apache Spark | Scénarios de traitement par lots – Spark Submit, PySpark | |
| Requête interactive (LLAP) | Interactive | |
| Quelconque | Installer une application personnalisée |
Notes
Jupyter n’est pas installé/pris en charge dans Pack Sécurité Entreprise.
L’utilisation d’API standard est utile en matière de sécurité. Vous bénéficiez également des avantages suivants :
- Gestion : vous pouvez gérer votre code et automatiser vos travaux à l’aide des API standard, comme Livy, HS2, etc.
- Audit – Avec SSH, il n’y a aucun moyen de contrôler qui utilise SSH pour accéder au cluster. La situation est différente lorsque les travaux sont construits via des points de terminaison standard puisqu’ils sont exécutés dans le contexte de l’utilisateur.
Utiliser BeeLine
Installez Beeline sur votre ordinateur et connectez-vous via l’Internet public, puis utilisez les paramètres suivants :
- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'
Si vous avez Beeline installé localement et que vous vous connectez sur un réseau virtuel Azure, utilisez les paramètres suivants :
Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'
Pour rechercher le nom de domaine complet d’un nœud principal, utilisez les informations contenues dans le document HDInsight managé à l’aide de l’API REST d’Ambari.
Utilisateurs de clusters HDInsight avec ESP
Pendant la création d’un cluster HDInsight non ESP, deux comptes d’utilisateurs sont créés :
- Administrateur Ambari : ce compte est également appelé utilisateur Hadoop ou utilisateur HTTP. Ce compte peut être utilisé pour se connecter à Ambari à l’adresse
https://CLUSTERNAME.azurehdinsight.net. Il peut également être utilisé pour exécuter des requêtes sur des vues Ambari, exécuter des travaux à l’aide d’outils externes (par exemple, PowerShell, Templeton, Visual Studio) et s’authentifier avec le pilote ODBC Hive et les outils décisionnels (par exemple, Excel, Power BI ou Tableau).
Un cluster HDInsight avec ESP compte trois nouveaux utilisateurs, en plus de l’administrateur Ambari.
Administrateur Ranger : ce compte est le compte administrateur Apache Ranger local. Il ne s’agit pas d’un utilisateur de domaine Active Directory. Ce compte peut être utilisé pour configurer des stratégies et d’autres administrateurs utilisateurs ou administrateurs délégués (pour que ces utilisateurs puissent gérer les stratégies). Par défaut, le nom d’utilisateur est admin et le mot de passe est le même que le mot de passe administrateur Ambari. Le mot de passe peut être mis à jour à partir de la page Paramètres dans Ranger.
Utilisateur de domaine administrateur de cluster : ce compte est un utilisateur de domaine Active Directory désigné comme administrateur du cluster Hadoop, y compris Ambari et Ranger. Vous devez fournir les informations d’identification de cet utilisateur lors de la création du cluster. Cet utilisateur possède les privilèges suivants :
- Joindre des machines au domaine et les placer dans l’unité d’organisation que vous spécifiez lors de la création du cluster.
- Créer des principaux de service au sein de l’unité d’organisation que vous spécifiez lors de la création du cluster.
- Créer des entrées DNS inversées.
Notez que les autres utilisateurs d’Active Directory possèdent également ces privilèges.
Il existe des points de terminaison au sein du cluster (par exemple, Templeton) qui ne sont pas gérés par Ranger et donc sécurisés. Ces points de terminaison sont verrouillés pour tous les utilisateurs, à l’exception de l’utilisateur de domaine administrateur du cluster.
Standard : pendant la création du cluster, vous pouvez fournir plusieurs groupes Active Directory. Les utilisateurs de ces groupes sont synchronisés avec Ranger et Ambari. Ce sont des utilisateurs de domaine qui ont accès uniquement aux points de terminaison gérés par Ranger (par exemple,
Hiveserver2). Les stratégies RBAC et les audits sont tous applicables à ces utilisateurs.
Rôles des clusters HDInsight avec ESP
Le pack Sécurité Entreprise HDInsight contient les rôles suivants :
- Administrateur de cluster
- Opérateur de cluster
- Administrateur de services
- Opérateur de service
- Utilisateur de cluster
Pour voir les autorisations de ces rôles.
Ouvrez l’interface utilisateur de gestion Ambari. Reportez-vous à Ouverture de l’interface utilisateur de gestion Ambari.
Dans le menu de gauche, sélectionnez Rôles.
Sélectionnez le point d’interrogation bleu pour afficher les autorisations :
Ouverture de l’interface utilisateur de gestion Ambari
Accédez à
https://CLUSTERNAME.azurehdinsight.net/, où CLUSTERNAME est le nom de votre cluster.Connectez-vous à Ambari avec le nom d’utilisateur et le mot de passe du domaine de l’administrateur du cluster.
Sélectionnez le menu déroulant admin dans l’angle supérieur droit, puis sélectionnez Manage Ambari (Gérer Ambari).
L’interface utilisateur ressemble à ce qui suit :
Énumération des utilisateurs du domaine synchronisés à partir d’Active Directory
Ouvrez l’interface utilisateur de gestion Ambari. Reportez-vous à Ouverture de l’interface utilisateur de gestion Ambari.
Dans le menu de gauche, sélectionnez Users (Utilisateurs). Vous devriez voir tous les utilisateurs synchronisés à partir d’Active Directory sur le cluster HDInsight.
Énumération des groupes du domaine synchronisés à partir d’Active Directory
Ouvrez l’interface utilisateur de gestion Ambari. Reportez-vous à Ouverture de l’interface utilisateur de gestion Ambari.
Dans le menu de gauche, sélectionnez Groups (Groupes). Vous devriez voir tous les groupes synchronisés à partir d’Active Directory sur le cluster HDInsight.
Configuration des autorisations des affichages Hive
Ouvrez l’interface utilisateur de gestion Ambari. Reportez-vous à Ouverture de l’interface utilisateur de gestion Ambari.
Dans le menu de gauche, sélectionnez Views (Vues).
Sélectionnez HIVE pour afficher les détails.
Sélectionnez le lien Hive View (Affichage Hive) pour configurer les affichages Hive.
Faites défiler jusqu’à la section Autorisations.
Sélectionnez Add User (Ajouter un utilisateur) ou Add Group (Ajouter un groupe), puis spécifiez les utilisateurs ou les groupes qui peuvent utiliser les affichages Hive.
Configuration des utilisateurs pour les rôles
Pour afficher la liste des rôles et de leurs autorisations, consultez Rôles des clusters HDInsight avec ESP.
- Ouvrez l’interface utilisateur de gestion Ambari. Reportez-vous à Ouverture de l’interface utilisateur de gestion Ambari.
- Dans le menu de gauche, sélectionnez Rôles.
- Sélectionnez Add User (Ajouter un utilisateur) ou Add Group (Ajouter un groupe) pour affecter des utilisateurs et des groupes aux différents rôles.
Étapes suivantes
- Pour configurer un cluster HDInsight avec le Pack Sécurité Entreprise, consultez Configurer des clusters HDInsight avec ESP.
- Pour configurer des stratégies Hive et exécuter des requêtes Hive, consultez Configurer des stratégies Apache Hive pour des clusters HDInsight avec ESP.