Créer et configurer des clusters de Pack Sécurité Entreprise dans Azure HDInsight

  • Article

Le Pack Sécurité Entreprise (ESP) pour Azure HDInsight vous donne accès à l’authentification basée sur Active Directory, à la prise en charge multi-utilisateur et au contrôle d’accès en fonction du rôle pour vos clusters Apache Hadoop dans Azure. Les clusters ESP HDInsight permettent aux organisations, qui adhèrent aux stratégies de sécurité strictes de l’entreprise, de traiter les données sensibles de façon sécurisée.

Ce guide montre comment créer un cluster ESP Azure HDInsight. Il montre également comment créer une machine virtuelle IaaS Windows sur laquelle Active Directory et le système DNS (Domain Name System) sont activés. Utilisez ce guide pour configurer les ressources en vue d’autoriser les utilisateurs locaux à se connecter à un cluster ESP HDInsight.

Le serveur que vous créez vient remplacer votre environnement local actuel. Vous l’utiliserez pour les étapes d’installation et de configuration. Plus tard, vous recommencerez ces étapes dans votre propre environnement.

Ce guide vous aidera également à créer un environnement d’identité hybride via la synchronisation du hachage de mot de passe avec Microsoft Entra ID. Ce guide est un complément au guide Utilisation de l’ESP dans HDInsight.

Avant d’utiliser ce processus dans votre propre environnement :

  • Configurez Active Directory et le service DNS.
  • Activez Microsoft Entra ID.
  • Synchronisez les comptes d’utilisateurs locaux vers Microsoft Entra ID.

Microsoft Entra architecture diagram.

Créer un environnement local

Dans cette section, vous allez utiliser un modèle de déploiement rapide Azure pour créer des machines virtuelles, configurer les services DNS et créer une forêt Active Directory.

  1. Accédez au modèle de déploiement rapide pour créer une machine virtuelle Azure avec une nouvelle forêt Active Directory.

  2. Sélectionnez Déployer sur Azure.

  3. Connectez-vous à votre abonnement Azure.

  4. Dans la page Créer une machine virtuelle Azure avec une nouvelle forêt Active Directory, entrez les informations suivantes :

    Propriété Valeur
    Abonnement Sélectionnez l’abonnement dans lequel déployer les ressources.
    Resource group Sélectionnez Créer, puis entrez le nom OnPremADVRG
    Emplacement Sélectionnez un emplacement.
    Nom d’utilisateur d’administrateur HDIFabrikamAdmin
    Mot de passe d’administrateur Entrez un mot de passe.
    Nom de domaine HDIFabrikam.com
    Préfixe DNS hdifabrikam

    Conservez les valeurs par défaut restantes.

    Template for Create an Azure VM with a new Microsoft Entra Forest.

  5. Lisez les termes et conditions, puis cochez la case J’accepte les termes et conditions mentionnés ci-dessus.

  6. Sélectionnez Acheter, puis supervisez le déploiement et attendez qu’il se termine. Le déploiement prend environ 30 minutes.

Configurer des utilisateurs et groupes pour l’accès au cluster

Dans cette section, vous allez créer les utilisateurs qui auront accès au cluster HDInsight à la fin de ce guide.

  1. Connectez-vous au contrôleur de domaine via le Bureau à distance.

    1. Dans le portail Azure, accédez à Groupes de ressources>OnPremADVRG>adVM>Connect.
    2. Dans la liste déroulante Adresse IP, sélectionnez l’adresse IP publique.
    3. Sélectionnez Télécharger le fichier RDP, puis ouvrez le fichier.
    4. Utilisez le nom d’utilisateur HDIFabrikam\HDIFabrikamAdmin.
    5. Entrez le mot de passe que vous avez choisi pour le compte Administrateur.
    6. Sélectionnez OK.

  2. Dans le tableau de bord Gestionnaire de serveur du contrôleur de domaine, accédez à Outils>Utilisateurs et ordinateurs Active Directory.

    On the Server Manager dashboard, open Active Directory Management.

  3. Créez deux utilisateurs : HDIAdmin et HDIUser. Ces deux utilisateurs vous permettront de vous connecter à des clusters HDInsight.

    1. Dans la page Utilisateurs et ordinateurs Active Directory, cliquez avec le bouton droit sur HDIFabrikam.com, puis accédez à Nouveau>Utilisateur.

      Create a new Active Directory user.

    2. Dans la page Nouvel objet - utilisateur, entrez HDIUser pour Prénom et le Nom d’ouverture de session de l’utilisateur. Les autres champs sont renseignés automatiquement. Sélectionnez ensuite Suivant.

      Create the first admin user object.

    3. Dans la fenêtre contextuelle qui s’affiche, entrez un mot de passe pour le nouveau compte. Sélectionnez Le mot de passe n’expire jamais, puis OK dans le message contextuel.

    4. Sélectionnez Suivant, puis Terminer pour créer le nouveau compte.

    5. Répétez les étapes ci-dessus pour créer l’utilisateur HDIAdmin.

      Create a second admin user object.

  4. Créez un groupe de sécurité global.

    1. Dans la page Utilisateurs et ordinateurs Active Directory, cliquez avec le bouton droit sur HDIFabrikam.com, puis accédez à Nouveau>Groupe.

    2. Entrez HDIUserGroup dans la zone de texte Nom du groupe.

    3. Cliquez sur OK.

    Create a new Active Directory group.

    Create a new object.

  5. Ajoutez des membres à HDIUserGroup.

    1. Cliquez avec le bouton droit sur HDIUser, puis sélectionnez Ajouter à un groupe... .

    2. Dans la zone de texte Entrez les noms des objets à sélectionner, entrez HDIUserGroup. Sélectionnez ensuite OK, puis une nouvelle fois OK dans la fenêtre contextuelle.

    3. Répétez les étapes précédentes pour le compte HDIAdmin.

      Add the member HDIUser to the group HDIUserGroup.

Vous venez de créer votre environnement Active Directory. Vous venez d’ajouter deux utilisateurs, ainsi qu’un groupe d’utilisateurs qui peuvent accéder au cluster HDInsight.

Les utilisateurs seront synchronisés avec Microsoft Entra ID.

Créer un annuaire Microsoft Entra

  1. Connectez-vous au portail Azure.

  2. Sélectionnez Créer une ressource, puis tapez directory. Sélectionnez Microsoft Entra ID>Créer.

  3. Sous Nom de l’organisation, entrez HDIFabrikam.

  4. Sous Nom de domaine initial, entrez HDIFabrikamoutlook.

  5. Cliquez sur Créer.

    Create a Microsoft Entra directory.

Créer un domaine personnalisé

  1. Dans votre nouveau Microsoft Entra ID, sous Gérer, sélectionnez Noms de domaine personnalisés.

  2. Sélectionnez + Ajouter un domaine personnalisé.

  3. Sous Nom de domaine personnalisé, entrez HDIFabrikam.com, puis sélectionnez Ajouter un domaine.

  4. Renseignez le champ Ajouter vos informations DNS au bureau d’enregistrement de domaines.

    Create a custom domain.

Créer un groupe

  1. Dans votre nouveau Microsoft Entra ID, sous Gérer, sélectionnez Groupes.
  2. Sélectionnez + Nouveau groupe.
  3. Dans la zone de texte Nom du groupe, entrez AAD DC Administrators.
  4. Cliquez sur Créer.

Configurer votre locataire Microsoft Entra

Maintenant, vous allez configurer votre locataire Microsoft Entra afin de pouvoir synchroniser les utilisateurs et les groupes de votre instance locale d’Active Directory avec le cloud.

Créez un administrateur de locataire Azure Active Directory.

  1. Connectez-vous au portail Azure et sélectionnez le locataire Microsoft Entra HDIFabrikam.

  2. Accédez à Gérer>Utilisateurs>Nouvel utilisateur.

  3. Entrez les informations suivantes pour le nouvel utilisateur :

    Identité

    Propriété Description
    Nom d'utilisateur Entrez fabrikamazureadmin dans la zone de texte. Dans la liste déroulante du nom de domaine, sélectionnez hdifabrikam.com
    Nom Entrez fabrikamazureadmin.

    Mot de passe

    1. Sélectionnez Me permettre de créer le mot de passe.
    2. Entrez le mot de passe sécurisé de votre choix.

    Groupes et rôles

    1. Sélectionnez 0 groupes sélectionnés.

    2. Choisissez Administrateurs AAD DC, puis Sélectionner.

      The Microsoft Entra groups dialog box.

    3. Sélectionnez Utilisateur.

    4. Choisissez Administrateur général, puis Sélectionner.

      The Microsoft Entra role dialog box.

  4. Cliquez sur Créer.

  5. Demandez ensuite au nouvel utilisateur de se connecter au portail Azure où il sera invité à modifier le mot de passe. Vous devez effectuer cette opération avant de configurer Microsoft Entra Connect.

Synchroniser les comptes d’utilisateurs locaux vers Microsoft Entra ID

Configurer Microsoft Entra Connect

  1. À partir du contrôleur de domaine, téléchargez Microsoft Entra Connect.

  2. Ouvrez le fichier exécutable que vous avez téléchargé, puis acceptez les termes du contrat de licence. Sélectionnez Continuer.

  3. Cliquez sur Utiliser la configuration rapide.

  4. Sur la page Se connecter à Microsoft Entra ID, entrez le nom d’utilisateur et le mot de passe de l’administrateur général pour Microsoft Entra ID. Utilisez le nom d’utilisateur fabrikamazureadmin@hdifabrikam.com que vous avez créé lorsque vous avez configuré votre locataire Active Directory. Sélectionnez ensuite Suivant.

    Connect to Microsoft Entra ID.

  5. Dans la page Connexion à Active Directory Domain Services, entrez le nom d’utilisateur et le mot de passe d’un compte d’administrateur d’entreprise. Utilisez le nom d’utilisateur HDIFabrikam\HDIFabrikamAdmin et le mot de passe que vous avez créés précédemment. Sélectionnez ensuite Suivant.

    Connect to A D D S page.

  6. Sur la page Configuration de la connexion à Microsoft Entra, sélectionnez Suivant.

    Microsoft Entra sign-in configuration page.

  7. Dans la page Prêt à configurer, sélectionnez Installer.

    Ready to configure page.

  8. Sur la page Configuration effectuée, sélectionnez Quitter. Configuration complete page.

  9. Une fois la synchronisation terminée, vérifiez que les utilisateurs que vous avez créés dans le répertoire IaaS sont synchronisés avec Microsoft Entra ID.

    1. Connectez-vous au portail Azure.
    2. Sélectionnez Microsoft Entra ID>HDIFabrikam>Utilisateurs.

Créer une identité managée attribuée par l’utilisateur

Créez une identité managée affectée par l’utilisateur que vous pouvez utiliser pour configurer Microsoft Entra Domain Services. Pour plus d’informations, consultez Créer, répertorier, supprimer ou affecter un rôle à une identité managée affectée par l’utilisateur à l’aide du portail Azure.

  1. Connectez-vous au portail Azure.
  2. Sélectionnez Créer une ressource, puis tapez managed identity. Sélectionnez Identité managée affectée par l’utilisateur>Créer.
  3. Pour Nom de ressource, entrez HDIFabrikamManagedIdentity.
  4. Sélectionnez votre abonnement.
  5. Sous Groupe de ressources, sélectionnez Créer, puis entrez HDIFabrikam-CentralUS.
  6. Sous Emplacement, sélectionnez USA Centre.
  7. Cliquez sur Créer.

Create a new user-assigned managed identity.

Activer Microsoft Entra Domain Services

Suivez ces étapes pour activer Microsoft Entra Domain Services. Pour plus d'informations, consultez Activer Microsoft Entra Domain Services à l’aide du portail Azure.

  1. Créez un réseau virtuel pour héberger Microsoft Entra Domain Services. Exécutez le code PowerShell suivant.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Connectez-vous au portail Azure.

  3. Sélectionnez Créer une ressource, entrez Domain services, puis sélectionnez Microsoft Entra Domain Services>Créer.

  4. Dans la page Informations de base :

    1. Sous Nom de l’annuaire, sélectionnez l’annuaire Microsoft Entra que vous avez créé : HDIFabrikam.

    2. Dans Nom du domaine DNS, entrez HDIFabrikam.com.

    3. Sélectionnez votre abonnement.

    4. Spécifiez le groupe de ressources HDIFabrikam-CentralUS. Pour Emplacement, sélectionnez USA Centre.

      Microsoft Entra Domain Services basic details.

  5. Dans la page Réseau, sélectionnez le réseau (HDIFabrikam-VNET) et le sous-réseau (AADDS-subnet) que vous avez créés à l’aide du script PowerShell. Vous pouvez aussi choisir Créer pour créer un réseau virtuel.

    Create virtual network step.

  6. Dans la page Groupe d’administrateurs, vous devez voir une notification indiquant qu’un groupe nommé Administrateurs AAD DC a déjà été créé pour administrer ce groupe. Vous pouvez modifier l’appartenance de ce groupe si vous le souhaitez. Toutefois, dans ce cas, vous n’avez pas besoin de le modifier. Cliquez sur OK.

    View the Microsoft Entra administrator group.

  7. Dans la page Synchronisation, permettez à la synchronisation de s’effectuer complètement en sélectionnant Tout>OK.

    Enable Microsoft Entra Domain Services synchronization.

  8. Dans la page Résumé, vérifiez les détails concernant Microsoft Entra Domain Services, puis sélectionnez OK.

    Enable Microsoft Entra Domain Services.

Après avoir activé Microsoft Entra Domain Services, un serveur DNS local s’exécute sur les machines virtuelles Microsoft Entra.

Configurer votre réseau virtuel Microsoft Entra Domain Services

Utilisez les étapes suivantes pour configurer votre réseau virtuel Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) afin qu’il utilise vos serveurs DNS personnalisés.

  1. Recherchez les adresses IP de vos serveurs DNS personnalisés.

    1. Dans la ressource Microsoft Entra Domain Services HDIFabrikam.com.
    2. Sous Gérer, sélectionnez Propriétés.
    3. Les adresses IP se trouvent sous Adresse IP sur le réseau virtuel.

    Locate custom DNS IP addresses for Microsoft Entra Domain Services.

  2. Configurez HDIFabrikam-AADDSVNET pour utiliser les adresses IP personnalisées 10.0.0.4 et 10.0.0.5.

    1. Sous Paramètres, sélectionnez Serveurs DNS.
    2. Sélectionnez Personnalisé.
    3. Dans la zone de texte, entrez la première adresse IP (10.0.0.4).
    4. Sélectionnez Enregistrer.
    5. Répétez ces étapes pour ajouter l’autre adresse IP (10.0.0.5).

Dans notre scénario, nous avons configuré Microsoft Entra Domain Services pour utiliser les adresses IP 10.0.0.4 et 10.0.0.5, en définissant la même adresse IP sur le réseau virtuel Microsoft Entra Domain Services :

The custom DNS servers page.

Sécurisation du trafic LDAP

Le protocole LDAP (Lightweight Directory Access Protocol) est utilisé pour la lecture et l’écriture sur Microsoft Entra ID. Vous pouvez rendre le trafic LDAP confidentiel et sécurisé à l’aide de la technologie SSL (Secure Sockets Layer) ou TLS (Transport Layer Security). Vous pouvez activer le protocole LDAP sur SSL (LDAPS) en installant un certificat au format correct.

Pour plus d’informations sur LDAP sécurisé, consultez Configurer LDAPS pour un domaine managé Microsoft Entra Domain Services.

Dans cette section, vous allez créer un certificat auto-signé, télécharger le certificat et configurer LDAPS pour le domaine managé Microsoft Entra Domain Services HDIFabrikam.

Le script suivant crée un certificat pour HDIFabrikam. Le certificat est enregistré sous le chemin LocalMachine.

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Notes

Tous les utilitaires ou applications qui créent une requête PKCS (Public Key Cryptography Standards) #10 valide peuvent être utilisés pour former la demande de certificat TLS/SSL.

Vérifiez que le certificat se trouve dans le magasin personnel de l’ordinateur :

  1. Démarrez Microsoft Management Console (MMC).

  2. Ajoutez le composant logiciel enfichable Certificats qui gère les certificats sur l’ordinateur local.

  3. Développez Certificats (Ordinateur local)>Personnel>Certificats. Un nouveau certificat doit se trouver dans le magasin personnel. Ce certificat est émis avec le nom d’hôte complet.

    Verify local certificate creation.

  4. Dans le volet de droite, cliquez avec le bouton droit sur le certificat que vous avez créé. Pointez sur Toutes les tâches, puis sélectionnez Exporter.

  5. Dans la page Exporter la clé privée, sélectionnez Oui, exporter la clé privée. L’ordinateur sur lequel la clé privée sera importée a besoin d’elle pour lire les messages chiffrés.

    The Export Private Key page of the Certificate Export Wizard.

  6. Dans la page Format de fichier d’exportation, laissez les valeurs par défaut, puis sélectionnez Suivant.

  7. Dans la page Mot de passe, tapez un mot de passe pour la clé privée. Pour Chiffrement, sélectionnez TripleDES-SHA1. Sélectionnez ensuite Suivant.

  8. Dans la page Fichier à exporter, tapez le chemin et le nom du fichier de certificat exporté, puis sélectionnez Suivant. Le nom de fichier doit porter l’extension .pfx. Ce fichier est configuré dans le portail Azure pour établir une connexion sécurisée.

  9. Activez LDAPS pour un domaine managé Microsoft Entra Domain Services.

    1. Dans le portail Azure, sélectionnez le domaine HDIFabrikam.com.
    2. Sous Gérer, sélectionnez LDAP sécurisé.
    3. Dans la page LDAP sécurisé, sous LDAP sécurisé, sélectionnez Activer.
    4. Recherchez le fichier de certificat .pfx que vous avez exporté sur votre ordinateur.
    5. Saisissez le mot de passe du certificat.

    Enable secure LDAP.

  10. Maintenant que vous avez activé le protocole LDAP sécurisé (LDAPS), rendez-le accessible en activant le port 636.

    1. Dans le groupe de ressources HDIFabrikam-CentralUS, sélectionnez le groupe de sécurité réseau AADDS-HDIFabrikam.com-NSG.

    2. Sous Paramètres, sélectionnez Règles de sécurité de trafic entrant>Ajouter.

    3. Dans la page Ajouter une règle de sécurité de trafic entrant, entrez les propriétés suivantes, puis sélectionnez Ajouter :

      Propriété Valeur
      Source Aucune
      Source port ranges *
      Destination Quelconque
      Destination port range 636
      Protocol Any
      Action Autoriser
      Priority <Nombre souhaité>
      Nom Port_LDAP_636

      The Add inbound security rule dialog box.

HDIFabrikamManagedIdentity est l’identité managée affectée par l’utilisateur. Le rôle Contributeur aux services de domaine HDInsight est associé à cette identité managée qui pourra donc lire, créer, modifier et supprimer des opérations de services de domaine.

Create a user-assigned managed identity.

Créer un cluster ESP HDInsight

Cette étape nécessite les prérequis suivants :

  1. Créez un groupe de ressources HDIFabrikam-WestUS dans la région USA Ouest.

  2. Créez un réseau virtuel qui hébergera le cluster ESP HDInsight.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Créez une relation d’appairage entre le réseau virtuel qui héberge Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) et celui qui héberge le cluster HDInsight ESP (HDIFabrikam-HDIVNet). Utilisez le code PowerShell suivant pour appairer ces deux réseaux virtuels.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Créez un compte Azure Data Lake Storage Gen2 nommé Hdigen2store. Configurez le compte avec l’identité gérée par l’utilisateur HDIFabrikamManagedIdentity. Pour plus d’informations, consultez Utiliser Azure Data Lake Storage Gen2 avec des clusters Azure HDInsight.

  5. Configurez un serveur DNS personnalisé sur le réseau virtuel HDIFabrikam-AADDSVNET.

    1. Dans le Portail Azure, accédez à >Groupes de ressources>OnPremADVRG>HDIFabrikam-AADDSVNET>Serveurs DNS.

    2. Sélectionnez Personnalisé, puis entrez 10.0.0.4 et 10.0.0.5.

    3. Cliquez sur Enregistrer.

      Save custom DNS settings for a virtual network.

  6. Créez un cluster Spark HDInsight ESP.

    1. Sélectionnez Personnalisé (taille, paramètres, applications) .

    2. Entrez les informations nécessaires dans Informations de base (section 1). Vérifiez que le Type de cluster est bien Spark 2.3 (HDI 3.6) . Vérifiez que le Groupe de ressources est bien HDIFabrikam-CentralUS.

    3. Dans Sécurité + réseau (section 2), renseignez les informations suivantes :

      • Sous Pack Sécurité Entreprise, sélectionnez Activé.

      • Sélectionnez Utilisateur administrateur de cluster, puis sélectionnez le compte HDIAdmin que vous avez créé pour l’utilisateur administrateur local. Cliquez sur Sélectionner.

      • Sélectionnez Groupe d’accès au cluster>HDIUserGroup. Tout utilisateur que vous ajouterez à ce groupe sera en mesure d’accéder aux clusters HDInsight.

        Select the cluster access group HDIUserGroup.

    4. Effectuez les autres étapes de la configuration du cluster et vérifiez les détails dans le Résumé du cluster. Sélectionnez Create (Créer).

  7. Connectez-vous à l’interface utilisateur Ambari pour le cluster nouvellement créé à l’adresse https://CLUSTERNAME.azurehdinsight.net. Utilisez le nom d’utilisateur d’administrateur hdiadmin@hdifabrikam.com et son mot de passe.

    The Apache Ambari UI sign-in window.

  8. Dans le tableau de bord du cluster, sélectionnez Rôles.

  9. Dans la page Rôles, sous Affecter des rôles à, à côté du rôle Administrateur de cluster, entrez le groupe hdiusergroup.

    Assign the cluster admin role to hdiusergroup.

  10. Ouvrez votre client Secure Shell (SSH) et connectez-vous au cluster. Utilisez l’utilisateur hdiuser que vous avez créé dans l’instance locale d’Active Directory.

    Sign in to the cluster by using the SSH client.

Si vous parvenez à vous connecter avec ce compte, c’est que vous avez configuré votre cluster ESP correctement pour la synchronisation avec votre instance locale d’Active Directory.

Étapes suivantes

Lisez Introduction à la sécurité Apache Hadoop avec l’ESP.