Configurer les clusters HDInsight pour l'intégration de Microsoft Entra avec Pack Sécurité Enterprise

Cet article fournit un résumé et une présentation du processus de création et de configuration d'un cluster HDInsight intégré à Microsoft Entra ID. Cette intégration s'appuie sur une fonctionnalité HDInsight appelée Pack Sécurité Entreprise (Enterprise Security Package/ESP), Microsoft Entra Domain Services et votre Active Directory local préexistant.

Pour obtenir un tutoriel pas à pas sur la configuration d’un domaine dans Azure et sur la création d’un cluster compatible ESP, puis sur la synchronisation des utilisateurs locaux, voir Créer et configurer des clusters Pack Sécurité Entreprise dans Azure HDInsight.

Arrière-plan

Pack Sécurité Entreprise (ESP) fournit l’intégration à Active Directory pour Azure HDInsight. Cette intégration permet aux utilisateurs du domaine d’utiliser leurs informations d’identification de domaine pour s’authentifier auprès des clusters HDInsight et d’exécuter des tâches de Big Data.

Remarque

ESP est généralement disponible dans HDInsight 4.0 et 5.0 pour ces types de cluster : Apache Spark, Interactive, Hadoop, Apache Kafka et HBase. Les clusters ESP créés avant la date de disponibilité générale ESP (1er octobre 2018) ne sont pas pris en charge.

Prérequis

Quelques conditions préalables doivent être remplies pour pouvoir créer un cluster HDInsight compatible ESP :

• Un Active Directory sur site existant et un identifiant Microsoft Entra.
• Activez les services de domaine Microsoft Entra.
• Vérifiez l’état de santé de Microsoft Entra Domain Services pour vous assurer que la synchronisation est terminée.
• Créez et autorisez une identité managée.
• Effectuez la configuration de la mise en réseau pour le DNS et les problèmes connexes.

Chacun de ces éléments est abordé en détail. Pour obtenir une procédure pas à pas pour effectuer toutes ces étapes, consultez Créer et configurer des clusters Pack Sécurité Entreprise dans Azure HDInsight.

Activer Microsoft Entra Domain Services

L'activation de Microsoft Entra Domain Services est une condition préalable avant de pouvoir créer un cluster HDInsight avec ESP. Pour plus d'informations, consultez Activer les services de domaine Microsoft Entra à l'aide du portail Azure.

Lorsque Microsoft Entra Domain Services est activé, tous les utilisateurs et objets commencent par défaut à se synchroniser de Microsoft Entra ID vers Microsoft Entra Domain Services. La durée de l'opération de synchronisation dépend du nombre d'objets dans Microsoft Entra ID. La synchronisation peut prendre plusieurs jours pour des centaines de milliers d’objets.

Le nom de domaine que vous utilisez avec Microsoft Entra Domain Services doit comporter 39 caractères ou moins pour fonctionner avec HDInsight.

Vous pouvez choisir de synchroniser uniquement les groupes qui ont besoin d’accéder aux clusters HDInsight. Cette option de synchroniser uniquement certains groupes est appelée synchronisation délimitée. Pour obtenir des instructions, consultez Configurer la synchronisation étendue de Microsoft Entra ID vers votre domaine géré.

Lorsque vous activez le protocole LDAP sécurisé, indiquez le nom de domaine dans le nom de l’objet, et l’autre nom de l’objet dans le certificat. Si votre nom de domaine est contoso100.onmicrosoft.com, assurez-vous que ce nom exact existe dans le nom de l’objet et l’autre nom de l’objet de votre certificat. Pour plus d’informations, consultez Configurer le protocole LDAPS (LDAP sécurisé) pour un domaine managé Microsoft Entra Domain Services.

L’exemple suivant crée un certificat auto-signé. Le nom de domaine contoso100.onmicrosoft.com figure à la fois dans Subject (nom de l’objet) et DnsName (autre nom de l’objet).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Remarque

Seuls les administrateurs de locataires disposent des privilèges nécessaires pour activer les services de domaine Microsoft Entra. Si le stockage du cluster est Azure Data Lake Storage Gen1 ou Gen2, vous devez désactiver l'authentification multi-facteur Microsoft Entra uniquement pour les utilisateurs qui devront accéder au cluster à l'aide de l'authentification Kerberos de base. Si votre organisation nécessite une authentification multi-facteur, essayez d'utiliser la fonctionnalité Broker d’ID Azure HDInsight.

Vous pouvez utiliser des adresses IP approuvées ou un accès conditionnel pour désactiver l'authentification multi-facteur pour des utilisateurs spécifiques uniquement lorsqu'ils accèdent à la plage IP du réseau virtuel du cluster HDInsight.

Si le stockage du cluster est un stockage Azure Blob, ne désactivez pas l’authentification multi-facteur.

Vérifier l’état de santé de Microsoft Entra Domain Services

Affichez l’état de santé des services Microsoft Entra Domain en sélectionnant Santé dans la catégorie Gérer. Assurez-vous que l'état des services de domaine Microsoft Entra est vert (en cours d'exécution) et que la synchronisation est terminée.

Créer et autoriser une identité managée

Utilisez une identité managée attribuée à l’utilisateur pour simplifier les opérations sécurisées de services de domaine. Lorsque vous affectez le rôle Contributeur des services de domaine HDInsight à l’identité managée, il peut lire, créer, modifier et supprimer des opérations de services de domaine.

Certaines opérations de services de domaine, telles que la création d’unités d’organisation ou de principaux de service, sont nécessaires pour le Pack Sécurité Entreprise HDInsight. Vous pouvez créer des identités managées dans n’importe quel abonnement. Pour plus d’informations sur les identités managées en général, consultez l’article Identités managées pour les ressources Azure. Pour plus d’informations sur le fonctionnement des identités managées dans Azure HDInsight, consultez Identités managées dans Azure HDInsight.

Pour configurer des clusters ESP, créez une identité managée affectée à l’utilisateur, si vous n’en possédez pas déjà une. Consultez Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Ensuite, attribuez le rôle Contributeur HDInsight Domain Services à l’identité managée dans Contrôle d’accès pour Microsoft Entra Domain Services. Vous avez besoin des privilèges d'administrateur de Microsoft Entra Domain Services pour effectuer cette attribution de rôle.

L'attribution du rôle de contributeur HDInsight Domain Services garantit que cette identité dispose d'un accès approprié (on behalf of) pour effectuer des opérations de services de domaine sur le domaine Microsoft Entra Domain Services. Ces opérations incluent la création et la suppression d’unités d’organisation.

Une fois que l’identité gérée reçoit le rôle, l’administrateur Microsoft Entra Domain Services gère qui l’utilise. Tout d’abord, l’administrateur sélectionne l’identité managée dans le portail. Il sélectionne ensuite Contrôle d’accès (IAM) sous Vue d’ensemble. L’administrateur attribue le rôle Opérateur d’identité managée aux utilisateurs ou groupes qui souhaitent créer des clusters ESP.

Par exemple, l'administrateur Microsoft Entra Domain Services peut attribuer ce rôle au groupe MarketingTeam pour l'identité managée sjmsi. L’image suivante en contient un exemple. Cette attribution garantit que les bonnes personnes de l’organisation peuvent utiliser l’identité managée pour créer des clusters ESP.

Configuration réseau

Remarque

Microsoft Entra Domain Services doit être déployé dans un réseau virtuel basé sur Azure Resource Manager. Les réseaux virtuels classiques ne sont pas pris en charge pour Microsoft Entra Domain Services. Pour plus d'informations, consultez Activer les services de domaine Microsoft Entra à l'aide du portail Azure.

Activez les services de domaine Microsoft Entra. Un serveur DNS (Domain Name System) local s’exécute alors sur les machines virtuelles Active Directory. Configurez votre réseau virtuel Microsoft Entra Domain Services pour utiliser ces serveurs DNS personnalisés. Pour rechercher les adresses IP qui conviennent, sélectionnez Propriétés dans la catégorie Gérer et examinez ce qui est répertorié sous ADRESSE IP SUR LE RÉSEAU VIRTUEL.

Modifiez la configuration des serveurs DNS dans le réseau virtuel Microsoft Entra Domain Services. Pour utiliser ces adresses IP personnalisées, sélectionnez Serveurs DNS dans la catégorie Paramètres. Sélectionnez ensuite l’option Personnalisé, entrez la première adresse IP dans la zone de texte, puis sélectionnez Enregistrer. Ajoutez des adresses IP supplémentaires en suivant la même procédure.

Il est plus facile de placer l'instance Microsoft Entra Domain Services et le cluster HDInsight dans le même réseau virtuel Azure. Si vous envisagez d’utiliser différents réseaux virtuels, vous devez les appairer de manière à ce que le contrôleur de domaine soit visible pour les machines virtuelles HDInsight. Pour en savoir plus, consultez Peering de réseaux virtuels.

Une fois les réseaux virtuels appairés, configurez le réseau virtuel HDInsight pour utiliser un serveur DNS personnalisé. Et entrez les adresses IP privées de Microsoft Entra Domain Services comme adresses de serveur DNS. Lorsque les deux réseaux virtuels utilisent les mêmes serveurs DNS, votre nom de domaine personnalisé est résolu par la bonne adresse IP et il est accessible depuis HDInsight. Par exemple, si votre nom de domaine est contoso.com, après cette étape, ping contoso.com devrait être résolu par la bonne adresse IP de Microsoft Entra Domain Services.

Si vous utilisez des règles de groupe de sécurité réseau (NSG) dans votre sous-réseau HDInsight, vous devez autoriser les adresses IP nécessaires pour le trafic entrant et le trafic sortant.

Pour tester la configuration de votre réseau, joignez une machine virtuelle Windows au réseau virtuel/sous-réseau HDInsight et effectuez un test ping sur le nom de domaine. (Il doit être résolu en une adresse IP.) Exécutez ldp.exe pour accéder au domaine Microsoft Entra Domain Services. Joignez ensuite cette machine virtuelle Windows au domaine pour confirmer que tous les appels RPC requis aboutissent entre le client et le serveur.

Utilisez nslookup pour confirmer l’accès réseau à votre compte de stockage, ou toute base de données externe que vous pouvez utiliser (par exemple, metastore Hive externe ou Ranger DB). Assurez-vous que les ports requis sont autorisés dans les règles NSG du sous-réseau Microsoft Entra Domain Services, si un NSG sécurise Microsoft Entra Domain Services. Si la jonction de domaine de cette machine virtuelle Windows est réussie, vous pouvez passer à l’étape suivante et créer des clusters ESP.

Créer un cluster HDInsight avec ESP

Après avoir correctement configuré les étapes précédentes, l’étape suivante consiste à créer le cluster HDInsight avec ESP activé. Lorsque vous créez un cluster HDInsight, vous pouvez activer le pack Sécurité Entreprise sous l’onglet Sécurité + réseau. Pour un modèle Azure Resource Manager à déployer, utilisez l’expérience du portail une seule fois. Téléchargez ensuite le modèle prérempli sur la page Vérifier + créer pour une réutilisation ultérieure.

Vous pouvez également activer la fonctionnalité Broker d’ID HDInsight lors de la création du cluster. La fonctionnalité broker d’ID Broker vous permet de vous connecter à Ambari en utilisant l'authentification multi-facteur et d'obtenir les tickets Kerberos requis sans avoir besoin de hachages de mot de passe dans Microsoft Entra Domain Services.

Remarque

Les six premiers caractères des noms de cluster ESP doivent être uniques dans votre environnement. Par exemple, si vous disposez de plusieurs clusters ESP situés dans différents réseaux virtuels, choisissez une convention d’affectation de noms garantissant que les six premiers caractères des noms de cluster sont uniques.

Une fois ESP activé, les erreurs de configuration courantes liées aux services de domaine Microsoft Entra sont automatiquement détectées et validées. Après avoir corrigé ces erreurs, vous pouvez passer à l’étape suivante.

Quand vous créez un cluster HDInsight avec ESP, vous devez fournir les paramètres suivants :

• Utilisateur administrateur du cluster : choisissez un administrateur pour votre cluster à partir de votre instance Microsoft Entra Domain Services synchronisée. Ce compte de domaine doit être déjà synchronisé et disponible dans Microsoft Entra Domain Services.

• Groupes d'accès au cluster : les groupes de sécurité dont vous souhaitez synchroniser les utilisateurs et avoir accès au cluster doivent être disponibles dans Microsoft Entra Domain Services. Le groupe HiveUsers en est un exemple. Pour plus d'informations, consultez Créer un groupe et ajouter des membres dans Microsoft Entra ID.

• URL LDAPS : par exemple ldaps://contoso.com:636.

Vous pouvez choisir l’identité managée que vous avez créée dans la liste déroulante Identité managée affectée par l’utilisateur lors de la création d’un nouveau cluster.

.

Étapes suivantes

• Pour configurer des stratégies Hive et exécuter des requêtes Hive, consultez Configurer des stratégies Apache Hive pour des clusters HDInsight avec ESP.
• Pour vous connecter à des clusters HDInsight avec ESP à l’aide de SSH, consultez Utiliser SSH avec Apache Hadoop Linux sur HDInsight à partir de Linux, Unix ou OS X.