Migrer des clusters Apache Hadoop locaux vers Azure HDInsight - bonnes pratiques de sécurité et DevOps

Cet article fournit des recommandations pour la sécurité et DevOps dans les systèmes Azure HDInsight. Il fait partie d’une série qui propose des bonnes pratiques pour aider à la migration des systèmes Apache Hadoop locaux vers Azure HDInsight.

Sécuriser et régir un cluster avec le Pack Sécurité Entreprise

Le Pack Sécurité Entreprise (ESP) accepte l’authentification basée sur Active Directory, la prise en charge multi-utilisateur et le contrôle d’accès en fonction du rôle. Quand l’option ESP est choisie, le cluster HDInsight est joint au domaine Active Directory et l’administrateur d’entreprise peut configurer le contrôle d’accès en fonction du rôle (RBAC) pour assurer la sécurité Apache Hive avec Apache Ranger. L’administrateur peut également auditer l’accès des données par les employés et les modifications apportées aux stratégies de contrôle d’accès.

Les fonctionnalités ESP sont disponibles sur les types de clusters suivants : Apache Hadoop, Apache Spark, Apache HBase, Apache Kafka et Interactive Query (Hive LLAP).

Utilisez les étapes suivantes pour déployer le cluster HDInsight joint au domaine :

• Déployez Microsoft Entra ID en passant le nom de domaine.

• Déployez Microsoft Entra Domain Services.

• Créer le réseau virtuel et le sous-réseau requis.

• Déployez une machine virtuelle dans le Réseau virtuel pour gérer Microsoft Entra Domain Services.

• Joindre la machine virtuelle au domaine.

• Installer AD et les outils DNS.

• Faites en sorte que l’administrateur Microsoft Entra Domain Services crée une unité d’organisation (UO).

• Activez le protocole LDAP sécurisé pour Microsoft Entra Domain Services.

• Créez un compte de service dans Microsoft Entra ID avec l’autorisation d’administrateur en lecture et écriture déléguée sur l’unité d’organisation afin qu’il puisse le prendre en charge. Ce compte de service peut ensuite joindre des machines au domaine et placer les principaux de machine dans l’unité d’organisation. Il peut aussi créer des principaux de service au sein de l’unité d’organisation que vous spécifiez lors de la création du cluster.

  Notes

  Le compte de service n’a pas besoin d’être un compte administrateur de domaine AD.

• Déployer le cluster ESP HDInsight en définissant les paramètres suivants :

  Paramètre	Description
  Nom de domaine	Nom de domaine associé à Microsoft Entra Domain Services.
  Nom d’utilisateur de domaine	Compte de service dans le domaine managé par contrôleur de domaine Microsoft Entra Domain Services que vous avez créé à la section précédente, par exemple hdiadmin@contoso.onmicrosoft.com. Cet utilisateur de domaine devient l’administrateur de ce cluster HDInsight.
  Mot de passe du domaine	mot de passe du compte de service.
  Unité d’organisation	nom unique de l’unité d’organisation à utiliser avec le cluster HDInsight, par exemple OU=HDInsightOU,DC=contoso,DC=onmicrosoft,DC=com. Si cette unité d’organisation n’existe pas, le cluster HDInsight tente de créer l’unité d’organisation en utilisant les privilèges du compte de service.
  URL LDAPS	par exemple, ldaps://contoso.onmicrosoft.com:636.
  Accéder au groupe d’utilisateurs	groupes de sécurité dont vous souhaitez synchroniser les utilisateurs avec le cluster, par exemple HiveUsers. Si vous souhaitez spécifier plusieurs groupes d’utilisateurs, séparez-les par des points-virgules (« ; »). Le ou les groupes doivent exister dans le répertoire avant de créer le cluster ESP.

Pour plus d’informations, consultez les articles suivants :

• Introduction aux fonctions de sécurité Apache Hadoop sur la base de clusters HDInsight joints à un domaine
• Planifier des clusters Apache Hadoop Azure joints à un domaine dans HDInsight
• Configurer un cluster HDInsight joint à un domaine en utilisant Microsoft Entra Domain Services
• Synchroniser les utilisateurs Microsoft Entra avec un cluster HDInsight
• Configurer les stratégies Apache Hive dans HDInsight joint à un domaine
• Exécuter Apache Oozie dans des clusters HDInsight Hadoop joints à un domaine

Implémenter la sécurité d’entreprise de bout en bout

La sécurité d’entreprise de bout en bout peut être obtenue à l’aide des contrôles suivants :

Pipeline de données privées et protégées (sécurité au niveau du périmètre) : la sécurité au niveau du périmètre peut être obtenue par le biais des réseaux virtuels Azure, des groupes de sécurité réseau et du service de passerelle.

Authentification et autorisation pour l’accès aux données : créez un cluster HDInsight joint à un domaine en utilisant Microsoft Entra Domain Services. (Pack Sécurité Entreprise). - Utilisez Ambari pour fournir l’accès en fonction du rôle aux ressources de cluster pour les utilisateurs AD. - Utilisez Apache Ranger pour définir des stratégies de contrôle d’accès pour Hive au niveau de la table/colonne/ligne. - L’accès SSH au cluster peut être limité uniquement à l’administrateur.

Audit : affichez et signalez tout accès aux données et aux ressources du cluster HDInsight. - Affichez et signalez toutes les modifications des stratégies de contrôle d’accès.

Chiffrement : chiffrement côté serveur transparent à l’aide de clés gérées par Microsoft ou de clés gérées par le client. - Dans le chiffrement des données en transit avec chiffrement côté client, https et TLS.

Pour plus d’informations, consultez les articles suivants :

• Vue d’ensemble des réseaux virtuels Azure
• Vue d’ensemble des groupes de sécurité réseau Azure
• Peering de réseaux virtuels Azure
• Guide de sécurité du Stockage Azure
• Chiffrement du service de stockage Azure au repos

Utiliser la supervision et les alertes

Pour plus d’informations, consultez l’article :

Vue d’ensemble d’Azure Monitor

Mettre à niveau des clusters

Effectuez régulièrement une mise à niveau vers la dernière version de HDInsight pour tirer parti des fonctionnalités les plus récentes. Les étapes suivantes peuvent servir à mettre à niveau le cluster vers la dernière version :

1. Créez un cluster HDInsight TEST à l’aide de la dernière version de HDInsight disponible.
2. Testez le nouveau cluster pour vous assurer que les travaux et les charges de travail fonctionnent comme prévu.
3. Modifiez les travaux, applications ou charges de travail en fonction des besoins.
4. Sauvegardez toutes les données temporaires stockées localement sur les nœuds du cluster,
5. Supprimez le cluster existant.
6. Créez un cluster avec la dernière version de HDInsight dans le même sous-réseau de réseau virtuel en utilisant les mêmes données et magasin de données par défaut que le cluster précédent.
7. Importez toutes les données temporaires qui ont été sauvegardées.
8. Démarrez des tâches ou poursuivez le traitement avec le nouveau cluster.

Pour plus d’informations, consultez l’article : Mettre à niveau le cluster HDInsight.

Appliquer un correctif aux systèmes d’exploitation de clusters

Pour plus d’informations, consultez l’article : Mise à jour corrective du système d’exploitation pour HDInsight.

Après la migration

1. Corriger les applications : apportez de façon itérative les modifications nécessaires aux travaux, processus et scripts.
2. Effectuer des tests : exécutez de façon itérative des tests fonctionnels et de performance.
3. Optimiser : résolvez tous les problèmes de performances basés sur les résultats des tests ci-dessus, puis relancez les tests pour confirmer les améliorations des performances.

Étapes suivantes

En savoir plus sur HDInsight 4.0.