Contrôler le trafic réseau dans Azure HDInsight

  • Article

Le trafic réseau dans les réseaux virtuels Azure peut être contrôlé à l’aide des méthodes suivantes :

  • Les Groupes de sécurité réseau (NSG) vous permettent de filtrer le trafic entrant et sortant changé avec le réseau. Pour plus d’informations, voir le document Filtrer le trafic réseau avec les groupes de sécurité réseau.

  • Les appliances virtuelles réseau (NVA) peuvent uniquement être utilisées avec le trafic sortant. Les appliances virtuelles réseau répliquent les fonctionnalités d’appareils tels que des routeurs et des pare-feux. Pour plus d’informations, voir le document Appliances réseau.

En tant que service managé, HDInsight doit avoir un accès illimité aux services d’intégrité et de gestion de HDInsight pour le trafic entrant et sortant du réseau virtuel. Lorsque vous utilisez des groupes de sécurité réseau, vous devez vous assurer que ces services peuvent toujours communiquer avec le cluster HDInsight.

Diagram of HDInsight entities created in Azure custom VNET.

Utiliser HDInsight avec des groupes de sécurité réseau

Si vous prévoyez d’utiliser des groupes de sécurité réseau pour contrôler le trafic réseau, effectuez les actions suivantes avant d’installer HDInsight :

  1. Identifiez la région Azure que vous projetez d’utiliser pour HDInsight.

  2. Identifiez les étiquettes de service demandées par HDInsight pour votre région. Il existe plusieurs façons d’obtenir ces étiquettes de service :

    1. Consultez la liste des étiquettes de service publiées dans Étiquettes de service de groupe de sécurité réseau (NSG) pour Azure HDInsight.
    2. Si votre région ne figure pas dans la liste, utilisez l’API Service Tag Discovery pour rechercher une étiquette de service pour votre région.
    3. Si vous ne parvenez pas à utiliser l’API, téléchargez le fichier JSON d’étiquette de service et recherchez la région de votre choix.

  3. Créez ou modifiez les groupes de sécurité réseau pour le sous-réseau dans lequel vous prévoyez d’installer HDInsight.

    • Groupes de sécurité réseau : autorisez le trafic entrant sur le port 443 à partir des adresses IP. Cela garantit que les services de gestion HDInsight peuvent atteindre le cluster depuis un point en dehors du réseau virtuel. Pour les clusters compatibles avec le proxy REST Kafka, autorisez également le trafic entrant sur le port 9400. Cela garantit que le serveur proxy REST Kafka est accessible.

Pour plus d’informations sur les groupes de sécurité réseau, consultez Présentation des groupes de sécurité réseau.

Contrôle du trafic sortant à partir de clusters HDInsight

Pour plus d’informations sur le contrôle du trafic sortant à partir de clusters HDInsight, consultez Configurer la restriction du trafic réseau sortant pour les clusters Azure HDInsight.

Tunneling forcé en local

Le tunneling forcé est une configuration de routage défini par l’utilisateur où tout le trafic en provenance d’un sous-réseau est acheminé de force vers un réseau ou un emplacement spécifique, tel que votre réseau ou Pare-feu local. Le tunneling forcé de tous les transferts de données vers un emplacement local n’est pas recommandé en raison des volumes importants de transfert de données et de l’impact potentiel sur les performances.

Les clients qui souhaitent configurer le tunneling forcé doivent utiliser des metastores personnalisés et configurer la connectivité appropriée entre le sous-réseau du cluster ou le réseau local et ces metastores personnalisés.

Pour voir un exemple de configuration du routage défini par l’utilisateur avec le Pare-feu Azure, consultez Configurer la restriction du trafic réseau sortant pour les clusters Azure HDInsight.

Ports requis

Si vous prévoyez d’utiliser un pare-feu et d’accéder au cluster depuis l’extérieur sur certains ports, vous devez autoriser le trafic sur ces ports nécessaires à votre scénario. Par défaut, aucun filtrage spécial des ports n’est nécessaire tant que le trafic de gestion Azure expliqué dans la section précédente est autorisé à atteindre le cluster sur le port 443.

Pour obtenir la liste des ports utilisés pour des services spécifiques, voir le document Ports utilisés par les services Apache Hadoop sur HDInsight.

Pour plus d’informations sur les règles de pare-feu pour les appliances virtuelles, voir le document Scénario d’appliance virtuelle.

Étapes suivantes