Controle do tráfego de rede no Azure HDInsight

  • Artigo

O tráfego de rede em Redes Virtuais do Azure pode ser controlado com os seguintes métodos:

  • Os NSGs (grupos de segurança de rede) permitem filtrar o tráfego de entrada e de saída para a rede. Para obter mais informações, consulte o documento Filtrar o tráfego de rede com grupos de segurança de rede.

  • As soluções de virtualização de rede (NVA) podem ser usadas apenas com o tráfego de saída. As NVAs replicam a funcionalidade de dispositivos, como firewalls e roteadores. Para obter mais informações, consulte o documento Dispositivos de rede.

Como um serviço gerenciado, o HDInsight exige acesso irrestrito para a integridade do HDInsight e gerenciamento de serviços para tráfego de entrada e saída da rede virtual. Quando usa NSGs, você deve garantir que esses serviços ainda possam se comunicar com o cluster HDInsight.

Diagram of HDInsight entities created in Azure custom VNET.

HDInsight com grupos de segurança de rede

Se você pretende usar grupos de segurança de rede para controlar o tráfego de rede, execute as seguintes ações antes de instalar o HDInsight:

  1. Identifique a região do Azure que você pretende usar para o HDInsight.

  2. Identifique as marcas de serviço exigidas pelo HDInsight para a sua região. Há várias maneiras de obter essas marcas de serviço:

    1. Consulte a lista de marcas de serviço publicadas em Marcas de serviço do NSG (grupo de segurança de rede) para o Azure HDInsight.
    2. Se sua região não estiver presente na lista, use a API de descoberta de marca de serviço para localizar uma marca de serviço para a sua região.
    3. Se não for possível usar a API, baixe o arquivo JSON da marca de serviço e procure a região desejada.

  3. Crie ou modifique os grupos de segurança de rede da sub-rede na qual você pretende instalar o HDInsight.

    • Grupos de segurança de rede: permita o tráfego de entrada na porta 443 dos endereços IP. Isso garantirá que os serviços de gerenciamento do HDInsight podem acessar o cluster de fora da rede virtual. Para clusters habilitados do proxy REST do Kafka, permita tráfego de entrada na porta 9400. Dessa maneira, o servidor proxy REST do Kafka fica acessível.

Para saber mais sobre os grupos de segurança de rede, confira visão geral dos grupos de segurança de rede.

Controle do tráfego de saída de clusters HDInsight

Para obter mais informações sobre como controlar o tráfego de saída de clusters HDInsight, veja Configuração de restrição de tráfego de rede de saída para clusters do Azure HDInsight.

Túnel forçado para localização local

O túnel forçado é uma configuração de roteamento definida pelo usuário em que todo o tráfego de uma sub-rede é forçado para uma rede ou localização específica, como a rede local ou Firewall. O túnel forçado de todas as transferências de dados de volta para o local não é recomendado devido a grandes volumes de transferência de dados e o potencial impacto sobre o desempenho.

Clientes interessados em configurar o túnel forçado devem usar metastores personalizados e configurar a conectividade apropriada na sub-rede do cluster ou na rede local para esses metastores personalizados.

Para ver um exemplo de configuração do UDR com o Firewall do Azure, veja Configuração de restrição de tráfego de rede de saída para clusters do Azure HDInsight.

Portas obrigatórias

Se você pretende usar um firewall e acessar o cluster de fora em determinadas portas, será preciso permitir o tráfego nas portas necessárias para o seu cenário. Por padrão, nenhuma filtragem especial de portas é necessária, desde que o tráfego de gerenciamento do Azure, explicado na seção anterior, tenha permissão para acessar o cluster na porta 443.

Para obter uma lista de portas para serviços específicos, consulte o documento Portas usadas pelos serviços do Apache Hadoop no HDInsight.

Para obter mais informações sobre as regras de firewall para soluções de virtualização, consulte o documento Cenário de solução de virtualização.

Próximas etapas