Arquitetura de rede virtual do Azure HDInsight

Este artigo explica os recursos que estão presentes ao implantar um cluster de HDInsight em uma Rede Virtual personalizada do Azure. Essas informações ajudam você a conectar recursos locais ao seu cluster do HDInsight no Azure. Para obter mais informações sobre redes virtuais do Azure, consulte o que é a Rede Virtual do Azure?

Tipos de recursos em clusters do Azure HDInsight

Os clusters do Azure HDInsight têm diferentes tipos de máquinas virtuais ou nós. Cada tipo de nó desempenha uma função na operação do sistema. A tabela a seguir resume esses tipos de nó e suas funções no cluster.

Tipo	Descrição
Nó do ZooKeeper	O Zookeeper coordena as tarefas entre os nós que estão fazendo o processamento de dados. Ele também realiza a eleição do nó principal líder e mantém o controle de qual nó principal está executando um serviço mestre específico. O número de nós do ZooKeeper é fixado em três.
Nó de trabalho	Representa os nós que dão suporte à funcionalidade de processamento de dados. Os nós de trabalho podem ser adicionados ou removidos do cluster para escalar a capacidade de computação e gerenciar os custos.
Nó de região	Para o tipo de cluster HBase, o nó de região (também conhecido como nó de dados) executa o servidor de região. Os servidores de região servem e gerenciam uma parte dos dados gerenciados pelo HBase. Os nós de região podem ser adicionados ou removidos do cluster para escalar a capacidade de computação e gerenciar os custos.

Convenções de nomenclatura do recurso

Utilize nomes de domínio totalmente qualificados (FQDNs) ao endereçar os nós no seu cluster. Você pode obter os FQDNs para vários tipos de nós no seu cluster usando a API Ambari.

Esses FQDNs estão no formato <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.

O <node-type-prefix> será hn para os nós principais, wn para os nós de trabalho e zn para os nós do zookeeper.

Se você precisar apenas do nome do host, use apenas a primeira parte do FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>

Recursos básicos de rede virtual

O diagrama a seguir mostra o posicionamento de nós do HDInsight e recursos de rede no Azure.

Os recursos padrão em uma Rede Virtual do Microsoft Azure incluem os tipos de nó de cluster mencionados na tabela anterior. E dispositivos de rede que dão suporte à comunicação entre a rede virtual e as redes externas.

A tabela a seguir resume os nove nós de cluster criados quando o HDInsight é implantado em uma Rede Virtual do Microsoft Azure personalizada.

Tipo de recurso	Número disponível	Detalhes
Nó principal	dois
Nó do ZooKeeper	três
Nó de trabalho	dois	Esse número pode variar com base na configuração e no escalonamento do cluster. É necessário um mínimo de três nós de processamento para o Apache Kafka.
Nó de gateway	dois	Os nós de gateway são máquinas virtuais do Azure que são criadas no Azure, mas não são visíveis em sua assinatura. Entre em contato com o suporte se precisar reinicializar esses nós.

Os seguintes recursos de rede presentes são criados automaticamente dentro da rede virtual usada com HDInsight:

Recurso de rede	Número disponível	Detalhes
Balanceador de carga	dois	O balanceador de carga fornece acesso à rede de entrada para os nós. Os dois balanceadores de carga são para: dois nós principais e dois nós de gateway. Os balanceadores de carga são SKU padrão.
Interfaces de Rede	nove	Esse valor se baseia em um cluster normal, em que cada nó tem sua própria interface de rede. As nove interfaces são para: dois nós de cabeçalho, três nós Zookeeper, dois nós de trabalho e dois nós de gateway mencionados na tabela anterior.
Endereços IP públicos	dois	Dois endereços IP públicos são ligados aos balanceadores de carga.

Há vários métodos de conectividade de saída que podem ser usados com a rede virtual personalizada ilustrada em Conversão de Endereços de Rede de Origem (SNAT) para conexões de saída – Azure Load Balancer.

Observação

A maneira mais recomendada é associar a sub-rede a um gateway NAT. Ele requer um gateway NAT e um grupo de segurança de rede criado na sub-rede antes de criar o cluster do HDInsight. Você poderia associar um IP público ou um prefixo de IP público ao gateway NAT. Para criar as regras do NSG, consulte Controlar o tráfego de rede no Azure HDInsight

Pontos de extremidade para conectar ao HDInsight

Você pode acessar seu cluster HDInsight de três maneiras:

• Um ponto de extremidade HTTPS fora da rede virtual em CLUSTERNAME.azurehdinsight.net.
• Um ponto de extremidade SSH para conexão direta com o nó de cabeçalho em CLUSTERNAME-ssh.azurehdinsight.net.
• Um ponto de extremidade HTTPS dentro da rede virtual CLUSTERNAME-int.azurehdinsight.net. Observe o “-int” nesta URL. Esse ponto de extremidade é resolvido para um IP privado nessa rede virtual e não é acessível pela Internet pública.

Cada um desses três pontos de extremidade são atribuídos a um balanceador de carga.

Os endereços IP públicos também são fornecidos para os dois pontos de extremidade que permitem a conexão de fora da rede virtual.

1. Um IP público é atribuído ao balanceador de carga para que o FQDN (nome de domínio totalmente qualificado) seja usado ao se conectar ao cluster pela internet CLUSTERNAME.azurehdinsight.net.
2. O segundo endereço IP público é usado para o nome de domínio somente SSH CLUSTERNAME-ssh.azurehdinsight.net.

Próximas etapas

• Garantir a segurança do tráfego de entrada para clusters HDInsight em uma rede virtual com ponto de extremidade privado