Partilhar via


Usar nós de borda vazios em clusters Apache Hadoop no HDInsight

Saiba como adicionar um nó de borda vazio a um cluster HDInsight. Um nó periférico vazio é uma máquina virtual do Linux com as mesmas ferramentas de cliente instaladas e configuradas como nos nós principais. Mas sem serviços Apache Hadoop em execução. Pode utilizar o nó periférico para aceder ao cluster, testar as suas aplicações cliente e alojar as suas aplicações cliente.

Você pode adicionar um nó de borda vazio a um cluster HDInsight existente, a um novo cluster ao criar o cluster. A adição de um nó de borda vazio é feita usando o modelo do Azure Resource Manager. O exemplo a seguir demonstra como isso é feito usando um modelo:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Conforme mostrado no exemplo, você pode, opcionalmente, chamar uma ação de script para fazer uma configuração adicional. Como instalar o Apache Hue no nó de borda. O script de ação de script deve estar acessível publicamente na Web. Por exemplo, se o script estiver armazenado no Armazenamento do Azure, use contêineres públicos ou blobs públicos.

O tamanho da máquina virtual do nó de borda deve atender aos requisitos de tamanho da vm do nó de trabalho do cluster HDInsight. Para obter os tamanhos de vm de nó de trabalho recomendados, consulte Criar clusters Apache Hadoop no HDInsight.

Depois de criar um nó de borda, você pode se conectar ao nó de borda usando SSH e executar ferramentas de cliente para acessar o cluster Hadoop no HDInsight.

Aviso

Os componentes personalizados instalados no nó de borda recebem suporte comercialmente razoável da Microsoft. Isso pode resultar na resolução de problemas encontrados. Ou, você pode ser encaminhado para recursos da comunidade para obter mais assistência. A seguir estão alguns dos sites mais ativos para obter ajuda da comunidade:

Se você estiver usando uma tecnologia Apache, poderá encontrar assistência através dos sites do projeto Apache no https://apache.org, como o site Apache Hadoop .

Importante

As imagens do Ubuntu ficam disponíveis para a criação de novos clusters HDInsight dentro de 3 meses após serem publicadas. A partir de janeiro de 2019, os clusters em execução (incluindo nós de borda) não serão corrigidos automaticamente. Os clientes devem usar ações de script ou outros mecanismos para corrigir um cluster em execução. Para obter mais informações, consulte Correção do sistema operacional para HDInsight.

Adicionar um nó de borda a um cluster existente

Nesta seção, você usa um modelo do Gerenciador de Recursos para adicionar um nó de borda a um cluster HDInsight existente. O modelo do Resource Manager pode ser encontrado no GitHub. O modelo do Gerenciador de Recursos chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. O script não faz nenhuma ação. É para demonstrar a ação de script de chamada a partir de um modelo do Gerenciador de Recursos.

  1. Selecione a imagem a seguir para entrar no Azure e abrir o modelo do Azure Resource Manager no portal do Azure.

    Deploy to Azure button for new cluster

  2. Configure as seguintes propriedades:

    Property Descrição
    Subscrição Selecione uma assinatura do Azure usada para criar o cluster.
    Grupo de recursos Selecione o grupo de recursos usado para o cluster HDInsight existente.
    Localização Selecione o local do cluster HDInsight existente.
    Nome do Cluster Insira o nome de um cluster HDInsight existente.
  3. Marque Concordo com os termos e condições mencionados acima e, em seguida, selecione Comprar para criar o nó de borda.

Importante

Certifique-se de selecionar o grupo de recursos do Azure para o cluster HDInsight existente. Caso contrário, você receberá a mensagem de erro "Não é possível executar a operação solicitada no recurso aninhado. O recurso pai 'ClusterName>'< não foi encontrado."

Adicionar um nó de borda ao criar um cluster

Nesta seção, você usa um modelo do Gerenciador de Recursos para criar cluster HDInsight com um nó de borda. O modelo do Resource Manager pode ser encontrado na galeria de modelos de início rápido do Azure. O modelo do Gerenciador de Recursos chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. O script não faz nenhuma ação. É para demonstrar a ação de script de chamada a partir de um modelo do Gerenciador de Recursos.

  1. Crie um cluster HDInsight se ainda não tiver um. Consulte Introdução ao uso do Hadoop no HDInsight.

  2. Selecione a imagem a seguir para entrar no Azure e abrir o modelo do Azure Resource Manager no portal do Azure.

    Deploy to Azure button for new cluster

  3. Configure as seguintes propriedades:

    Property Descrição
    Subscrição Selecione uma assinatura do Azure usada para criar o cluster.
    Grupo de recursos Crie um novo grupo de recursos usado para o cluster.
    Localização Selecione uma localização para o grupo de recursos.
    Nome do Cluster Insira um nome para o novo cluster a ser criado.
    Nome de Utilizador de Início de Sessão do Cluster Digite o nome de usuário HTTP do Hadoop. O nome predefinido é admin.
    Palavra-passe de Início de Sessão do Cluster Digite a senha de usuário HTTP do Hadoop.
    Nome de utilizador SSH Digite o nome de usuário SSH. O nome padrão é sshuser.
    Palavra-passe SSH Digite a senha de usuário SSH.
    Instalar ação de script Mantenha o valor padrão para passar por este artigo.

    Algumas propriedades foram codificadas no modelo: Tipo de cluster, Contagem de nós de trabalho de cluster, Tamanho do nó de borda e Nome do nó de borda.

  4. Marque Concordo com os termos e condições mencionados acima e selecione Comprar para criar o cluster com o nó de borda.

Adicionar vários nós de borda

Você pode adicionar vários nós de borda a um cluster HDInsight. A configuração de vários nós de borda só pode ser feita usando os Modelos do Azure Resource Manager. Consulte o exemplo de modelo no início deste artigo. Atualize o targetInstanceCount para refletir o número de nós de borda que você gostaria de criar.

Acessar um nó de borda

O ponto de extremidade ssh do nó de borda é <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Por exemplo, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

O nó de borda aparece como um aplicativo no portal do Azure. O portal fornece as informações para acessar o nó de borda usando SSH.

Para verificar o ponto de extremidade SSH do nó de borda

  1. Inicie sessão no portal do Azure.
  2. Abra o cluster HDInsight com um nó de borda.
  3. Selecione Aplicativos. Você verá o nó de borda. O nome padrão é new-edgenode.
  4. Selecione o nó de borda. Você verá o ponto final SSH.

Para usar o Hive no nó de borda

  1. Utilize o SSH para ligar ao nó de extremidade. Para obter informações, veja Use SSH with HDInsight (Utilizar SSH com o HDInsight).

  2. Depois de se conectar ao nó de borda usando SSH, use o seguinte comando para abrir o console do Hive:

    hive
    
  3. Execute o seguinte comando para mostrar tabelas do Hive no cluster:

    show tables;
    

Excluir um nó de borda

Você pode excluir um nó de borda do portal do Azure.

  1. Inicie sessão no portal do Azure.
  2. Abra o cluster HDInsight com um nó de borda.
  3. Selecione Aplicativos. Você verá uma lista de nós de borda.
  4. Clique com o botão direito do rato no nó de margem que pretende eliminar e, em seguida, selecione Eliminar.
  5. Selecione Sim para confirmar.

Próximos passos

Neste artigo, você aprendeu como adicionar um nó de borda e como acessar o nó de borda. Para saber mais, leia os artigos seguintes: