Compartilhar via


Usar nós de borda vazios em clusters do Apache Hadoop no HDInsight

Saiba como adicionar um nó de borda vazio a um cluster HDInsight. Um nó de borda vazio é uma máquina virtual Linux com as mesmas ferramentas de cliente instaladas e configuradas dos nós principais. No entanto, não há serviços do Apache Hadoop em execução. Você pode usar o nó de borda para acessar o cluster, testar e hospedar seus aplicativos clientes.

Você pode adicionar um nó de borda vazio a um cluster HDInsight existente ou a um novo cluster quando ele é criado. A adição de um nó de borda vazio é feita usando o modelo Azure Resource Manager. O exemplo abaixo demonstra como isso é feito usando um modelo:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Como mostrado no exemplo, você pode, opcionalmente, chamar uma ação de script para realizar configurações adicionais. Por exemplo, para instalar o Apache Hue no nó de borda. O script de ação de script deve ser publicamente acessível na Web. Por exemplo, se o script for armazenado no Armazenamento do Azure, use contêineres públicos ou blobs públicos.

O tamanho de máquina virtual do nó de borda deve atender aos requisitos de tamanho de VM do nó de trabalho do cluster HDInsight. Para obter os tamanhos recomendados de VM do nó de trabalho, consulte Criar clusters Apache Hadoop no HDInsight.

Depois de criar um nó de borda, você pode conectar-se a ele usando SSH e executar as ferramentas de cliente para acessar o cluster Hadoop no HDInsight.

Aviso

Componentes personalizados que são instalados no nó de borda recebem suporte comercialmente cabível da Microsoft. Isso pode resultar na resolução de problemas encontrados. Ou você pode receber referências de recursos da comunidade para obter assistência adicional. A seguir estão alguns dos sites mais ativos para obter ajuda da comunidade:

Se você estiver usando uma tecnologia Apache, poderá encontrar ajuda nos sites do projeto Apache em https://apache.org, como o site do Apache Hadoop.

Importante

As imagens do Ubuntu ficam disponíveis para a criação do novo cluster HDInsight dentro de 3 meses depois de publicado. A partir de janeiro de 2019, os clusters em execução (incluindo nó de borda) não contam com patch automaticamente. Os clientes devem usar ações de script ou outros mecanismos para aplicar o patch de um cluster em execução. Para obter mais informações, confira Aplicação de patch do SO para HDInsight.

Adicionar um nó de borda a um cluster existente

Nesta seção, você pode usar um modelo do Resource Manager para adicionar um nó de borda a um cluster HDInsight existente. O modelo do Resource Manager pode ser encontrado no GitHub. O modelo do Resource Manager chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. O script não realiza nenhuma ação. Isso serve para demonstrar a chamada da ação de script de um modelo do Resource Manager.

  1. Selecione a imagem a seguir para entrar no Azure e abra o modelo do Azure Resource Manager no portal do Azure.

    Deploy to Azure button for new cluster

  2. Configure as seguintes propriedades:

    Propriedade Descrição
    Subscription escolha uma assinatura do Azure usada para criar esse cluster.
    Resource group escolha o grupo de recursos usado no cluster HDInsight existente.
    Location escolha a localização do cluster HDInsight existente.
    Nome do cluster insira o nome de um cluster HDInsight existente.
  3. Selecione Concordo com os termos e condições declarados acima e selecione Comprar para criar um nó de borda.

Importante

Certifique-se de selecionar o grupo de recursos do Azure para o cluster HDInsight existente. Caso contrário, você receberá a mensagem de erro "Não é possível executar a operação solicitada no recurso aninhado. Recurso pai '<NomeDoCluster>' não encontrado".

Adicionar um nó de borda ao criar um cluster

Nesta seção, você pode usar um modelo do Resource Manager para criar um cluster HDInsight com um nó de borda. O modelo do Resource Manager pode ser encontrado em Galeria de Modelos de Início Rápido do Azure. O modelo do Resource Manager chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. O script não realiza nenhuma ação. Isso serve para demonstrar a chamada da ação de script de um modelo do Resource Manager.

  1. Se você ainda não tem um, crie um cluster HDInsight. Veja Introdução ao uso do Hadoop no HDInsight.

  2. Selecione a imagem a seguir para entrar no Azure e abra o modelo do Azure Resource Manager no portal do Azure.

    Deploy to Azure button for new cluster

  3. Configure as seguintes propriedades:

    Propriedade Descrição
    Subscription escolha uma assinatura do Azure usada para criar esse cluster.
    Resource group crie um novo grupo de recursos usado para o cluster.
    Location Selecione um local para o grupo de recursos.
    Nome do cluster insira um nome para o novo cluster que será criado.
    Nome de usuário de logon do cluster insira o nome de usuário HTTP do Hadoop. O nome padrão é admin.
    Senha de logon do cluster insira a senha do usuário HTTP do Hadoop.
    Nome de Usuário SSH insira o nome de usuário SSH. O nome padrão é sshuser.
    Senha SSH insira a senha de usuário SSH.
    Instalar ação de script Mantenha o valor padrão para percorrer este artigo.

    Algumas propriedades foram inseridas no código do modelo: tipo de Cluster, contagem de nós de trabalho do Cluster, tamanho do nó de borda e nome do nó de borda.

  4. Selecione Concordo com os termos e condições declarados acima e selecione Comprar para criar um cluster com o nó de borda.

Adicionar vários nós de borda

Você pode adicionar vários nós de borda para um cluster HDInsight. A configuração de vários nós de borda só pode ser feita usando Modelos do Azure Resource Manager. Confira o exemplo de modelo no início deste artigo. Atualize o targetInstanceCount para refletir o número de nós de borda que você gostaria de criar.

Acessar um nó de borda

O ponto de extremidade SSH do nó de borda é <NomeDoNóDeBorda>.<NomeDoCluster>-ssh.azurehdinsight.net:22. Por exemplo, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

O nó de borda aparece como um aplicativo no portal do Azure. O portal fornece as informações para acessar o nó de borda usando o SSH.

Para verificar o ponto de extremidade SSH do nó de borda

  1. Entre no Portal do Azure.
  2. Abra o cluster HDInsight com um nó de borda.
  3. Selecione Aplicativos. Você verá o nó de borda. O nome padrão é new-edgenode.
  4. Selecione o nó de borda. Você deverá ver o ponto de extremidade SSH.

Para usar o Hive no nó de borda

  1. Use SSH para conectar-se ao nó de borda. Para obter informações, consulte Usar SSH com HDInsight.

  2. Depois que você tiver se conectado ao nó de borda usando o SSH, use o seguinte comando para abrir o console do Hive:

    hive
    
  3. Execute o seguinte comando para mostrar as tabelas de Hive no cluster:

    show tables;
    

Excluir um nó de borda

Você pode excluir um nó de borda no portal do Azure.

  1. Entre no Portal do Azure.
  2. Abra o cluster HDInsight com um nó de borda.
  3. Selecione Aplicativos. Você verá uma lista de nós de borda.
  4. Clique no nó de borda que deseja excluir e selecione Excluir.
  5. Clique em Sim para confirmar.

Próximas etapas

Neste artigo, você aprendeu como adicionar um nó de borda e como acessar o nó de borda. Para saber mais, leia os seguintes artigos: