Usar nós de borda vazios em clusters Apache Hadoop no HDInsight

Artigo
01/10/2024

Saiba como adicionar um nó de borda vazio a um cluster HDInsight. Um nó periférico vazio é uma máquina virtual do Linux com as mesmas ferramentas de cliente instaladas e configuradas como nos nós principais. Mas sem serviços Apache Hadoop em execução. Pode utilizar o nó periférico para aceder ao cluster, testar as suas aplicações cliente e alojar as suas aplicações cliente.

Você pode adicionar um nó de borda vazio a um cluster HDInsight existente, a um novo cluster ao criar o cluster. A adição de um nó de borda vazio é feita usando o modelo do Azure Resource Manager. O exemplo a seguir demonstra como isso é feito usando um modelo:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Conforme mostrado no exemplo, você pode, opcionalmente, chamar uma ação de script para fazer uma configuração adicional. Como instalar o Apache Hue no nó de borda. O script de ação de script deve estar acessível publicamente na Web. Por exemplo, se o script estiver armazenado no Armazenamento do Azure, use contêineres públicos ou blobs públicos.

O tamanho da máquina virtual do nó de borda deve atender aos requisitos de tamanho da vm do nó de trabalho do cluster HDInsight. Para obter os tamanhos de vm de nó de trabalho recomendados, consulte Criar clusters Apache Hadoop no HDInsight.

Depois de criar um nó de borda, você pode se conectar ao nó de borda usando SSH e executar ferramentas de cliente para acessar o cluster Hadoop no HDInsight.

Aviso

Os componentes personalizados instalados no nó de borda recebem suporte comercialmente razoável da Microsoft. Isso pode resultar na resolução de problemas encontrados. Ou, você pode ser encaminhado para recursos da comunidade para obter mais assistência. A seguir estão alguns dos sites mais ativos para obter ajuda da comunidade:

Se você estiver usando uma tecnologia Apache, poderá encontrar assistência através dos sites do projeto Apache no https://apache.org, como o site Apache Hadoop .

Importante

As imagens do Ubuntu ficam disponíveis para a criação de novos clusters HDInsight dentro de 3 meses após serem publicadas. A partir de janeiro de 2019, os clusters em execução (incluindo nós de borda) não serão corrigidos automaticamente. Os clientes devem usar ações de script ou outros mecanismos para corrigir um cluster em execução. Para obter mais informações, consulte Correção do sistema operacional para HDInsight.

Adicionar um nó de borda a um cluster existente

Nesta seção, você usa um modelo do Gerenciador de Recursos para adicionar um nó de borda a um cluster HDInsight existente. O modelo do Resource Manager pode ser encontrado no GitHub. O modelo do Gerenciador de Recursos chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. O script não faz nenhuma ação. É para demonstrar a ação de script de chamada a partir de um modelo do Gerenciador de Recursos.

Selecione a imagem a seguir para entrar no Azure e abrir o modelo do Azure Resource Manager no portal do Azure.

Configure as seguintes propriedades:

Property	Descrição
Subscrição	Selecione uma assinatura do Azure usada para criar o cluster.
Grupo de recursos	Selecione o grupo de recursos usado para o cluster HDInsight existente.
Localização	Selecione o local do cluster HDInsight existente.
Nome do Cluster	Insira o nome de um cluster HDInsight existente.

Marque Concordo com os termos e condições mencionados acima e, em seguida, selecione Comprar para criar o nó de borda.

Importante

Certifique-se de selecionar o grupo de recursos do Azure para o cluster HDInsight existente. Caso contrário, você receberá a mensagem de erro "Não é possível executar a operação solicitada no recurso aninhado. O recurso pai 'ClusterName>'< não foi encontrado."

Adicionar um nó de borda ao criar um cluster

Nesta seção, você usa um modelo do Gerenciador de Recursos para criar cluster HDInsight com um nó de borda. O modelo do Resource Manager pode ser encontrado na galeria de modelos de início rápido do Azure. O modelo do Gerenciador de Recursos chama uma ação de script localizada em https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. O script não faz nenhuma ação. É para demonstrar a ação de script de chamada a partir de um modelo do Gerenciador de Recursos.

Crie um cluster HDInsight se ainda não tiver um. Consulte Introdução ao uso do Hadoop no HDInsight.
Selecione a imagem a seguir para entrar no Azure e abrir o modelo do Azure Resource Manager no portal do Azure.

Configure as seguintes propriedades:

Property	Descrição
Subscrição	Selecione uma assinatura do Azure usada para criar o cluster.
Grupo de recursos	Crie um novo grupo de recursos usado para o cluster.
Localização	Selecione uma localização para o grupo de recursos.
Nome do Cluster	Insira um nome para o novo cluster a ser criado.
Nome de Utilizador de Início de Sessão do Cluster	Digite o nome de usuário HTTP do Hadoop. O nome predefinido é admin.
Palavra-passe de Início de Sessão do Cluster	Digite a senha de usuário HTTP do Hadoop.
Nome de utilizador SSH	Digite o nome de usuário SSH. O nome padrão é sshuser.
Palavra-passe SSH	Digite a senha de usuário SSH.
Instalar ação de script	Mantenha o valor padrão para passar por este artigo.

Algumas propriedades foram codificadas no modelo: Tipo de cluster, Contagem de nós de trabalho de cluster, Tamanho do nó de borda e Nome do nó de borda.

Marque Concordo com os termos e condições mencionados acima e selecione Comprar para criar o cluster com o nó de borda.

Adicionar vários nós de borda

Você pode adicionar vários nós de borda a um cluster HDInsight. A configuração de vários nós de borda só pode ser feita usando os Modelos do Azure Resource Manager. Consulte o exemplo de modelo no início deste artigo. Atualize o targetInstanceCount para refletir o número de nós de borda que você gostaria de criar.

Acessar um nó de borda

O ponto de extremidade ssh do nó de borda é <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Por exemplo, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

O nó de borda aparece como um aplicativo no portal do Azure. O portal fornece as informações para acessar o nó de borda usando SSH.

Para verificar o ponto de extremidade SSH do nó de borda

Inicie sessão no portal do Azure.
Abra o cluster HDInsight com um nó de borda.
Selecione Aplicativos. Você verá o nó de borda. O nome padrão é new-edgenode.
Selecione o nó de borda. Você verá o ponto final SSH.

Para usar o Hive no nó de borda

Utilize o SSH para ligar ao nó de extremidade. Para obter informações, veja Use SSH with HDInsight (Utilizar SSH com o HDInsight).
Depois de se conectar ao nó de borda usando SSH, use o seguinte comando para abrir o console do Hive:
```
hive
```
Execute o seguinte comando para mostrar tabelas do Hive no cluster:
```
show tables;
```

Excluir um nó de borda

Você pode excluir um nó de borda do portal do Azure.

Inicie sessão no portal do Azure.
Abra o cluster HDInsight com um nó de borda.
Selecione Aplicativos. Você verá uma lista de nós de borda.
Clique com o botão direito do rato no nó de margem que pretende eliminar e, em seguida, selecione Eliminar.
Selecione Sim para confirmar.

Próximos passos

Neste artigo, você aprendeu como adicionar um nó de borda e como acessar o nó de borda. Para saber mais, leia os artigos seguintes:

Instalar aplicações HDInsight: Saiba como instalar aplicações HDInsight nos clusters.
Instalar aplicativos HDInsight personalizados: saiba como implantar um aplicativo HDInsight não publicado no HDInsight.
Publicar aplicações do HDInsight: Saiba como publicar as suas aplicações do HDInsight personalizadas no Azure Marketplace.
MSDN: Instalar uma aplicação do HDInsight: Saiba como definir aplicações do HDInsight.
Personalizar clusters do HDInsight baseados em Linux através da Ação de Script: saiba como utilizar a Ação de Script para instalar outras aplicações.
Criar clusters Apache Hadoop baseados em Linux no HDInsight usando modelos do Resource Manager: saiba como chamar modelos do Resource Manager para criar clusters HDInsight.