Gerenciar clusters Apache Hadoop no HDInsight usando o portal do Azure

  • Artigo

Usando o portal do Azure, você pode gerenciar clusters Apache Hadoop no Azure HDInsight. Use o seletor de guias para obter informações sobre como gerenciar clusters Hadoop no HDInsight usando outras ferramentas.

Pré-requisitos

Um cluster Apache Hadoop existente no HDInsight. Consulte Criar clusters baseados em Linux no HDInsight usando o portal do Azure.

Introdução

Iniciar sessão no https://portal.azure.com.

Listar e mostrar clusters

A página de clusters HDInsight lista os clusters existentes. Do portal:

  1. Selecione Todos os serviços no menu à esquerda.
  2. Selecione clusters HDInsight em ANALYTICS.

Página inicial do cluster

Selecione o nome do cluster na página de clusters HDInsight. Isso abre o modo de exibição Visão geral , que é semelhante à imagem a seguir:

Azure portal HDInsight cluster essentials.

Menu superior:

Item Description
Mover Move o cluster para outro grupo de recursos ou para outra assinatura.
Delete Exclui o cluster.
Atualizar Atualiza a exibição.

Menu à esquerda:

  • Menu superior esquerdo

    Item Description
    Descrição geral Fornece informações gerais para o cluster.
    Registo de atividades Mostrar e consultar logs de atividades.
    Controlo de acesso (IAM) Use atribuições de função. Consulte Atribuir funções do Azure para gerenciar o acesso aos recursos de assinatura do Azure.
    Etiquetas Permite definir pares chave/valor para definir uma taxonomia personalizada dos seus serviços na nuvem. Por exemplo, você pode criar uma chave chamada projeto e, em seguida, usar um valor comum para todos os serviços associados a um projeto específico.
    Diagnosticar e resolver problemas Exibir informações de solução de problemas.
    Início Rápido Exibe informações que ajudam você a começar a usar o HDInsight.
    Ferramentas Informações de ajuda para ferramentas relacionadas ao HDInsight.

  • Menu Configurações

    Item Description
    Tamanho do cluster Verifique, aumente e diminua o número de nós de trabalho de cluster. Consulte Dimensionar clusters.
    Limites de quota Exiba os núcleos usados e disponíveis para sua assinatura.
    Início de sessão de SSH + Cluster Mostra as instruções para se conectar ao cluster usando a conexão Secure Shell (SSH). Para obter mais informações, veja Use SSH with HDInsight (Utilizar SSH com o HDInsight).
    Ger1 de Armazenamento do Data Lake Configure o acesso ao Data Lake Storage Gen1. Consulte Guia de início rápido: configurar clusters no HDInsight.
    Contas de armazenamento Veja as contas de armazenamento e as chaves. As contas de armazenamento são configuradas durante o processo de criação do cluster.
    Aplicações Adicionar/remover aplicativos HDInsight. Consulte Instalar aplicativos HDInsight personalizados.
    Ações do script Execute scripts Bash no cluster. Consulte Personalizar clusters HDInsight baseados em Linux usando a Ação de Script.
    Metastores externas Veja os metastores Apache Hive e Apache Oozie . Os metastores só podem ser configurados durante o processo de criação do cluster.
    Parceiro do HDInsight Adicione/remova o Parceiro HDInsight atual.
    Propriedades Exiba as propriedades do cluster.
    Bloqueios Adicione um bloqueio para impedir que o cluster seja modificado ou excluído.
    Exportar modelo Exiba e exporte o modelo do Azure Resource Manager para o cluster. Atualmente, você só pode exportar a conta de armazenamento dependente do Azure. Consulte Criar clusters Apache Hadoop baseados em Linux no HDInsight usando modelos do Azure Resource Manager.

  • Menu Monitorização

    Item Description
    Alertas Gerencie os alertas e ações.
    Métricas Monitore as métricas de cluster nos logs do Azure Monitor.
    Configurações de diagnóstico Configurações sobre onde armazenar as métricas de diagnóstico.
    Azure Monitor Monitore seu cluster no Azure Monitor.

  • Suporte + menu de solução de problemas

    Item Description
    Estado de funcionamento de recursos Consulte Visão geral da integridade dos recursos do Azure.
    Novo pedido de suporte Permite que você crie um tíquete de suporte com o suporte da Microsoft.

Propriedades do cluster

Na home page do cluster, em Configurações, selecione Propriedades.

Item Description
NOME DO ANFITRIÃO Nome do cluster.
CLUSTER URL O URL para a interface web do Ambari.
Ponto Final Privado O ponto de extremidade privado para o cluster.
Shell seguro (SSH) O nome de usuário e o nome do host a serem usados no acesso ao cluster via SSH.
ESTADO Um dos seguintes: Abortado, Aceito, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operacional, Em execução, Erro, Excluindo, Excluído, Tempo limite, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued ou ClusterCustomization.
REGIÃO Localização do Azure. Para obter uma lista de locais do Azure suportados, consulte a caixa de listagem suspensa Região sobre preços do HDInsight.
DATA DE CRIAÇÃO A data em que o cluster foi implantado.
SISTEMA OPERATIVO Windows ou Linux.
TIPO Hadoop, HBase, Faísca.
Versão Consulte Versões do HDInsight.
Versão mínima do TLS A versão TLS.
SUBSCRIÇÃO Nome da subscrição.
FONTE DE DADOS PADRÃO O sistema de arquivos de cluster padrão.
Tamanhos dos nós de trabalho O tamanho da VM selecionada dos nós de trabalho.
Tamanho do nó principal O tamanho da VM selecionada dos nós principais.
Rede virtual O nome da Rede Virtual, na qual o cluster está implantado, se uma tiver sido selecionada no momento da implantação.

Mover clusters

Você pode mover um cluster HDInsight para outro grupo de recursos do Azure ou outra assinatura.

Na página inicial do cluster:

  1. Selecione Mover no menu superior.
  2. Selecione Mover para outro grupo de recursos ou Mover para outra assinatura.
  3. Siga as instruções da nova página.

Excluir clusters

A exclusão de um cluster não exclui a conta de armazenamento padrão nem nenhuma conta de armazenamento vinculada. Você pode recriar o cluster usando as mesmas contas de armazenamento e os mesmos metastores. Recomendamos o uso de um novo contêiner de Blob padrão ao recriar o cluster.

Na página inicial do cluster:

  1. Selecione Eliminar no menu superior.
  2. Siga as instruções da nova página.

Consulte também Pausar/desligar clusters.

Adicionar mais contas de armazenamento

Você pode adicionar contas adicionais do Armazenamento do Azure e contas do Armazenamento do Azure Data Lake após a criação de um cluster. Para obter mais informações, veja Adicionar mais contas de armazenamento ao HDInsight.

Dimensionar clusters

O recurso de dimensionamento de cluster permite alterar o número de nós de trabalho usados por um cluster do Azure HDInsight, sem precisar recriar o cluster.

Consulte Dimensionar clusters HDInsight para obter informações completas.

Pausar/desligar clusters

A maioria dos trabalhos do Hadoop são trabalhos em lote que só são executados ocasionalmente. Para a maioria dos clusters Hadoop, há grandes períodos de tempo em que o cluster não está sendo usado para processamento. Com o HDInsight, seus dados são armazenados no Armazenamento do Azure, para que você possa excluir com segurança um cluster quando ele não estiver em uso. Você também é cobrado por um cluster HDInsight, mesmo quando ele não está em uso. Como as cobranças para o cluster são muitas vezes mais do que as taxas para armazenamento, faz sentido econômico excluir clusters quando eles não estão em uso.

Há muitas maneiras de programar o processo:

Para obter informações sobre preços, consulte Preços do HDInsight. Para excluir um cluster do Portal, consulte Excluir clusters

Atualizar clusters

Consulte Atualizar cluster HDInsight para uma versão mais recente.

Abra a interface do usuário da Web do Apache Ambari

O Ambari fornece uma interface do usuário da Web de gerenciamento Hadoop intuitiva e fácil de usar, apoiada por suas APIs RESTful. O Ambari permite que os administradores de sistema gerenciem e monitorem clusters Hadoop.

Na página inicial do cluster:

  1. Selecione Painéis de cluster.

    HDInsight Apache Hadoop cluster menu.

  2. Selecione Ambari home na nova página.

  3. Introduza o nome de utilizador e a palavra-passe do cluster. O nome de usuário padrão do cluster é admin.

Para obter mais informações, consulte Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari.

Alterar palavras-passe

Um cluster HDInsight pode ter duas contas de usuário. A conta de usuário do cluster HDInsight (conta de usuário HTTP) e a conta de usuário SSH são criadas durante o processo de criação. Você pode usar o portal para alterar a senha da conta de usuário do cluster e ações de script para alterar a conta de usuário SSH.

Alterar a senha do usuário do cluster

Nota

Alterar a senha do usuário (admin) do cluster pode fazer com que as ações de script executadas nesse cluster falhem. Se você tiver ações de script persistentes direcionadas a nós de trabalho, esses scripts poderão falhar quando você adicionar nós ao cluster por meio de operações de redimensionamento. Para obter mais informações sobre ações de script, consulte Personalizar clusters HDInsight usando ações de script.

Na página inicial do cluster:

  1. Selecione SSH + Login de cluster em Configurações.
  2. Selecione Redefinir credencial.
  3. Introduza e confirme a nova palavra-passe nas caixas de texto.
  4. Selecione OK.

A senha é alterada em todos os nós do cluster.

Alterar a senha de usuário SSH ou a chave pública

  1. Usando um editor de texto, salve o texto a seguir como um arquivo chamado changecredentials.sh.

    Importante

    Você deve usar um editor que use LF como o final da linha. Se o editor usa CRLF, o script não funciona.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Carregue o arquivo para um local de armazenamento que possa ser acessado do HDInsight usando um endereço HTTP ou HTTPS. Por exemplo, um armazenamento de arquivos público, como o OneDrive ou o armazenamento de Blob do Azure. Salve o URI (endereço HTTP ou HTTPS) no arquivo, pois esse URI é necessário na próxima etapa.

  3. Na home page do cluster, selecione Ações de script em Configurações.

  4. Na página Ações de script, selecione Enviar novo.

  5. Na página Enviar ação de script, insira as seguintes informações:

Nota

As senhas SSH não podem conter os seguintes caracteres:

" ' ` / \ < % ~ | $ & ! #

Campo Value
Tipo de script Selecione - Personalizar na lista suspensa.
Nome "Alterar credenciais ssh"
Bash script URI O URI para o arquivo changecredentials.sh
Tipo(s) de nó(s): (Chefe, Trabalhador, Nimbus, Supervisor ou Zookeeper.) ✓ para todos os tipos de nós listados
Parâmetros Digite o nome de usuário SSH e, em seguida, a nova senha. Deve haver um espaço entre o nome de usuário e a senha.
Persista esta ação de script ... Deixe este campo desmarcado.
  1. Selecione Criar para aplicar o script. Quando o script terminar, você poderá se conectar ao cluster usando SSH com as novas credenciais.

Encontrar o ID da subscrição

Cada cluster está vinculado a uma assinatura do Azure. A ID de assinatura do Azure é visível na home page do cluster.

Localizar o grupo de recursos

No modo Azure Resource Manager, cada cluster HDInsight é criado com um grupo do Azure Resource Manager. O grupo Gerenciador de Recursos é visível na home page do cluster.

Localizar as contas de armazenamento

Os clusters HDInsight usam uma conta de Armazenamento do Azure ou o Armazenamento do Azure Data Lake para armazenar dados. Cada cluster HDInsight pode ter uma conta de armazenamento padrão e várias contas de armazenamento vinculadas. Para listar as contas de armazenamento, na home page do cluster em Configurações, selecione Contas de armazenamento.

Monitorizar trabalhos

Consulte Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari.

Tamanho do cluster

O bloco Tamanho do cluster da home page do cluster exibe o número de núcleos alocados para esse cluster e como eles são alocados para os nós dentro desse cluster.

Importante

Para monitorar os serviços fornecidos pelo cluster HDInsight, você deve usar o Ambari Web ou a API REST do Ambari. Para obter mais informações sobre como usar o Ambari, consulte Gerenciar clusters HDInsight usando o Apache Ambari

Ligar a um cluster

Próximos passos

Neste artigo, você aprendeu algumas funções administrativas básicas. Para saber mais, leia os artigos seguintes: