Manage HDInsight clusters by using the Apache Ambari Web UI (Gerir clusters do HDInsight através da IU da Web do Apache Ambari)

  • Artigo

O Apache Ambari simplifica o gerenciamento e o monitoramento de um cluster Apache Hadoop. Essa simplificação é feita fornecendo uma interface do usuário da Web e uma API REST fáceis de usar. O Ambari está incluído nos clusters HDInsight e é usado para monitorar o cluster e fazer alterações de configuração.

Neste documento, você aprenderá a usar a interface do usuário da Web do Ambari com um cluster HDInsight.

O que é Apache Ambari?

O Apache Ambari simplifica o gerenciamento do Hadoop fornecendo uma interface do usuário da Web fácil de usar. Você pode usar o Ambari para gerenciar e monitorar clusters Hadoop. Os desenvolvedores podem integrar esses recursos em seus aplicativos usando as APIs REST do Ambari.

Conectividade

A interface do usuário da Web do Ambari está disponível no cluster HDInsight em https://CLUSTERNAME.azurehdinsight.net, onde CLUSTERNAME é o nome do cluster.

Importante

A conexão com o Ambari no HDInsight requer HTTPS. Quando for solicitada a autenticação, use o nome da conta de administrador e a senha fornecidos quando o cluster foi criado. Se você não for solicitado a fornecer credenciais, verifique suas configurações de rede para confirmar que não há nenhum problema de conectividade entre o cliente e os Clusters HDInsight do Azure.

Túnel SSH (proxy)

Embora o Ambari para seu cluster seja acessível diretamente pela Internet, alguns links da interface do usuário da Web do Ambari (como para o JobTracker) não são expostos na Internet. Para acessar esses serviços, você deve criar um túnel SSH. Para obter mais informações, consulte Usar túnel SSH com o HDInsight.

Interface do usuário da Web do Ambari

Aviso

Nem todos os recursos da interface do usuário da Web do Ambari são suportados no HDInsight. Para obter mais informações, consulte a seção Operações sem suporte deste documento.

Ao se conectar à interface do usuário da Web do Ambari, você será solicitado a autenticar a página. Use o usuário administrador do cluster (administrador padrão) e a senha que você usou durante a criação do cluster.

Quando a página abrir, anote a barra na parte superior. Esta barra contém as seguintes informações e controlos:

Apache Ambari dashboard overview.

Item Description
Logótipo Ambari Abre o painel, que pode ser usado para monitorar o cluster.
Nome do cluster # ops Exibe o número de operações Ambari em andamento. Selecionar o nome do cluster ou # ops exibe uma lista de operações em segundo plano.
# alertas Exibe avisos ou alertas críticos, se houver, para o cluster.
Dashboard Exibe o painel.
Serviços Informações e definições de configuração para os serviços no cluster.
Anfitriões Informações e definições de configuração para os nós no cluster.
Alertas Um registro de informações, avisos e alertas críticos.
Admin Pilha/serviços de software instalados no cluster, informações de conta de serviço e segurança Kerberos.
Botão Admin Gerenciamento do Ambari, configurações do usuário e logout.

Monitorização

Alertas

A lista a seguir contém os status de alerta comuns usados pelo Ambari:

  • OK
  • Aviso
  • CRÍTICA
  • DESCONHECIDO

Alertas diferentes de OK fazem com que a entrada # alertas na parte superior da página exiba o número de alertas. Selecionar esta entrada exibe os alertas e seu status.

Os alertas são organizados em vários grupos padrão, que podem ser visualizados na página Alertas .

Apache Ambari alerts page summary.

Você pode gerenciar os grupos usando o menu Ações e selecionando Gerenciar grupos de alerta.

Apache Ambari manage alert groups.

Você gerencia métodos de alerta e cria notificações de alerta no menu Ações selecionando Gerenciar notificações. Todas as notificações atuais são exibidas. Crie notificações a partir daqui. As notificações podem ser enviadas via EMAIL ou SNMP quando ocorrem combinações específicas de alerta/gravidade. Por exemplo, você pode enviar uma mensagem de email quando qualquer um dos alertas no grupo Padrão do YARN estiver definido como Crítico.

Apache Ambari create alert notification.

Finalmente, selecionar Gerenciar configurações de alerta no menu Ações permite definir o número de vezes que um alerta deve ocorrer antes que uma notificação seja enviada. Essa configuração pode ser usada para evitar notificações de erros transitórios.

Para obter um tutorial de uma notificação de alerta usando uma conta gratuita do SendGrid, consulte Configurar notificações de email do Apache Ambari no Azure HDInsight.

Cluster

A guia Métricas do painel contém uma série de widgets que facilitam o monitoramento rápido do status do cluster. Vários widgets, como Uso da CPU, fornecem informações adicionais quando clicados.

Apache Ambari dashboard with metrics.

A guia Heatmaps exibe métricas como heatmaps coloridos, indo de verde a vermelho.

Apache Ambari dashboard with heatmaps.

Para obter mais informações sobre os nós dentro do cluster, selecione Hosts. Em seguida, selecione o nó específico em que está interessado.

Apache Ambari host summary details.

Serviços

A barra lateral Serviços no painel fornece informações rápidas sobre o status dos serviços em execução no cluster. Vários ícones são usados para indicar o status ou as ações que devem ser tomadas. Por exemplo, um símbolo de reciclagem amarelo é exibido se um serviço precisar ser reciclado.

Apache Ambari services side bar.

Nota

Os serviços exibidos diferem entre tipos e versões de cluster HDInsight. Os serviços exibidos aqui podem ser diferentes dos serviços exibidos para o cluster.

A seleção de um serviço exibe informações mais detalhadas sobre o serviço.

Apache Ambari service summary information.

Alguns serviços exibem um link de Links Rápidos na parte superior da página. Este link pode ser usado para acessar interfaces do usuário da Web específicas do serviço, como:

  • Histórico de trabalhos - MapReduce histórico de trabalhos.
  • Resource Manager - Interface do usuário do YARN Resource Manager.
  • NameNode - Interface do usuário do Hadoop Distributed File System (HDFS) NameNode.
  • Oozie Web UI - Oozie UI.

Selecionar qualquer um desses links abre uma nova guia no navegador, que exibe a página selecionada.

Nota

Selecionar a entrada Links Rápidos para um serviço pode retornar um erro "servidor não encontrado". Se você encontrar esse erro, você deve usar um túnel SSH ao usar a entrada Links Rápidos para este serviço. Para obter informações, consulte Usar túnel SSH com o HDInsight

Gestão

Usuários, grupos e permissões do Ambari

Há suporte para trabalhar com usuários, grupos e permissões. Para administração local, consulte Autorizar usuários para exibições do Apache Ambari. Para clusters que ingressaram em domínios, consulte Gerenciar clusters HDInsight ingressados no domínio.

Aviso

Não exclua nem altere a senha do cão de guarda Ambari (hdinsightwatchdog) em seu cluster HDInsight baseado em Linux. A alteração da senha interrompe a capacidade de usar ações de script ou executar operações de dimensionamento com o cluster.

Anfitriões

A página Hosts lista todos os hosts no cluster. Para gerir anfitriões, siga estes passos.

Apache Ambari hosts page overview.

Nota

Adicionar, desativar e recomissionar um host não deve ser usado com clusters HDInsight.

  1. Selecione o anfitrião que pretende gerir.

  2. Use o menu Ações para selecionar a ação que deseja realizar:

    Item Description
    Iniciar todos os componentes Inicie todos os componentes no host.
    Parar todos os componentes Pare todos os componentes no host.
    Reiniciar todos os componentes Pare e inicie todos os componentes no host.
    Ativar o modo de manutenção Suprime alertas para o host. Esse modo deve ser ativado se você estiver executando ações que geram alertas. Por exemplo, parar e iniciar um serviço.
    Desativar o modo de manutenção Retorna o host ao alerta normal.
    Parar Para DataNode ou NodeManagers no host.
    Iniciar Inicia DataNode ou NodeManagers no host.
    Reiniciar Para e inicia DataNode ou NodeManagers no host.
    Desmantelamento Remove um host do cluster. Não use essa ação em clusters HDInsight.
    Recomissionamento Adiciona um host descomissionado anteriormente ao cluster. Não use essa ação em clusters HDInsight.

Serviços

Na página Painel ou Serviços, use o botão Ações na parte inferior da lista de serviços para parar e iniciar todos os serviços.

Apache Ambari service actions list.

Aviso

Novos serviços devem ser adicionados usando uma Ação de Script durante o provisionamento de cluster. Para obter mais informações sobre como usar Ações de Script, consulte Personalizar clusters HDInsight usando Ações de Script.

Embora o botão Ações possa reiniciar todos os serviços, muitas vezes você deseja iniciar, parar ou reiniciar um serviço específico. Use as seguintes etapas para executar ações em um serviço individual:

  1. Na página Painel ou Serviços, selecione um serviço.

  2. Na parte superior da guia Resumo , use o botão Ações de Serviço e selecione a ação a ser executada. Esta ação reinicia o serviço em todos os nós.

    Apache Ambari individual service actions.

    Nota

    Reiniciar alguns serviços enquanto o cluster está em execução pode gerar alertas. Para evitar alertas, você pode usar o botão Ações de Serviço para habilitar o modo de Manutenção para o serviço antes de executar a reinicialização.

  3. Depois que uma ação é selecionada, a entrada # op na parte superior da página é incrementada para mostrar que uma operação em segundo plano está ocorrendo. Se configurado para exibição, a lista de operações em segundo plano é exibida.

    Nota

    Se você ativou o modo de manutenção para o serviço, lembre-se de desativá-lo usando o botão Ações do serviço assim que a operação for concluída.

Para configurar um serviço, use as seguintes etapas:

  1. Na página Painel ou Serviços, selecione um serviço.

  2. Selecione a guia Configurações . A configuração atual é exibida. Uma lista de configurações anteriores também é exibida.

    Apache Ambari service configuration.

  3. Use os campos exibidos para modificar a configuração e selecione Salvar. Ou selecione uma configuração anterior e, em seguida, selecione Tornar atual para reverter para as configurações anteriores.

Vistas de Ambari

As Visualizações do Ambari permitem que os desenvolvedores conectem elementos da interface do usuário à Interface do Usuário da Web do Ambari usando o Apache Ambari Views Framework. O HDInsight fornece as seguintes exibições com tipos de cluster Hadoop:

  • Hive View: O Hive View permite que você execute consultas do Hive diretamente do seu navegador da Web. Você pode salvar consultas, exibir resultados, salvar resultados no armazenamento de cluster ou baixar resultados para seu sistema local. Para obter mais informações sobre como usar exibições do Hive, consulte Usar exibições do Apache Hive com o HDInsight.

  • Tez View: O Tez View permite que você entenda melhor e otimize os trabalhos. Você pode visualizar informações sobre como os trabalhos Tez são executados e quais recursos são usados.

Operações sem suporte

As seguintes operações Ambari não são suportadas no HDInsight:

  • Movendo o serviço Metrics Collector. Ao visualizar informações no serviço Coletor de métricas, uma das ações disponíveis no menu Ações de serviço é Mover coletor de métricas. Esta ação não é suportada com o HDInsight.

Próximos passos