Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari
O Apache Ambari simplifica o gerenciamento e monitoramento de um cluster do Apache Hadoop. Essa simplificação é feita fornecendo uma interface do usuário da Web fácil de usar e a API REST. O Ambari está incluído em clusters HDInsight e é usado para monitorar o cluster e fazer alterações de configuração.
Neste documento, você aprenderá a usar a interface de usuário do Ambari Web com um cluster HDInsight.
O que é o Apache Storm?
O Apache Ambari simplifica o gerenciamento do Hadoop, fornecendo uma interface do usuário da Web fácil de usar. Você pode usar o Ambari para gerenciar e monitorar clusters do Hadoop. Os desenvolvedores podem integrar essas funcionalidades em seus aplicativos usando as APIs REST do Ambari.
Conectividade
A interface do usuário da Web do Ambari está disponível no cluster HDInsight em https://CLUSTERNAME.azurehdinsight.net, em que CLUSTERNAME é o nome do cluster.
Importante
Conectar-se ao Ambari no HDInsight requer HTTPS. Quando a autenticação for solicitada, use o nome e a senha da conta do administrador que você forneceu quando o cluster foi criado. Se as credenciais não forem solicitadas, verifique as configurações de rede para confirmar se não há nenhum problema de conectividade entre o cliente e os clusters do Azure HDInsight.
Túnel SSH (proxy)
Enquanto o Ambari para o cluster é acessível diretamente pela Internet, alguns links da interface do usuário da Web do Ambari (como para o JobTracker) não são expostos na Internet. Para acessar esses serviços, você deve criar um túnel SSH. Para obter mais informações, consulte Usar túnel SSH com o HDInsight.
Interface do usuário da Ambari Web
Aviso
Nem todos os recursos da interface do usuário da Web do Ambari têm suporte no HDInsight. Para obter mais informações, consulte a seção Operações sem suporte deste documento.
Ao se conectar à interface do usuário do Ambari Web, você recebe uma solicitação para autenticar a página. Use a senha e o usuário administrador de cluster (Admin padrão) usados durante a criação do cluster.
Quando a página se abrir, observe a barra na parte superior. Essa barra contém as seguintes informações e controles:
| Item | Descrição |
|---|---|
| Logotipo do Ambari | Abre o painel, que pode ser usado para monitorar o cluster. |
| Nº operações do nome do cluster | Exibe o número de operações do Ambari em andamento. A seleção do nome do cluster ou Nº operações exibe uma lista de operações em segundo plano. |
| Nº de alertas | Exibe avisos ou alertas críticos, se houver, para o cluster. |
| Painel | Exibe o painel. |
| Serviços | Informações e definições de configuração dos serviços do cluster. |
| Hosts | Informações e definições de configuração dos nós no cluster. |
| Alertas | Um log de informações, avisos e alertas críticos. |
| Admin | Pilha/serviços de software que estão instalados no cluster, informações de conta de serviço e segurança Kerberos. |
| Botão Administrador | Saída, configurações de usuário e gerenciamento do Ambari. |
Monitoramento
Alertas
A lista a seguir contém os status de alerta comuns usados pelo Ambari:
- OK
- Aviso
- CRÍTICO
- UNKNOWN
Os alertas diferentes de OK fazem com que a entrada nº alertas na parte superior da página exiba o número de alertas. A seleção dessa entrada exibe os alertas e seus status.
Os alertas estão organizados em vários grupos padrão, que podem ser exibidos na página Alertas .
Você pode gerenciar os grupos usando o menu Ações e selecionando Gerenciar Grupos de Alerta.
Você gerencia os métodos de alerta e criar notificações de alerta no menu Ações selecionando Gerenciar Notificações. Quaisquer notificações atuais são exibidas. Crie notificações aqui. As notificações podem ser enviadas por EMAIL ou SNMP quando ocorrerem combinações específicas de alerta/gravidade. Por exemplo, você pode enviar uma mensagem de email quando qualquer um dos alertas no grupo YARN Padrão está definido para Crítico.
Por fim, selecionar Gerenciar Definições de Alerta do menu Ações permite que você defina o número de vezes que um alerta deve ocorrer antes do envio de uma notificação. Essa configuração pode ser usada para evitar notificações de erros transitórios.
Para obter um tutorial de como criar uma notificação de alerta usando uma conta gratuita do SendGrid, confira Configurar notificações por email do Apache Ambari no Azure HDInsight.
Cluster
A guia Métricas do painel contém uma série de widgets que facilitam monitorar o status do cluster em um relance. Vários widgets, tais como Uso de CPU, fornecem informações adicionais quando são clicados.
A guia Mapa de Dados exibe as métricas na forma de mapas de dados coloridos, que vão do verde ao vermelho.
Para obter mais informações sobre os nós no cluster, selecione Hosts. Selecione o nó específico em que você está interessado.
Serviços
A barra lateral Serviços no painel oferece uma visão rápida do status dos serviços em execução no cluster. Ícones diversos são usados para indicar o status ou ações que devem ser realizadas. Por exemplo, um símbolo amarelo de reciclagem será exibido se um serviço precisar ser reciclado.
Observação
Os serviços exibidos variam de acordo com versões e tipos de cluster HDInsight. Os serviços exibidos aqui podem ser diferentes dos serviços exibidos para o cluster.
A seleção de um serviço exibirá informações mais detalhadas sobre o serviço.
Links rápidos
Alguns serviços exibem um link Links Rápidos na parte superior da página. Esse link pode ser usado para acessar IUs da Web específicas do serviço, como:
- Histórico de Trabalhos : histórico de trabalhos do MapReduce.
- Resource Manager: IU do Resource Manager do YARN.
- NameNode : IU NameNode no HDFS (Sistema de Arquivos Distribuído do Hadoop).
- IU da Web do Oozie : IU do Oozie.
A seleção de qualquer um desses links abrirá uma nova guia em seu navegador, que exibirá a página selecionada.
Observação
Selecionar a entrada Links Rápidos para um serviço pode retornar um erro de "servidor não encontrado". Se você encontrar esse erro, você deverá usar um túnel SSH ao usar a entrada Links rápidos para esse serviço. Para obter informações, consulte Usar túnel SSH com o HDInsight
Gerenciamento
Usuários, grupos e permissões do Ambari
Há suporte para o trabalho com usuários, grupos e permissões. Para a administração local, confira Autorizar usuários para exibições do Apache Ambari. Para clusters conectados ao domínio, confira Gerenciar clusters HDInsight conectados ao domínio.
Aviso
Não altere nem exclua a senha do watchdog Ambari (hdinsightwatchdog) no seu cluster HDInsight baseado em Linux. A alteração da senha interrompe a capacidade de usar as ações de script ou executar operações de dimensionamento com o cluster.
Hosts
A página Hosts lista todos os hosts no cluster. Para gerenciar hosts, siga estas etapas.
Observação
As ações de adicionar, encerrar e reativar um host não devem ser realizadas com clusters HDInsight.
Selecione o host que você deseja gerenciar.
Use o menu Ações para selecionar a ação que você deseja executar:
Item Descrição Iniciar todos os componentes Inicie todos os componentes no host. Parar todos os componentes Pare todos os componentes no host. Reiniciar todos os componentes Pare e inicie todos os componentes no host. Ativar o modo de manutenção Suprime os alertas sobre o host. Esse modo deverá ser habilitado se você estiver realizando ações que geram alertas. Por exemplo, parar e iniciar um serviço. Desativar o modo de manutenção Retorna o host para o uso normal de alertas. Stop Para o DataNode ou o NodeManagers no host. Iniciar Inicia o DataNode ou o NodeManagers no host. Reiniciar Para e inicia o DataNode ou o NodeManagers no host. Desprogramar Remove um host do cluster. Não use esta ação em clusters HDInsight. Reativar Adiciona ao cluster um host que foi encerrado. Não use esta ação em clusters HDInsight.
Serviços
Na página Painel ou Serviços, use o botão Ações na parte inferior da lista de serviços para interromper e iniciar todos os serviços.
Aviso
Novos serviços devem ser adicionados usando uma Ação de Script durante o provisionamento do cluster. Para saber mais sobre o uso de ações de script, consulte Personalizar clusters HDInsight usando ações de script.
Embora o botão Ações possa reiniciar todos os serviços, muitas vezes convém iniciar, parar ou reiniciar um serviço específico. Use as seguintes etapas para executar ações em um serviço individual:
Na página Painel ou Serviços, selecione um serviço.
Na parte superior da guia Resumo, use o botão Ações de Serviço e selecione a ação a tomar. Isso reinicia o serviço em todos os nós.
Observação
Reiniciar alguns serviços enquanto o cluster estiver em execução pode gerar alertas. Para evitar alertas, você pode usar o botão Ações de Serviço para habilitar o Modo de manutenção para o serviço antes de executar a reinicialização.
Depois que uma ação é selecionada, a entrada Nº operações na parte superior da página aumenta para mostrar que está ocorrendo uma operação em segundo plano. Se a exibição estiver configurada, a lista de operações em segundo plano será exibida.
Observação
Se você habilitou o modo Manutenção para o serviço, lembre-se de desabilitá-lo usando o botão Ações de Serviço quando a operação for concluída.
Para configurar um serviço, use as seguintes etapas:
Na página Painel ou Serviços, selecione um serviço.
Selecione a guia Configurações. A configuração atual é exibida. Uma lista das configurações anteriores também é exibida.
Use os campos exibidos para modificar a configuração e selecione Salvar. Ou selecione uma configuração anterior e clique em Tornar atual para reverter para as configurações anteriores.
Exibições do Ambari
As Exibições do Ambari permitem que os desenvolvedores conectem elementos de interface do usuário à interface do usuário da Web do Apache Ambari usando a Estrutura de modos de exibição do Ambari. O HDInsight fornece as seguintes exibições com tipos de cluster do Hadoop:
Exibição do Hive: a Exibição do Hive permite executar consultas de Hive diretamente do seu navegador da Web. Você pode salvar consultas, exibir os resultados, salvar os resultados no armazenamento de cluster ou baixar os resultados no sistema local. Para obter mais informações sobre como usar Exibições do Hive, consulte Usar Exibições do Apache Hive com HDInsight.
Exibição Tez: a exibição Tez permite que você compreenda melhor e otimize os trabalhos. Você pode exibir informações sobre como os trabalhos do Tez são executados e quais recursos são usados.
Operações sem suporte
Não há suporte para as seguintes operações do Ambari no HDInsight:
- Mover o serviço do Coletor de métricas. Ao exibir as informações sobre o serviço do Coletor de métricas, uma das ações disponíveis no menu de Ações do serviço é Mover o Coletor de métricas. Não há suporte para essa ação no HDInsight.