Habilitar o monitoramento de trabalhos do HDInsight.
O monitoramento de um cluster do HDInsight é de interesse dos engenheiros de dados e dos administradores de TI para que eles possam monitorar as seguintes áreas do cluster:
- disponibilidade e integridade do cluster
- Utilização e desempenho de recursos
- Informações e logs de carga de trabalho
Os administradores de TI usarão o monitoramento para exibir a integridade e a disponibilidade do cluster, além de monitorar a segurança do cluster. Os engenheiros de dados estão interessados no seguinte:
- Informações e logs de carga de trabalho
- Observar falhas ou sucessos do trabalho
- Desempenho do cluster
- Exibir cargas de trabalho usando logs
Há duas ferramentas principais que podem ser usadas para monitorar: Apache Ambari e Azure Monitor.
Apache Ambari
Essa ferramenta é usada para monitoramento e gerenciamento de clusters de software livre. Ela fornece um painel com uma série de widgets que permitem exibir a integridade de um cluster do HDInsight de uma perspectiva de hardware no nível do cluster e do nó. O painel pode ser acessado na tela de visão geral do cluster do HDInsight no portal do Azure.
O Apache Ambari é aberto em um navegador da Web que fornece um painel de ferramentas de monitoramento.
Muitas áreas do Apache Ambari são úteis para administradores de TI e engenheiros de dados. O painel inicial é útil para que os administradores de TI monitorem a integridade do cluster em tempo real. Há áreas adicionais, como a tela YARN, que permitem aos engenheiros de dados ver as capacidades de fila, trabalhos e logs associados para monitorar cargas de trabalho no cluster. Além disso, os recursos de alerta permitem identificar componentes com problemas para que você possa ser proativo no suporte do cluster.
Monitoramento
O Azure Monitor é uma ferramenta de monitoramento de todo o Azure que pode ser usada em clusters do HDInsight para monitorar a integridade do serviço. Os aspectos de Azure Monitor são expostos no portal do Azure diretamente:
Alertas
Os alertas são uma ferramenta útil para monitorar proativamente um recurso no Azure e agir com base em uma condição. Um alerta pode ser definido em um determinado recurso, como um cluster do HDInsight, para determinar o limite de uma condição que determinaria se um alerta é disparado. Uma condição pode incluir Dimensionamento automático está habilitado. Essa condição pode ser verdadeira ou falsa. As ações podem variar desde o envio de um email até a reinicialização de um serviço, dependendo de como a condição é definida.
Métricas
As métricas são um componente do Azure Monitor que permitem configurar gráficos visuais específicos para o que você deseja monitorar. O uso de gráficos visuais permite exibir, medir e correlacionar pontos de dados para ajudar a determinar se um serviço está sendo executado a um intervalo aceitável. As métricas do HDInsight incluem solicitações de gateway para ver a carga no cluster e o número de trabalhos ativos, o que permite que você fique atento ao tamanho do cluster do HDInsight
Configurações de Diagnóstico
Essas configurações permitem selecionar um destino (uma conta de armazenamento, um serviço de Hub de Eventos ou uma conta do Log Analytics) para receber dados de diagnóstico sobre o serviço que você habilitou. Os logs são enviados para o destino escolhido, o que permite que você registre a atividade do serviço ao longo do tempo e analise mais tarde. Essas configurações deverão ser definidas somente se você quiser fazer uma análise detalhada do serviço.
Azure Monitor
Há um link direto para o Azure Monitor para que você possa usar os recursos completos fornecidos pelo Azure monitor.
Integridade de recursos
Esse painel é padrão em todos os serviços no Azure e permite que você veja a integridade do serviço HDInsight em um determinado dia. Não há notificações dessa área e você deve investigar isso por conta própria. O Resource Health pode fornecer uma visão geral das informações de integridade.