Guia de migração do Log Analytics para clusters do Azure HDInsight

O Azure HDInsight é um serviço de cluster gerenciado pronto para a empresa. Este serviço executa estruturas de análise de código aberto como Apache Spark, Hadoop, HBase e Kafka no Azure. O Azure HDInsight integrou-se com outros serviços do Azure para permitir que os clientes gerenciem melhor seus aplicativos de análise de big data.

O Log Analytics fornece uma ferramenta no portal do Azure para editar e executar consultas de log. As consultas vêm de dados coletados pelos Logs do Azure Monitor e analisam interativamente seus resultados. Os clientes podem usar consultas do Log Analytics para recuperar registros que correspondam a critérios específicos. Eles também podem usar consultas para identificar tendências, analisar padrões e fornecer informações sobre seus dados.

O Azure HDInsight habilitou a integração com o Log Analytics em 2017. Os clientes do HDInsight adotaram rapidamente esse recurso para monitorar seus clusters HDInsight e consultar os logs nos clusters. Embora a adoção desse recurso tenha aumentado, os clientes forneceram feedback sobre a integração:

• Os clientes não podem decidir quais logs armazenar, e armazenar todos os logs pode se tornar caro.
• Os logs de esquemas atuais do HDInsight não estão seguindo convenções de nomenclatura consistentes e algumas tabelas são repetitivas.
• Os clientes querem um painel pronto para monitorar facilmente o KPI de seus clusters HDInsight.
• Os clientes devem saltar para o Log Analytics para executar consultas simples.

Descrição geral da solução

Considerando os comentários dos clientes, a equipe do Azure HDInsight investiu na integração com o Azure Monitor. Esta integração permite:

• Um novo conjunto de tabelas no espaço de trabalho do Log Analytics dos clientes. As novas tabelas são entregues por meio de um novo pipeline do Log Analytics.
• Maior fiabilidade
• Entrega de logs mais rápida
• Agrupamento de tabelas baseado em recursos e consultas padrão

Nota

A nova integração do Azure Montitor está em Visualização Pública em todas as regiões onde o HDInsight está disponível.

Benefícios da nova integração do Azure Monitor

Este documento descreve as alterações na integração do Azure Monitor e fornece práticas recomendadas para usar as novas tabelas.

Esquemas redesenhados: a formatação do esquema para a nova integração do Azure Monitor é melhor organizada e fácil de entender. Há dois terços menos esquemas para remover o máximo possível de ambiguidade nos esquemas herdados.

Registro seletivo: há logs e métricas disponíveis por meio do Log Analytics. Para ajudá-lo a economizar nos custos de monitoramento, lançaremos um novo recurso de registro seletivo. Use esse recurso para ativar e desativar diferentes logs e fontes de métrica. Com este recurso, você só terá que pagar pelo que usar. Para obter mais detalhes, consulte Log seletivo

Integração do portal do cluster de logs: o painel Logs é novo no portal do cluster HDInsight. Qualquer pessoa com acesso ao cluster pode ir a este painel para consultar qualquer tabela para a qual o recurso de cluster envia registros. Os usuários não precisam mais acessar o espaço de trabalho do Log Analytics para ver os registros de um recurso de cluster específico.

Integração do portal do cluster Insights: o painel Insights também é novo no portal do Cluster HDInsight. Depois de habilitar a nova integração do Azure Monitor, você pode selecionar o painel Insights e um painel de logs e métricas pronto para uso específico para o tipo do cluster será preenchido automaticamente para você. Esses painéis foram renovados de nossas soluções anteriores do Azure. Eles fornecem informações detalhadas sobre o desempenho e a integridade do cluster.

Cenários do cliente

As seções a seguir descrevem como os clientes podem usar a nova integração do Azure Monitor em diferentes cenários. A seção Ativar uma nova integração do Azure Monitor descreve como ativar e usar a nova integração do Azure Monitor. A seção Migrando do Azure Monitor Classic para a nova Integração do Azure Monitor inclui informações adicionais para usuários que dependem da antiga integração do Azure Monitor.

Nota

Apenas clusters criados no final de setembro de 2020 e depois são elegíveis para a nova integração do Azure Monitoring.

Ativar uma nova integração do Azure Monitor

Nota

Você deve ter um espaço de trabalho do Log Analytics criado em uma assinatura à qual tenha acesso antes de habilitar a nova integração. Para obter mais informações sobre como criar um espaço de trabalho do Log Analytics, consulte Criar um espaço de trabalho do Log Analytics no portal do Azure.

Ative a nova integração acessando a página do portal do cluster e rolando o menu à esquerda para baixo até chegar à seção Monitoramento . Na seção Monitoramento, selecione Monitorar integração. Em seguida, selecione Ativar e você pode escolher o espaço de trabalho do Log Analytics para o qual deseja que seus logs sejam enviados. Selecione Salvar depois de escolher seu espaço de trabalho.

Aceda às novas tabelas

Há duas maneiras de acessar as novas tabelas.

Abordagem 1:

A primeira maneira de acessar as novas tabelas é por meio do espaço de trabalho do Log Analytics.

1. Vá para o espaço de trabalho do Log Analytics que você selecionou quando ativou a integração.
2. Role para baixo no menu do lado esquerdo da tela e selecione Logs. Um editor de consultas Logs aparecerá com uma lista de todas as tabelas no espaço de trabalho.
3. Se as tabelas forem agrupadas por Solução, as novas tabelas HDI estarão na seção Gerenciamento de Logs.
4. Se você agrupar as tabelas por Tipo de Recurso, elas estarão na seção Clusters HDInsight, conforme mostrado na imagem abaixo.

Nota

Esse processo descreve como os logs eram acessados na integração antiga. Isso requer que o usuário tenha acesso ao espaço de trabalho.

Abordagem 2:

A segunda maneira de acessar as novas tabelas é por meio do acesso ao portal do Cluster.

1. Navegue até a página do portal do cluster e role o menu do lado esquerdo para baixo até ver a seção Monitoramento . Nesta seção, você verá o painel Logs .
2. Selecione Logs e um editor de consultas Logs será exibido. O editor contém todos os logs associados ao recurso de cluster. Você enviou os logs para o espaço de trabalho do Log Analytics quando ativou a integração. Esses logs fornecem acesso baseado em recursos (RBAC). Com o RBAC, os usuários que têm acesso ao cluster, mas não ao espaço de trabalho, podem ver os logs associados ao cluster.

Para comparação, as capturas de tela a seguir mostram a exibição do espaço de trabalho de integração herdado e o novo modo de exibição do espaço de trabalho de integração:

Visualização do espaço de trabalho de integração herdado

Nova visualização do espaço de trabalho de integração

Utilizar as novas tabelas

Essas integrações podem ajudá-lo a usar as novas tabelas:

Consultas padrão para usar com novas tabelas

No editor de consultas Logs, defina a alternância para Consultas acima da lista de tabelas. Certifique-se de agrupar as consultas por Tipo de Recurso e de que não há nenhum filtro definido para um tipo de recurso diferente dos Clusters HDInsight. A imagem a seguir mostra a aparência dos resultados quando agrupados por Tipo de Recursos e filtrados para Clusters HDInsight. Basta selecionar um e ele aparece no editor de consultas Logs. Certifique-se de ler os comentários incluídos nas consultas, pois alguns exigem que você insira algumas informações, como o nome do cluster, para que a consulta seja executada com êxito.

Crie as suas próprias consultas

Você pode inserir suas próprias consultas no editor de consultas Logs. As consultas usadas nas tabelas antigas não serão válidas nas novas tabelas, pois muitas das novas tabelas têm esquemas novos e refinados. As consultas padrão são ótimas referências para formatar consultas nas novas tabelas.

Informações

Insights são painéis de visualização específicos do cluster feitos usando Pastas de Trabalho do Azure. Esses painéis fornecem gráficos e visualizações detalhados de como o cluster está sendo executado. Os painéis têm seções para cada tipo de cluster, YARN, métricas do sistema e logs de componentes. Você pode acessar o painel do cluster visitando a página do cluster no portal, rolando para baixo até a seção Monitoramento e selecionando o painel Insights . O painel é carregado automaticamente se você tiver ativado a nova integração. Aguarde alguns segundos para que os gráficos sejam carregados enquanto consultam os logs.

Pastas de trabalho personalizadas do Azure

Você pode criar suas próprias pastas de trabalho do Azure com gráficos e visualizações personalizados. Na página do portal do cluster, role para baixo até a seção Monitoramento e selecione o painel Pastas de trabalho no menu à esquerda. Você pode começar a usar um modelo em branco ou usar um dos modelos na seção Clusters HDInsight. Há um modelo para cada tipo de cluster. Os modelos são úteis se você quiser salvar personalizações específicas que o HDInsight Insights padrão não fornece. Sinta-se à vontade para enviar solicitações de novos recursos no HDInsight Insights se sentir que está faltando algo.

Alertas

Você pode adicionar alertas personalizados aos seus clusters e espaços de trabalho no editor de consultas Log. Vá para o editor de consultas Logs selecionando o painel Logs no cluster ou no portal do espaço de trabalho. Execute uma consulta e selecione Nova Regra de Alerta , conforme mostrado na captura de tela a seguir. Para obter mais informações, leia sobre como configurar alertas.

Migrar para a nova Integração do Azure Monitor

Se você estiver usando a integração clássica do Azure Monitor, precisará fazer alguns ajustes nos novos formatos de tabela depois de alternar para a nova integração do Azure Monitor.

Para habilitar a nova integração do Azure Monitor, siga as etapas descritas na seção Ativar uma nova integração do Azure Monitor.

Executar consultas no Log Analytics

Como o novo formato de tabela é diferente do anterior, suas consultas precisam ser reformuladas para que você possa usar nossas novas tabelas. Depois de habilitar a nova integração do Azure Monitor, você pode navegar pelas tabelas e esquemas para identificar os campos usados em suas consultas antigas.

Fornecemos uma tabela de mapeamento entre a tabela antiga para a nova tabela para ajudá-lo a encontrar rapidamente os novos campos que você precisa usar para migrar seus painéis e consultas.

Consultas padrão: criamos consultas padrão que mostram como usar as novas tabelas para situações comuns. As consultas padrão também mostram quais informações estão disponíveis em cada tabela. Você pode acessar as consultas padrão seguindo as instruções na seção Consultas padrão para usar com novas tabelas neste artigo.

Atualizar painéis para clusters HDInsight

Se você criou vários painéis para monitorar seus clusters HDInsight, precisará ajustar a consulta atrás da tabela depois de habilitar a nova integração do Azure Monitor. O nome da tabela ou o nome do campo pode mudar na nova integração, mas todas as informações que você tem na integração antiga estão incluídas.

Consulte a tabela de mapeamento entre a tabela/esquema antigo para a nova tabela/esquema para atualizar a consulta por trás dos painéis.

Painéis prontos para uso

Também melhoramos os painéis prontos para uso no nível do cluster. Há um botão no canto superior direito de cada gráfico que permite ver a consulta subjacente que produz as informações. O gráfico é uma ótima maneira de se familiarizar com a forma como as novas tabelas podem ser consultadas de forma eficaz.

Permitir que ambas as integrações acelerem a migração

Você pode ativar as integrações clássica e nova do Azure Monitor ao mesmo tempo em um cluster qualificado para ambas as integrações para migrar rapidamente para a nova integração do Azure Monitor. A nova integração está disponível para todos os clusters criados após meados de setembro de 2020.

Dessa forma, você pode facilmente fazer uma comparação lado a lado para as consultas que está usando.

Habilitando a integração clássica

Se você estiver usando um cluster criado após meados de setembro de 2020, verá a nova experiência do portal no portal do cluster. Para habilitar o novo pipeline, você pode seguir as etapas descritas na seção Ativar uma nova integração do Azure Monitor. Para ativar a integração clássica neste cluster, vá para a página do portal do cluster. Selecione o painel de integração Monitor na seção Monitoramento do menu no lado esquerdo da página do portal do cluster. Selecione Configurar o Azure Monitor para integração de clusters HDInsight (clássico). Um contexto lateral aparece com uma alternância que você pode usar para habilitar e desabilitar a integração clássica do Monitoramento do Azure.

Nota

Você não verá nenhum log ou métrica da integração clássica por meio da página de logs e insights do portal do cluster. Apenas os novos logs e métricas de integrações estarão presentes nesses locais.

A criação de novos clusters com a integração clássica do Azure Monitor não estará disponível após 1º de janeiro de 2023.

Cronograma de lançamento e suporte

• A integração clássica do Azure Monitoring não estará disponível após 15 de outubro de 2021. Não é possível habilitar a integração clássica do Monitoramento do Azure após essa data.
• As integrações de monitoramento clássicas existentes do Azure continuarão a funcionar. Haverá suporte limitado para a integração clássica do Azure Monitoring.
  • Os problemas serão investigados assim que os clientes enviarem o tíquete de suporte.
  • Se a solução exigir mudança de imagem, os clientes devem mudar para a nova integração.
  • Não corrigiremos os clusters de integração clássicos do Monitoramento do Azure, exceto por problemas críticos de segurança.

Apêndice: Mapeamento de tabelas

Para obter os mapeamentos de tabela de log da integração clássica do Azure Monitor com a nova, consulte Mapeamento de tabela de log.

Conteúdos relacionados

Consultar os registos do Azure Monitor para monitorizar os clusters do HDInsight