Práticas recomendadas para logs do Azure Monitor

  • Artigo

Este artigo fornece práticas recomendadas de arquitetura para logs do Azure Monitor. As diretrizes se baseiam nos cinco pilares de excelência em arquitetura descritos no Azure Well-Architected Framework.

Confiabilidade

Confiabilidade se refere à capacidade de um sistema de se recuperar de falhas e continuar funcionando. Em vez de tentar evitar completamente a falha na nuvem, a meta é minimizar os efeitos de um componente de falha individual. Use as informações a seguir para minimizar a falha dos workspaces do Log Analytics e proteger os dados que eles coletam.

Os Workspaces do Log Analytics oferecem um alto grau de confiabilidade. As condições em que uma perda temporária de acesso ao espaço de trabalho pode resultar em perda de dados são frequentemente mitigadas por recursos como o buffer de dados com o agente do Azure Monitor e mecanismos de proteção integrados ao pipeline de ingestão.

Os recursos de resiliência descritos nesta seção podem fornecer proteção adicional contra a perda de dados e a continuidade dos negócios. Alguns são soluções dentro da região e outros fornecem redundância entre regiões; alguns são aplicados automaticamente e outros exigem disparo manual. A tabela abaixo resume e compara esses recursos.

Algumas funcionalidades de disponibilidade requerem um cluster dedicado, o que atualmente requer um compromisso de pelo menos 100 GB por dia de todos os workspaces vinculados a esse cluster (agregados).

Lista de verificação de projeto

  • Se você coletar dados suficientes para um cluster dedicado, crie um cluster dedicado em uma zona de disponibilidade.
  • Se você precisar que o workspace esteja disponível no caso de uma falha de região ou não coletar dados suficientes para um cluster dedicado, configure a coleta de dados para enviar dados críticos para vários workspaces em regiões diferentes.
  • Se você precisar que os dados sejam protegidos no caso de falha de datacenter ou região, configure a exportação de dados do workspace para salvar dados em um local alternativo.
  • Para cargas de trabalho críticas que exigem alta disponibilidade, considere implementar um modelo de workspace federado.
  • Monitorar a integridade de workspaces do Log Analytics.

Recomendações de configuração

Recomendação Benefício
Se você coletar dados suficientes, crie um cluster dedicado em uma região que dê suporte a zonas de disponibilidade. Os workspaces vinculados a um cluster dedicado localizado em uma região que dá suporte a zonas de disponibilidade permanecerão disponíveis se um datacenter falhar.

Um cluster dedicado requer um compromisso de pelo menos 100 GB por dia de todos os workspaces na mesma região. Se você não coletar tantos dados, então precisará considerar o custo desse compromisso com os recursos de confiabilidade que ele fornece.
Se for necessário que os dados no seu espaço de trabalho estejam disponíveis em caso de falha de uma região, envie dados críticos para vários espaços de trabalho em diferentes regiões. Envie dados para vários workspaces em diferentes regiões. Por exemplo, configure DCRs para enviar dados para vários espaços de trabalho do Agente do Azure Monitor em execução em máquinas virtuais e defina as configurações de vários diagnósticos para coletar logs de recursos dos recursos do Azure para vários espaços de trabalho.

Mesmo que os dados estejam disponíveis no espaço de trabalho alternativo em caso de falha, os recursos que dependem dos dados, como alertas e pastas de trabalho, não saberão usar o espaço de trabalho alternativo. Considere armazenar modelos do ARM para recursos críticos com configuração para o workspace alternativo no Azure DevOps ou como políticas desabilitadas que podem ser habilitadas rapidamente em um cenário de failover.

Compensação: essa configuração resulta em encargos duplicados de ingestão e retenção, portanto, use-o apenas para dados essenciais.
Para cargas de trabalho críticas que exigem alta disponibilidade, considere implementar um modelo de workspace federado que usa vários workspaces para fornecer alta disponibilidade no caso de falha regional. Crítico fornece diretrizes prescritivas de melhor prática para arquitetar aplicativos altamente confiáveis no Azure. A metodologia do design inclui um modelo de workspace federado com vários workspaces do Log Analytics para fornecer alta disponibilidade no caso de várias falhas, incluindo a falha de uma região do Azure.

Essa estratégia elimina os custos de saída entre regiões e permanece operacional com uma falha na região, mas requer complexidade adicional que você deve gerenciar com a configuração e os processos descritos em Modelagem de integridade e observabilidade de cargas de trabalho críticas no Azure.
Se você precisar que os dados sejam protegidos no caso de falha de datacenter ou região, configure a exportação de dados do workspace para salvar dados em um local alternativo. O recurso de exportação de dados do Azure Monitor permite exportar continuamente os dados enviados para tabelas específicas para o armazenamento do Azure, onde eles podem ser retidos por longos períodos. Use as opções de redundância do Armazenamento do Microsoft Azure, incluindo GRS e GZRS, para replicar esses dados em outras regiões. Se for necessária a exportação de tabelas que não têm suporte para exportação de dados, você poderá usar outros métodos de exportação de dados, incluindo aplicativos lógicos, para proteger seus dados. Essa é principalmente uma solução para atender à conformidade de retenção de dados, uma vez que os dados podem ser difíceis de analisar e restaurar no espaço de trabalho.

Essa opção é de modo semelhante à opção anterior de multicast de dados para diferentes espaços de trabalho, mas tem um custo menor porque os dados extras são gravados no armazenamento.

A exportação de dados é suscetível a incidentes regionais porque depende da estabilidade do pipeline de ingestão de dados do Azure Monitor na sua região. Ela não fornece resiliência contra incidentes que afetam o pipeline de ingestão regional.
Monitorar a integridade de workspaces do Log Analytics. Use os insights do workspace do Log Analytics para acompanhar consultas com falha e criar um alerta de status da integridade para notificar proativamente se um workspace ficar indisponível devido a uma falha regional ou de datacenter.

Compare os recursos e as funcionalidades de resiliência

Recurso Resiliência do serviço Backup de dados Alta disponibilidade Escopo da proteção Instalação Cost
Zonas de disponibilidade ✅
Nas regiões com suporte		 ✅ ✅ Na região Habilitado automaticamente em clusters dedicados em regiões com suporte. Sem custo
Exportação contínua de dados ✅ Proteção contra falhas regionais 1 Habilitar por tabela. Custo da exportação de dados + Blobs de armazenamento ou Hubs de Eventos
Ingestão dupla ✅ ✅ ✅ Proteção contra falhas regionais Habilitado por recurso monitorado. Até duas vezes o custo de retenção (dependendo da quantidade de dados que você ingere duplamente) + cobranças de saída.

1 A exportação de dados fornece proteção entre regiões se você exportar logs para uma região diferente. No caso de um incidente, os dados exportados anteriormente são apoiados e estão prontamente disponíveis; entretanto, a exportação adicional pode falhar, dependendo da natureza do incidente.

Segurança

A Segurança é um dos aspectos mais importantes de qualquer arquitetura. O Azure Monitor fornece recursos para empregar os princípios de privilégios mínimos e defesa em profundidade. Use as informações a seguir para maximizar a segurança dos workspaces do Log Analytics e garantir que apenas usuários autorizados acessem os dados coletados.

Lista de verificação de projeto

  • Determine se você deve combinar seus dados operacionais e seus dados de segurança no mesmo workspace do Log Analytics.
  • Configure o acesso para diferentes tipos de dados no workspace necessários para diferentes funções em sua organização.
  • Considere usar o link privado do Azure para remover o acesso ao seu workspace de redes públicas.
  • Use chaves gerenciadas pelo cliente se precisar de sua própria chave de criptografia para proteger dados e consultas salvas em seus workspaces.
  • Exportar dados de auditoria para retenção ou imutabilidade de longo prazo.
  • Configure a auditoria de consulta de log para acompanhar quais usuários estão executando consultas.
  • Determine uma estratégia para filtrar ou ofuscar dados confidenciais em seu workspace.
  • Limpe dados confidenciais que foram coletados acidentalmente.
  • Habilite o Sistema de Proteção de Dados do Cliente para o Microsoft Azure para aprovar ou rejeitar solicitações de acesso a dados da Microsoft.

Recomendações de configuração

Recomendação Benefício
Determine se você deve combinar seus dados operacionais e seus dados de segurança no mesmo workspace do Log Analytics. Sua decisão de combinar esses dados depende dos seus requisitos de segurança específicos. Combiná-los em um único workspace oferece melhor visibilidade em todos os seus dados, embora sua equipe de segurança possa exigir um workspace dedicado. Consulte Criar uma estratégia de workspace do Log Analytics para obter detalhes sobre como tomar essa decisão para seu ambiente, equilibrando-a com critérios em outros pilares.

Compensação: há possíveis implicações de custo para habilitar o Sentinel em seu workspace. Confira os detalhes em Criar uma arquitetura do workspace do Log Analytics.
Configure o acesso para diferentes tipos de dados no workspace necessários para diferentes funções em sua organização. Defina o modo de controle de acesso para o workspace como Usar permissões de recurso ou workspace para permitir que os proprietários de recursos usem o contexto de recurso para acessar seus dados sem ter acesso explícito ao workspace. Isso simplifica a configuração do workspace e ajuda a garantir que os usuários não possam acessar os dados que não deveriam.

Atribua a função interna apropriada para conceder permissões de workspace aos administradores no nível da assinatura, do grupo de recursos ou do workspace, dependendo do escopo das responsabilidades.

Aproveite o RBAC de nível de tabela para usuários que exigem acesso a um conjunto de tabelas em vários recursos. Os usuários com permissões de tabela têm acesso a todos os dados na tabela, independentemente de suas permissões de recurso.

Consulte Gerenciar o acesso aos workspaces do Log Analytics para obter detalhes sobre as diferentes opções para conceder acesso aos dados no workspace.
Considere usar o link privado do Azure para remover o acesso ao seu workspace de redes públicas. As conexões com pontos de extremidade públicos são protegidas com criptografia de ponta a ponta. Se você precisar de um ponto de extremidade privado, poderá usar o link privado do Azure para permitir que os recursos se conectem ao workspace do Log Analytics por meio de redes privadas autorizadas. O link privado também pode ser usado para forçar a ingestão de dados do workspace por meio do ExpressRoute ou de uma VPN. Consulte Projetar sua configuração de Link Privado do Azure para determinar a melhor rede e topologia DNS para seu ambiente.
Use chaves gerenciadas pelo cliente se precisar de sua própria chave de criptografia para proteger dados e consultas salvas em seus workspaces. O Azure Monitor garante que todos os dados e consultas salvos sejam criptografados em repouso com as chaves gerenciadas pela Microsoft (MMK). Se você precisar de sua própria chave de criptografia e coletar dados suficientes para um cluster dedicado, use a chave gerenciada pelo cliente para maior flexibilidade e controle do ciclo de vida da chave. Se você usar o Microsoft Sentinel, verifique se está familiarizado com as considerações em Configurar a chave gerenciada pelo cliente do Microsoft Sentinel.
Exportar dados de auditoria para retenção ou imutabilidade de longo prazo. Você pode ter coletado dados de auditoria em seu workspace que estão sujeitos a regulamentos que exigem sua retenção de longo prazo. Os dados em um workspace do Log Analytics não podem ser alterados, mas podem ser limpos. Use a exportação de dados para enviar dados para uma conta de armazenamento do Azure com políticas de imutabilidade para proteger contra violação de dados. Nem todos os tipos de logs têm a mesma relevância para conformidade, auditoria ou segurança, portanto, determine os tipos de dados específicos que devem ser exportados.
Configure a auditoria de consulta de log para acompanhar quais usuários estão executando consultas. A auditoria de consulta de log registra os detalhes de cada consulta executada em um workspace. Trate esses dados de auditoria como dados de segurança e proteja a tabela LAQueryLogs adequadamente. Configure os logs de auditoria para cada workspace a ser enviado para o workspace local ou consolide em um workspace de segurança dedicado se você separar seus dados operacionais e de segurança. Use os insights do workspace do Log Analytics para examinar periodicamente esses dados, e considere a criação de regras de alerta de pesquisa de log para ser notificado proativamente se usuários não autorizados estiverem tentando executar consultas.
Determine uma estratégia para filtrar ou ofuscar dados confidenciais em seu workspace. Você pode estar coletando dados que incluem informações confidenciais. Filtre registros que não devem ser coletados usando a configuração da fonte de dados específica. Use uma transformação se apenas colunas específicas nos dados devem ser removidas ou ofuscadas.

Se você tiver padrões que exijam que os dados originais não sejam modificados, poderá usar o literal 'h' em consultas KQL para ofuscar os resultados da consulta exibidos nas pastas de trabalho.
Limpe dados confidenciais que foram coletados acidentalmente. Verifique periodicamente se há dados privados que podem ter sido coletados acidentalmente em seu workspace e use a limpeza de dados para removê-los.
Habilite o Sistema de Proteção de Dados do Cliente para o Microsoft Azure para aprovar ou rejeitar solicitações de acesso a dados da Microsoft. O Sistema de Proteção de Dados do Cliente para Microsoft Azure fornece uma interface para examinar e aprovar ou rejeitar solicitações de acesso a dados do cliente. Ele é usado nos casos em que um engenheiro da Microsoft precisa acessar dados do cliente, seja em resposta a um tíquete de suporte iniciado pelo cliente ou a um problema identificado pela Microsoft. Para habilitar o Sistema de Proteção de Dados do Cliente, você precisa de um cluster dedicado.

Otimização de custo

A Otimização de custos se refere a maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Você pode reduzir consideravelmente seus custos com o Azure Monitor compreendendo as diferentes opções de configuração e oportunidades a fim de reduzir o volume de dados coletados. Confira Custos e uso do Azure Monitor para entender as diferentes maneiras de cobrança do Azure Monitor e como ver sua fatura mensal.

Observação

Confira Otimizar custos no Azure Monitor para obter recomendações de otimização de custos em todos os recursos do Azure Monitor.

Lista de verificação de projeto

  • Determine se você deve combinar seus dados operacionais e seus dados de segurança no mesmo workspace do Log Analytics.
  • Configure o tipo de preço para a quantidade de dados que cada workspace do Log Analytics normalmente coleta.
  • Configure a retenção e o arquivamento de dados.
  • Configure as tabelas usadas para depuração, solução de problemas e auditoria como Logs Básicos.
  • Limite a coleta de dados de fontes de dados para o workspace.
  • Analise regularmente os dados coletados para identificar tendências e anomalias.
  • Criar um alerta para quando a coleta de dados for alta.
  • Considere um limite diário como uma medida preventiva para garantir que você não exceda um orçamento especificado.
  • Configure alertas nas recomendações de custo do Assistente do Azure para workspaces do Log Analytics.

Recomendações de configuração

Recomendação Benefício
Determine se você deve combinar seus dados operacionais e seus dados de segurança no mesmo workspace do Log Analytics. Como todos os dados em um workspace do Log Analytics estão sujeitos a preços do Microsoft Sentinel se o Sentinel estiver habilitado, pode haver implicações de custo para combinar esses dados. Consulte Criar uma estratégia de workspace do Log Analytics para obter detalhes sobre como tomar essa decisão para seu ambiente, equilibrando-a com critérios em outros pilares.
Configure o tipo de preço para a quantidade de dados que cada workspace do Log Analytics normalmente coleta. Por padrão, os workspaces do Log Analytics usam o preço de pagamento conforme o uso sem um volume mínimo de dados. Se você coletar dados suficientes, poderá diminuir consideravelmente seus custos usando uma camada de compromisso, o que permite que você se comprometa com um mínimo diário de dados coletados em troca de uma taxa mais baixa. Se você coletar dados suficientes entre workspaces em uma única região, poderá vinculá-los a um cluster dedicado e combinar o volume coletado usando os preços do cluster.

Confira Opções e cálculos de custo dos logs do Azure Monitor para obter detalhes sobre os níveis de compromisso e diretrizes sobre como determinar qual é o mais apropriado para seu nível de uso. Confira Uso e custos estimados para visualizar os custos estimados para seu uso em diferentes níveis de preços.
Configure a retenção e o arquivamento de dados. Há uma cobrança por reter dados em um workspace do Log Analytics além do padrão de 31 dias (90 dias se o Sentinel estiver habilitado no workspace e 90 dias para dados do Application Insights). Considere seus requisitos específicos para ter dados prontamente disponíveis para consultas de log. Você pode reduzir significativamente o custo configurando Logs Arquivados, o que permite reter dados por até sete anos e ainda acessá-los ocasionalmente usando trabalhos de pesquisa ou restaurando um conjunto de dados para o workspace.
Configure as tabelas usadas para depuração, solução de problemas e auditoria como Logs Básicos. As tabelas em um workspace do Log Analytics configurado para Logs Básicos têm um custo de ingestão menor em troca de recursos limitados e uma cobrança pelas consultas de log. Se você consulta essas tabelas com pouca frequência e não as usa para alertas, esse custo de consulta pode ser mais do que compensado pelo custo reduzido de ingestão.
Limite a coleta de dados de fontes de dados para o workspace. O principal fator para o custo do Azure Monitor é a quantidade de dados coletados em seu workspace do Log Analytics, portanto, você deve garantir que não colete mais dados necessários para avaliar a integridade e o desempenho de seus serviços e aplicativos. Consulte Criar uma arquitetura de workspace do Log Analytics para obter detalhes sobre como tomar essa decisão para seu ambiente, equilibrando-a com critérios em outros pilares.

Compensação: pode haver uma compensação entre o custo e seus requisitos de monitoramento. Por exemplo, você pode conseguir detectar um problema de desempenho mais rapidamente com uma alta taxa de amostra, mas talvez você queira uma taxa de amostra mais baixa para economizar custos. A maioria dos ambientes tem várias fontes de dados com diferentes tipos de coleção, portanto, você precisa equilibrar seus requisitos específicos com seus destinos de custo para cada um. Consulte a Otimização de custo no Azure Monitor para obter recomendações sobre como configurar a coleta para diferentes fontes de dados.
Analise regularmente os dados coletados para identificar tendências e anomalias. Use os insights do workspace do Log Analytics para examinar periodicamente a quantidade de dados coletados em seu workspace. Além de ajudar você a entender a quantidade de dados coletados por diferentes fontes, ele identificará anomalias e tendências ascendentes na coleta de dados que podem resultar em custo excessivo. Analise mais a coleta de dados usando os métodos descritos em Analisar o uso no workspace do Log Analytics para determinar se há outras configurações que podem diminuir ainda mais o uso. Isso é particularmente importante ao adicionar um novo conjunto de fontes de dados, como um novo conjunto de máquinas virtuais, ou integrar um novo serviço.
Criar um alerta para quando a coleta de dados for alta. Para evitar cobranças inesperadas, você deve receber notificações proativas sempre que ocorrer uso excessivo. Isso permite resolver quaisquer anomalias em potencial antes do final do período de cobrança.
Considere um limite diário como uma medida preventiva para garantir que você não exceda um orçamento especificado. Um limite diário desabilita a coleta de dados em um workspace do Log Analytics pelo resto do dia quando o limite configurado é atingido. Isso não deve ser usado como um método para reduzir os custos, conforme descrito em Quando usar um limite diário.

Se você definir um limite diário, além de criar um alerta quando o limite for atingido, certifique-se de também criar uma regra de alerta para receber notificação quando algum percentual for atingido (90% por exemplo). Isso oferece a oportunidade de investigar e abordar a causa dos dados aumentados antes que o limite desligue a coleta de dados.
Configure alertas nas recomendações de custo do Assistente do Azure para workspaces do Log Analytics. As recomendações do Assistente do Azure para workspaces do Log Analytics alertam você proativamente quando há uma oportunidade de otimizar seus custos. Crie alertas do Assistente do Azure para essas recomendações de custo:
  • Considere configurar o plano de logs básicos econômicos em tabelas selecionadas – identificamos a ingestão de mais de 1 GB por mês para tabelas qualificadas para o plano de dados de log Básico de baixo custo. O plano de logs Básico oferece recursos de pesquisa para depuração e solução de problemas a um custo mais baixo.
  • Considere alterar o tipo de preço– Com base no volume de uso atual, investigue a alteração da camada de preços (Compromisso) para receber um desconto e reduzir os custos.
  • Considere remover tabelas restauradas não utilizados – você tem uma ou mais tabelas com dados restaurados ativos em seu workspace. Se você não estiver mais usando dados restaurados, exclua a tabela para evitar cobranças desnecessárias.
  • Anomalia de ingestão de dados detectada – identificamos uma taxa de ingestão muito maior na última semana, com base na ingestão nas três semanas anteriores. Anote essa alteração e a alteração esperada em seus custos.
Você também pode exibir a recomendação gerada automaticamente selecionando Visão geral>Recomendações ou Recomendações do Assistente no menu de recursos do espaço de trabalho do Log Analytics.

Excelência operacional

A Excelência operacional se refere aos processos de operações necessários para manter um serviço em execução confiável na produção. Use as informações a seguir para minimizar os requisitos operacionais de suporte a workspaces do Log Analytics.

Lista de verificação de projeto

  • Crie uma arquitetura de workspace com o número mínimo de workspaces para atender aos seus requisitos de negócios.
  • Use IaC (Infraestrutura como Código) ao gerenciar vários workspaces.
  • Use os insights do workspace do Log Analytics para acompanhar a integridade e o desempenho dos workspaces do Log Analytics.
  • Crie regras de alerta para ser notificado proativamente sobre problemas operacionais no workspace.
  • Verifique se você tem um processo operacional bem definido para a segregação de dados.

Recomendações de configuração

Recomendação Benefício
Crie uma estratégia de workspace para atender aos requisitos do seu negócio. Consulte Criar uma arquitetura do workspace do Log Analytics para obter diretrizes sobre como criar uma estratégia para seus workspaces do Log Analytics, incluindo quantos criar e onde colocá-los.

Um único ou pelo menos um número mínimo de workspaces maximizará sua eficiência operacional, pois ele limita a distribuição dos seus dados operacionais e de segurança, aumentando sua visibilidade sobre possíveis problemas, facilitando a identificação de padrões e minimizando seus requisitos de manutenção.

Você pode ter requisitos para vários workspaces, como vários locatários, ou talvez precise de workspaces em várias regiões para dar suporte aos seus requisitos de disponibilidade. Nesses casos, verifique se você tem os processos apropriados para gerenciar essa complexidade aumentada.
Use IaC (Infraestrutura como Código) ao gerenciar vários workspaces. Use a IaC (Infraestrutura como Código) para definir os detalhes de seus workspaces no ARM, BICEPou Terraform. Isso permite que você aproveite seus processos do DevOps existentes para implantar novos workspaces e do Azure Policy para impor sua configuração.
Use os insights do workspace do Log Analytics para acompanhar a integridade e o desempenho dos workspaces do Log Analytics. O Insights do Workspace do Log Analytics fornece uma exibição unificada do uso, do desempenho, da integridade, do agente, das consultas e do log de alteração de todos os workspaces. Examine essas informações regularmente para acompanhar a integridade e a operação de cada um de seus workspaces.
Crie regras de alerta para ser notificado proativamente sobre problemas operacionais no workspace. Cada workspace tem uma tabela de operações que registra atividades importantes que afetam o workspace. Crie regras de alerta com base nessa tabela para serem notificadas proativamente quando ocorrer um problema operacional. Você pode usar alertas recomendados para o workspace para simplificar a criação das regras de alerta mais críticas.
Verifique se você tem um processo operacional bem definido para a segregação de dados. Você pode ter requisitos diferentes para diferentes tipos de dados armazenados em seu workspace. Certifique-se de entender claramente esses requisitos, como retenção e segurança de dados ao criar sua estratégia de workspace e definir configurações como permissões e arquivamento. Você também deve ter um processo claramente definido para ocasionalmente limpar dados com informações pessoais coletadas acidentalmente.

Eficiência de desempenho

A eficiência do desempenho é a capacidade de dimensionar a carga de trabalho para atender às demandas exigidas pelos usuários de maneira eficiente. Use as informações a seguir para garantir que os workspaces do Log Analytics e as consultas de log estejam configurados para o desempenho máximo.

Lista de verificação de projeto

  • Configure a auditoria de consulta de log e use os insights do workspace do Log Analytics para identificar consultas lentas e ineficientes.

Recomendações de configuração

Recomendação Benefício
Configure a auditoria de consulta de log e use os insights do workspace do Log Analytics para identificar consultas lentas e ineficientes. A auditoria de consulta de log armazena o tempo de computação necessário para executar cada consulta e o tempo até que os resultados sejam retornados. Os insights do workspace do Log Analytics usam esses dados para listar consultas potencialmente ineficientes em seu workspace. Considere reescrever essas consultas para melhorar seu desempenho. Consulte Otimizar consultas de log no Azure Monitor para obter diretrizes sobre como otimizar suas consultas de log.

Próxima etapa