Monitorar o Armazenamento de Blobs do Azure
Este artigo descreve:
- Os tipos de dados de monitoramento que você pode coletar para esse serviço.
- Maneiras de analisar esses dados.
Observação
Se já estiver familiarizado com esse serviço e/ou com o Azure Monitor e apenas quiser saber como analisar os dados de monitoramento, confira a seção Analisar ao final deste artigo.
Quando seus aplicativos e processos de negócios críticos dependem de recursos do Azure, você precisa monitorar e receber alertas para o seu sistema. O serviço do Azure Monitor coleta e agrega métricas e logs de cada componente do seu sistema. O Azure Monitor lhe fornece uma exibição da disponibilidade, desempenho e resiliência e notifica você em caso de problemas. Você pode usar o portal do Azure, o PowerShell, a CLI do Azure, a API REST ou as bibliotecas de cliente para configurar e exibir dados de monitoramento.
- Para obter mais informações sobre o Azure Monitor, confira a Visão geral do Azure Monitor.
- Para obter mais informações sobre como monitorar os recursos do Azure de modo geral, confira Monitorar recursos do Azure com o Azure Monitor.
Importante
As métricas e os logs do Azure Monitor oferecem suporte apenas às contas de armazenamento do Azure Resource Manager. O Azure Monitor não tem suporte a contas de armazenamento clássicas. Se você quiser usar as métricas ou os logs nas contas de armazenamento clássicas, precisará migrar para a conta de armazenamento do Azure Resource Manager. Para saber mais, confira Migrar para o Azure Resource Manager.
Insights
Alguns serviços no Azure têm um painel de monitoramento integrado no portal do Azure que fornece um ponto de partida para monitorar seu serviço. Esses painéis são chamados de insights e você pode encontrá-los no Hub de Insights do Azure Monitor no portal do Azure.
Os insights do Armazenamento do Microsoft Azure oferecem uma exibição unificada do desempenho, capacidade e disponibilidade de armazenamento. Confira Monitorar o armazenamento com os insights do Armazenamento do Azure Monitor.
Tipos de recurso
O Azure usa o conceito de tipos de recursos e IDs para identificar tudo em uma assinatura. O Azure Monitor organiza os principais dados de monitoramento de maneira similar em métricas e logs com base em tipos de recursos, também chamados de namespaces. Métricas e logs diferentes estão disponíveis para diferentes tipos de recursos. Seu serviço pode estar associado a mais de um tipo de recurso.
Os tipos de recurso também fazem parte das IDs de recursos para cada recurso em execução no Azure. Por exemplo, um tipo de recurso para uma máquina virtual é Microsoft.Compute/virtualMachines
. Para obter uma lista de serviços e os tipos de recursos associados a eles, confira Provedores de recursos.
Armazenamento de dados
Para o Azure Monitor:
- Os dados de métricas são armazenados no banco de dados de métricas do Azure Monitor.
- Os dados de log são armazenados no repositório de logs do Azure Monitor. O Log Analytics é uma ferramenta no portal do Azure que pode consultar esse repositório.
- O log de atividades do Azure é um repositório separado com uma interface própria no portal do Azure.
Opcionalmente, você pode rotear dados de log de métricas e atividades para o armazenamento de logs do Azure Monitor. Em seguida, você pode usar o Log Analytics para consultar os dados e correlacioná-los com outros dados de log.
Muitos serviços podem usar configurações de diagnóstico para enviar dados de métricas e logs para outros locais de armazenamento fora do Azure Monitor. Os exemplos incluem o Armazenamento do Azure, sistemas de parceiros hospedados e sistemas de parceiros não Azure, usando Hubs de Eventos.
Para obter informações detalhadas sobre como o Azure Monitor armazena dados, confira Plataforma de dados do Azure Monitor.
Métricas de plataforma do Azure Monitor
O Azure Monitor fornece métricas de plataforma para a maioria dos serviços. Essas métricas são:
- Definidas individualmente para cada namespace.
- Armazenadas no banco de dados de métricas da série temporal do Azure Monitor.
- Leves e capazes de dar suporte a alertas quase em tempo real.
- Usadas para acompanhar o desempenho de um recurso ao longo do tempo.
Coleta: O Azure Monitor coleta as métricas da plataforma automaticamente. Nenhuma configuração é necessária.
Roteamento: Você também pode rotear métricas de plataforma para o Azure Monitor Logs/Log Analytics para que possa consultá-las com outros dados de log. Para obter mais informações, confira a Configuração de diagnóstico de métricas. Para saber como definir as configurações de diagnóstico para um serviço, confira Criar configurações de diagnóstico no Azure Monitor.
Para obter uma lista de todas as métricas que é possível coletar para todos os recursos no Azure Monitor, confira Métricas com suporte no Azure Monitor.
Para obter uma lista das métricas disponíveis para o Armazenamento de Blobs do Azure, confira Referência de dados de monitoramento do Armazenamento de Blobs do Azure.
Logs de recursos do Azure Monitor
Os logs de recursos fornecem insights sobre as operações que foram executadas por um recurso do Azure. Os logs são gerados automaticamente, mas você precisa encaminhá-los para os logs do Azure Monitor para serem salvos ou consultados. Os logs são organizados em categorias. Um determinado namespace pode ter várias categorias de logs de recursos.
Coleta: Os logs de recursos não serão coletados nem armazenados enquanto você não criar uma configuração de diagnóstico e encaminhar os logs para um ou mais locais. Ao criar uma configuração de diagnóstico, você especifica quais categorias de logs coletar. Há várias maneiras de criar e manter configurações de diagnóstico, incluindo o portal do Azure, programaticamente e por meio do Azure Policy.
Encaminhamento: O padrão sugerido é encaminhar os logs de recursos para os logs do Azure Monitor para que você possa consultá-los com outros dados de logs. Também estão disponíveis outros locais, como o Armazenamento do Microsoft Azure, os Hubs de Eventos do Azure e determinados parceiros de monitoramento da Microsoft. Para obter mais informações, confira Logs de recursos do Azure e Destinos de logs de recursos.
Para obter informações detalhadas sobre como coletar, armazenar e encaminhar logs de recursos, confira Configurações de diagnóstico no Azure Monitor.
Para obter uma lista de todas as categorias de logs de recursos disponíveis no Azure Monitor, confira Logs de recursos com suporte no Azure Monitor.
Todos os logs de recursos no Azure Monitor têm os mesmos campos de cabeçalho, seguidos de campos específicos do serviço. O esquema comum está descrito em Esquema do log de recursos do Azure Monitor.
Para as categorias de log de recursos disponíveis, suas tabelas associadas do Log Analytics e os esquemas de logs do Armazenamento de Blobs do Azure, confira Referência de dados de monitoramento do Armazenamento de Blobs do Azure.
Observação
O Data Lake Storage Gen2 não aparece como um tipo de armazenamento porque o Data Lake Storage Gen2 é um conjunto de recursos disponíveis para o Armazenamento de Blobs.
Limitações de destino
Para obter limitações gerais de destino, consulte Limitações de destino. As limitações a seguir se aplicam apenas ao monitoramento de contas do Armazenamento do Microsoft Azure.
Você não pode enviar logs à mesma conta de armazenamento que está monitorando com essa configuração. Isso geraria logs recursivos em que uma entrada de log descreve a gravação de outra entrada de log. Você precisa criar uma conta ou usar outra conta existente para armazenar informações de log.
Você não pode definir uma política de retenção.
Se você arquivar logs em uma conta de armazenamento, poderá gerenciar a política de retenção de um contêiner de log definindo uma política de gerenciamento de ciclo de vida. Para saber como, consulte Otimizar os custos automatizando as camadas de acesso do Armazenamento de Blob do Azure.
Se você enviar logs para o Log Analytics, poderá gerenciar o período de retenção de dados do Log Analytics no nível do workspace ou até mesmo especificar diferentes configurações de retenção por tipo de dados. Para saber como, consulte Alterar o período de retenção de dados.
Log de atividades do Azure
O log de atividades contém eventos de nível de assinatura que acompanham as operações de cada recurso do Azure, conforme visto fora desse recurso, por exemplo, criar um recurso ou iniciar uma máquina virtual.
Coleta: Os eventos do log de Atividades são gerados e coletados automaticamente em um repositório separado para serem vistos no portal do Azure.
Roteamento: você pode enviar dados de log de atividades para os logs do Azure Monitor para analisá-los junto com outros dados de log. Também estão disponíveis outros locais, como o Armazenamento do Microsoft Azure, os Hubs de Eventos do Azure e determinados parceiros de monitoramento da Microsoft. Para obter mais informações sobre como encaminhar o log de atividades, confira Visão geral do log de atividades do Azure.
Analisar dados de monitoramento
Existem várias ferramentas para analisar os dados de monitoramento.
Ferramentas do Azure Monitor
O Azure Monitor dá suporte às seguintes ferramentas básicas:
Explorador de Métricas, uma ferramenta no portal do Azure que permite que você veja e analise as métricas de recursos do Azure. Para obter mais informações sobre essa ferramenta, consulte Analisar métricas com o explorador de métricas do Azure Monitor.
Log Analytics, uma ferramenta no portal do Azure que permite consultar e analisar dados de log usando o KQL (Linguagem de Consulta Kusto). Para obter mais informações, consulte Introdução às consultas de log no Azure Monitor.
O log de atividades, que tem uma interface do usuário no portal do Azure para exibição e pesquisas básicas. Para fazer uma análise mais detalhada, você precisa encaminhar os dados para os logs do Azure Monitor e executar consultas mais complexas no Log Analytics.
As ferramentas que permitem uma visualização mais complexa incluem:
- Painéis, que permitem que você combine diferentes tipos de dados em um único painel no portal do Azure.
- Pastas de Trabalho, relatórios personalizáveis que você pode criar no portal do Azure. As pastas de trabalho podem incluir texto, métricas e consultas de log.
- Grafana, uma ferramenta de plataforma aberta que oferece excelência em termos de painéis operacionais. Você pode usar o Grafana para criar painéis que incluem dados de várias fontes além do Azure Monitor.
- Power BI, um serviço de análises corporativas que fornece visualizações interativas nas diversas fontes de dados. Você pode configurar o Power BI para importar dados de log automaticamente do Azure Monitor a fim de aproveitar essas visualizações.
Ferramentas de exportação do Azure Monitor
Você pode obter dados do Azure Monitor em outras ferramentas usando os seguintes métodos:
Métricas: Use a API REST para métricas para extrair dados de métricas do banco de dados de métricas do Azure Monitor. A API dá suporte a expressões de filtros para refinar os dados recuperados. Para obter mais informações, confira Referência da API REST do Azure Monitor.
Logs: Use a API REST ou as bibliotecas de cliente associadas.
Outra opção é a exportação de dados do workspace.
Para começar a usar a API REST para o Azure Monitor, confira Passo a passo da API REST de monitoramento do Azure.
Analisar métricas para o Armazenamento de Blobs do Azure
Métricas para o Armazenamento de Blobs do Azure estão localizadas nestes namespaces:
- Microsoft.Storage/storageAccounts
- Microsoft.Storage/storageAccounts/blobServices
Para ver uma lista completa das dimensões compatíveis com o Armazenamento do Microsoft Azure, consulte Dimensões de métricas.
Você pode analisar métricas para o Armazenamento do Microsoft Azure com métricas de outros serviços do Azure usando o Metrics Explorer. Para abrir o Metrics Explorer, selecione Métricas no menu Azure Monitor. Para obter detalhes, confira Análise de métricas com o explorador de métricas do Azure Monitor.
Este exemplo mostra como exibir Transações no nível da conta.
Para métricas com suporte para dimensões, você pode filtrar a métrica com valor da dimensão desejado. Este exemplo mostra como exibir transações no nível de conta em uma operação específica, selecionando valores para a dimensão Nome da API.
Analisar logs para o Armazenamento de Blobs do Azure
Você pode acessar logs de recursos como um blob em uma conta de armazenamento, como dados de evento ou por meio de consultas do Log Analytics. Para obter informações sobre como localizar esses logs, consulte os Logs de recursos do Azure.
Para obter a lista de operações de SMB e REST registradas, consulte Operações registradas de armazenamento e mensagens de status.
As entradas de log são criadas somente se há solicitações feitas no ponto de extremidade de serviço. Por exemplo, se uma conta de armazenamento tiver atividades no ponto de extremidade de arquivo, mas não em nos pontos de extremidade de tabela ou fila, somente os logs pertencentes ao serviço de Armazenamento de Blobs do Azure serão criados. Os logs do Armazenamento do Microsoft Azure contêm informações detalhadas sobre solicitações bem-sucedidas e com falha para um serviço de armazenamento. Essas informações podem ser usadas para monitorar solicitações individuais e diagnosticar problemas com um serviço de armazenamento. As solicitações são registradas em uma base de melhor esforço.
Quando você exibe uma conta de armazenamento no portal do Azure, as operações chamadas pelo portal também são registradas. Por esse motivo, você pode ver operações registradas em uma conta de armazenamento mesmo que não tenha gravado dados na conta.
Registrar em log solicitações autenticadas
Os seguintes tipos de solicitações autenticadas são registrados:
- Solicitações bem-sucedidas
- Solicitações com falha, incluindo tempo limite, limitação, rede, autorização e outros erros
- Solicitações que usam uma SAS (Assinatura de Acesso Compartilhado) ou OAuth, incluindo solicitações bem-sucedidas e com falha
- Solicitações para dados de análise (dados de log clássicos no contêiner $logs e dados de métrica clássicos nas tabelas $metric)
As solicitações feitas pelo próprio serviço de armazenamento de Blobs, como criação ou exclusão de log, não são registradas em log. Para uma lista completa de dados registrados, consulte Mensagens de operações e status registradas em logs e Formato de log de armazenamento.
Observação
No momento, o Azure Monitor filtra os logs que descrevem a atividade no contêiner "insights-logs-".
Registrar em log solicitações anônimas
Os seguintes tipos de solicitações anônimas são registrados:
- Solicitações bem-sucedidas
- Erros do servidor
- Erros de tempo limite para o cliente e o servidor
- Solicitações GET com falha com o código de erro 304 (não modificado)
Nenhuma outra solicitação anônima com falha é registrada em log. Para uma lista completa de dados registrados, consulte Mensagens de operações e status registradas em logs e Formato de log de armazenamento.
Consultas do Kusto
Analise os dados de monitoramento nos logs do Azure Monitor/no repositório do Log Analytics usando o KQL (Linguagem de Consulta Kusto).
Importante
Quando você seleciona Logs no menu do serviço no portal, o Log Analytics é aberto com o escopo da consulta definido para o serviço atual. Esse escopo significa que as consultas de log incluirão apenas dados desse tipo de recurso. Se você quiser executar uma consulta que inclua dados de outros serviços do Azure, selecione Logs no menu do Azure Monitor. Confira Escopo da consulta de log e intervalo de tempo no Log Analytics do Azure Monitor para obter detalhes.
Para obter uma lista de consultas comuns para qualquer serviço, confira a interface de consultas do Log Analytics.
Veja algumas consultas adicionais que você pode inserir na barra Pesquisa de logs para ajudar a monitorar o Armazenamento de Blobs. Essas consultas funcionam com a nova linguagem.
Para listar os 10 erros mais comuns nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) and StatusText !contains "Success" | summarize count() by StatusText | top 10 by count_ desc
Para listar as 10 operações que causaram mais erros nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) and StatusText !contains "Success" | summarize count() by OperationName | top 10 by count_ desc
Para listar as 10 operações com a latência de ponta a ponta mais longa nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) | top 10 by DurationMs desc | project TimeGenerated, OperationName, DurationMs, ServerLatencyMs, ClientLatencyMs = DurationMs - ServerLatencyMs
Para listar todas as operações que causaram erros de limitação da largura de banda do lado do servidor nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) and StatusText contains "ServerBusy" | project TimeGenerated, OperationName, StatusCode, StatusText
Para listar todas as solicitações com acesso anônimo nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) and AuthenticationType == "Anonymous" | project TimeGenerated, OperationName, AuthenticationType, Uri
Para criar um gráfico de pizza das operações usadas nos últimos três dias.
StorageBlobLogs | where TimeGenerated > ago(3d) | summarize count() by OperationName | sort by count_ desc | render piechart
Alertas
Os alertas do Azure Monitor o notificam proativamente quando condições específicas são encontradas em seus dados de monitoramento. Os alertas permitem que você identifique e resolva problemas no seu sistema antes que os clientes os percebam. Para saber mais, confira Alertas do Azure Monitor.
Existem muitas fontes de alertas comuns para os recursos do Azure. Para obter exemplos de alertas comuns para recursos do Azure, confira Amostra de consultas de alerta de logs. O site Alertas de Linha de Base do Azure Monitor (AMBA) fornece um método semiautomatizado de implementação de alertas, painéis e diretrizes importantes de métrica de plataforma. O site se aplica a um subconjunto de serviços do Azure em contínua expansão, incluindo todos os serviços que fazem parte da Zona de Destino do Azure (ALZ).
O esquema de alerta comum padroniza a consumo do Azure Monitor para notificações de alerta no Azure. Para obter mais informações, confira Esquema de alertas comuns.
Tipos de alertas
Você pode receber alertas sobre qualquer fonte de dados de log ou métrica na plataforma de dados do Azure Monitor. Existem muitos tipos diferentes de alertas dependendo dos serviços que você está monitorando e dos dados de monitoramento que você está coletando. Diferentes tipos de alertas têm diversos benefícios e desvantagens. Para obter mais informações, confira Escolha o tipo de alerta de monitoramento correto para você.
A lista a seguir descreve os tipos de alertas do Azure Monitor que você pode criar:
- Os Alertas de métricas avaliam as métricas de recursos a intervalos regulares. As métricas podem ser métricas de plataforma, métricas personalizadas, logs do Azure Monitor convertidos em métricas ou métricas do Application Insights. Os alertas de métrica também podem aplicar várias condições e limites dinâmicos.
- Os Alertas de logs permitem que os usuários usem uma consulta do Log Analytics para avaliar os logs de recursos com uma frequência predefinida.
- Os Alertas do log de atividades são disparados quando ocorre um novo evento de log de atividades que corresponda às condições definidas. Os alertas do Resource Health e da Integridade do Serviço são alertas do log de atividades que relatam a integridade do serviço e do recurso.
Alguns serviços do Azure também dão suporte a alertas de detecção inteligentes, alertas do Prometheus ou regras de alerta recomendadas.
No caso de alguns serviços, você pode monitorar em larga escala aplicando a mesma regra de alerta de métricas a vários recursos do mesmo tipo que existem na mesma região do Azure. Notificações individuais são enviadas para cada recurso monitorado. Para ver os serviços e nuvens do Azure com suporte, confira Monitorar vários recursos com uma regra de alerta.
Regras de alerta do Armazenamento de Blobs do Azure
A tabela a seguir lista as regras de alerta comuns e recomendadas para o Armazenamento de Blobs do Azure e a métrica adequada a ser usada para o alerta:
Tipo de alerta | Condição | Descrição |
---|---|---|
Métrica | O serviço de Armazenamento de Blobs é limitado. | Transações Nome da dimensão: tipo de resposta |
Métrica | As solicitações de Armazenamento de Blobs são bem-sucedidas em 99% das vezes. | Disponibilidade Nomes de dimensão: tipo geográfico, nome da API, Autenticação |
Métrica | A saída do Armazenamento de Blobs excedeu 500 GiB em um dia. | Saída Nomes de dimensão: tipo geográfico, nome da API, Autenticação |
Recomendações do Assistente
Para alguns serviços, se ocorrerem condições críticas ou alterações iminentes durante operações de recurso, um alerta será exibido na página de Visão geral do serviço no portal. Você pode encontrar mais informações e correções recomendadas para o alerta nas Recomendações do assistente em Monitoramento no menu à esquerda. Durante as operações normais, nenhuma recomendação do assistente será exibida.
Para obter mais informações sobre o Assistente do Azure, confira Visão geral do Assistente do Azure.
Conteúdo relacionado
Outros conteúdos de monitoramento do Armazenamento de Blobs:
- Referência de dados de monitoramento do Armazenamento de Blobs do Azure. Uma referência dos logs e métricas criados pelo Armazenamento de Blobs do Azure.
- Práticas recomendadas para monitorar o Armazenamento de Blobs do Azure. Diretrizes para cenários comuns de monitoramento e solução de problemas.
- Perguntas frequentes sobre métricas e logs.
Conteúdo geral de monitoramento do Armazenamento do Azure:
- Monitorar o armazenamento com os insights do Armazenamento do Azure Monitor. Obtenha uma exibição unificada do desempenho, capacidade e disponibilidade de armazenamento.
- Fazer a transição para as métricas no Azure Monitor. Migre das métricas da Análise de Armazenamento para a métricas no Azure Monitor.
- Solucionar problemas de desempenho. Confira os problemas de desempenho mais comuns e diretrizes sobre como solucioná-los.
- Solucionar problemas de disponibilidade. Confira os problemas de disponibilidade mais comuns e diretrizes sobre como solucioná-los.
- Solucionar problemas de erros de aplicativos clientes. Veja problemas comuns com a conexão de clientes e como solucioná-los.
Conteúdo do Azure Monitor:
- Monitorar os recursos do Azure com o Azure Monitor. Detalhes gerais sobre o monitoramento dos recursos do Azure.
- Visão geral das métricas do Azure Monitor. Conceitos básicos de métricas e dimensões de métricas.
- Visão geral dos Logs do Azure Monitor. Conceitos básicos de logs e como coletá-los e analisá-los.
- Analisar métricas com o explorador de métricas do Azure Monitor. Um tour pelo Metrics Explorer.
- Visão geral do Log Analytics no Azure Monitor. Um tour pelo Log Analytics.
Módulos de treinamento:
- Reúna métricas dos contêineres do Armazenamento de Blobs do Azure. Crie gráficos que mostram métricas, com diretrizes passo a passo.
- Monitore, diagnostique e solucione problemas do Armazenamento do Microsoft Azure. Solucionar problemas de contas de armazenamento, com diretrizes passo a passo.