Partilhar via


Exportação dos dados da área de trabalho do Log Analytics no Azure Monitor

A exportação de dados em um espaço de trabalho do Log Analytics permite exportar dados continuamente por tabelas selecionadas em seu espaço de trabalho. Você pode exportar para uma Conta de Armazenamento do Azure ou Azure Event Hubs quando os dados chegam a um pipeline do Azure Monitor. Este artigo fornece detalhes sobre esse recurso e etapas para configurar a exportação de dados em seus espaços de trabalho.

Descrição geral

Os dados no Log Analytics estão disponíveis para o período de retenção definido no seu espaço de trabalho. Ele é usado em várias experiências fornecidas no Azure Monitor e nos serviços do Azure. Há casos em que você precisa usar outras ferramentas:

  • Conformidade do armazenamento protegido contra adulteração: os dados não podem ser alterados no Log Analytics depois de ingeridos, mas podem ser purgados. Exporte para uma Conta de Armazenamento definida com políticas de imutabilidade para manter os dados protegidos contra adulteração.
  • Integração com serviços do Azure e outras ferramentas: exporte para Hubs de Eventos à medida que os dados chegam e são processados no Azure Monitor.
  • Retenção de longo prazo de dados de auditoria e segurança: exporte para uma conta de armazenamento na região do espaço de trabalho. Ou você pode replicar dados para outras regiões usando qualquer uma das opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.

Depois de configurar as regras de exportação de dados num espaço de trabalho do Log Analytics, os novos dados para as tabelas mencionadas nas regras são exportados do pipeline do Azure Monitor para a sua Conta de Armazenamento ou Hubs de Eventos assim que chegam. O tráfego de exportação de dados está na rede de backbone do Azure e não sai da rede do Azure.

Diagrama que mostra um fluxo de exportação de dados.

Os dados são exportados sem filtro. Por exemplo, quando você configura uma regra de exportação de dados para uma tabela SecurityEvent , todos os dados enviados para a tabela SecurityEvent são exportados a partir do momento da configuração. Como alternativa, você pode filtrar ou modificar dados exportados configurando transformações em seu espaço de trabalho, que se aplicam aos dados de entrada, antes de serem enviados para os espaços de trabalho do Log Analytics e para exportar destinos.

Outras opções de exportação

A exportação de dados do espaço de trabalho do Log Analytics exporta continuamente os dados enviados para o espaço de trabalho do Log Analytics. Existem outras opções para exportar dados para cenários específicos:

  • Se um recurso do Azure já estiver enviando logs para a sua área de trabalho do Log Analytics por meio das suas configurações de log de diagnóstico, considere atualizar diretamente as configurações de diagnóstico no recurso do Azure para adicionar o novo destino em vez de realizar regularmente uma exportação de dados. Essa abordagem tem latência menor em comparação com uma exportação de dados, mas não envia dados históricos.
  • Agende uma exportação de dados com base em uma consulta de log definida com a API de consulta do Log Analytics. Use o Azure Data Factory, o Azure Functions ou os Aplicativos Lógicos do Azure para orquestrar consultas em seu espaço de trabalho e exportar dados para um destino. Esse método é semelhante ao recurso de exportação de dados, mas você pode usá-lo para exportar dados históricos do seu espaço de trabalho usando filtros e agregação. Esse método está sujeito a limites de consulta de log e não se destina a escala. Para obter mais informações, consulte Exportar dados de um espaço de trabalho do Log Analytics para uma conta de armazenamento usando aplicativos lógicos.
  • Use uma exportação única para uma máquina local usando um script do PowerShell. Para obter mais informações, consulte Invoke-AzOperationalInsightsQueryExport.

Permissões necessárias

Ação Permissões necessárias
Criar ou atualizar regra de exportação de dados Microsoft.OperationalInsights/workspaces/dataexports/writepermissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna de Colaborador do Log Analytics, por exemplo
Excluir regra de exportação de dados Microsoft.OperationalInsights/workspaces/dataexports/deletepermissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna de Colaborador do Log Analytics, por exemplo
Exportar para conta de armazenamento Microsoft.Storage/storageAccounts/blobServices/containers/write permissões para a Conta de Armazenamento, conforme fornecido pela função pré-definida de Colaborador da Conta de Armazenamento, por exemplo
Exportar para o Hub de Eventos Microsoft.EventHub/namespaces/eventhubs/write, Microsoft.EventHub/namespaces/eventhubs/messages/write, Microsoft.EventHub/namespaces/authorizationRules/listkeys/action permissões para o Hub de Eventos, conforme fornecido pelas funções incorporadas de Proprietário de Dados dos Hubs de Eventos do Azure, tais como
Consultar registos numa tabela Microsoft.OperationalInsights/workspaces/query/<table>/readpermissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna Log Analytics Reader, por exemplo
Logs de consulta numa tabela (ação na tabela) Microsoft.OperationalInsights/workspaces/tables/query/readpermissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna Log Analytics Reader, por exemplo

Limitações

  • Os logs personalizados criados usando a API HTTP Data Collector não podem ser exportados, incluindo logs de texto processados pelo agente do Log Analytics. Os logs personalizados criados usando regras de coleta de dados, incluindo logs baseados em texto, podem ser exportados.
  • A exportação de dados suportará gradualmente mais tabelas. Consulte a secção Tabelas não suportadas .
  • O número máximo de regras ativas por espaço de trabalho é 10, cada uma pode incluir várias tabelas.
  • A Conta de Armazenamento deve ser única entre as diferentes regras dentro do espaço de trabalho.
  • Os planos de tabela suportados são Analytics e Basic. O plano auxiliar não é suportado.
  • Os destinos devem estar na mesma região que o espaço de trabalho do Log Analytics.
  • Não há suporte para exportação para Conta de Armazenamento Premium.

Exaustividade dos dados

A exportação de dados é otimizada para mover grandes volumes de dados para seus destinos. No caso de um destino com escala ou disponibilidade insuficientes, um processo de repetição continua por até 12 horas e pode resultar em uma fração dos registros exportados duplicados. Siga as recomendações para destinos de Conta de Armazenamento e Hubs de Eventos para melhorar a confiabilidade. Se os destinos ainda estiverem indisponíveis após o período de novas tentativas, os dados serão descartados.

Para obter mais informações sobre limites de destino e alertas recomendados, consulte Criar ou atualizar uma regra de exportação de dados.

Modelo de preços

As taxas de exportação de dados são baseadas no número de bytes exportados para destinos em dados formatados em JSON e medidos em GB (10^9 bytes). Os cálculos de tamanho de exportação de dados não podem ser feitos com uma consulta de espaço de trabalho, pois o cálculo de tamanho não inclui a sobrecarga de formatação JSON. Use o método neste script PowerShell de exemplo para calcular o tamanho total de faturamento de um contêiner de blob. Atualmente, não há cobrança para exportação para nuvens soberanas. Uma notificação será enviada antes da habilitação.

Para obter mais informações, incluindo a linha do tempo de cobrança de exportação de dados, consulte Preços do Azure Monitor. A cobrança para exportação de dados foi habilitada no início de outubro de 2023.

Destinos de exportação

O destino da exportação de dados deve estar disponível antes de criar regras de exportação em seu espaço de trabalho. Os destinos podem estar em diferentes subscrições. Com o Azure Lighthouse, também é possível enviar dados para destinos em outro tenant da Microsoft Entra.

Conta de Armazenamento

Impeça falhas de entrada de armazenamento devido à latência ou à ultrapassagem dos limites de taxa usando uma conta de armazenamento existente que não tenha outros dados que não sejam de monitoramento. Isso ajuda a controlar melhor o acesso aos dados e melhora a confiabilidade da exportação de dados.

Para enviar dados para uma Conta de Armazenamento imutável, defina a política imutável para a Conta de Armazenamento conforme descrito em Definir e gerenciar políticas de imutabilidade para o Armazenamento de Blobs do Azure. Você deve seguir todas as etapas neste artigo, incluindo a habilitação de escrita de blobs de acréscimo protegidos.

A Conta de Armazenamento não pode ser Premium, deve ser StorageV1 ou posterior e estar localizada na mesma região do seu espaço de trabalho. Se você precisar replicar seus dados para outras Contas de Armazenamento em outras regiões, use qualquer uma das opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.

Os dados são enviados para Contas de Armazenamento à medida que chegam ao Azure Monitor e exportados para destinos localizados em uma região de espaço de trabalho. Um contêiner é criado para cada tabela na Conta de Armazenamento com o nome am- seguido pelo nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada para um contêiner chamado am-SecurityEvent.

Os blobs são armazenados em pastas de 5 minutos na seguinte estrutura de caminho: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<ano numérico de quatro dígitos>/m=<mês numérico de dois dígitos>/d=<dia numérico de dois dígitos>/h=<hora de relógio de 24 horas em dois dígitos>/m=<minuto de 60 minutos em dois dígitos>/PT05M.json. Os acréscimos a blobs são limitados a gravações de 50 K. Mais blobs serão adicionados na pasta como PT05M_#.json*, onde '#' é a contagem incremental de blobs.

Nota

Os acréscimos aos blobs são escritos com base no campo "TimeGenerated" e ocorrem quando recebem dados de origem. Os dados que chegam ao Azure Monitor com atraso, ou tentados novamente após restrições de capacidade dos destinos, são gravados em blobs de acordo com o TimeGenerated.

O formato de blobs em uma Conta de Armazenamento está em linhas JSON, onde cada registro é delimitado por uma nova linha, sem matriz de registros externos e sem vírgulas entre registros JSON.

Captura de tela que mostra o formato de dados em um blob.

Hubs de Eventos

Evite usar um Hub de Eventos que tenha dados existentes e sem monitoramento. Essa prática recomendada ajuda a evitar falhas de entrada devido à latência ou à superação dos limites de taxa.

Os dados são enviados para o Hub de Eventos à medida que chegam ao Azure Monitor e são exportados para destinos localizados em uma região de espaço de trabalho. Crie várias regras de exportação para o mesmo namespace do Hub de Eventos fornecendo uma diferente Event Hub name na regra. Quando um Event Hub name não é fornecido, um Hub de Eventos padrão é criado para tabelas que você exporta com o nome am- seguido pelo nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada para um Hub de Eventos chamado am-SecurityEvent.

O número de Hubs de Eventos suportados nas camadas de namespace Basic e Standard é 10. Quando você estiver exportando mais de 10 tabelas para essas camadas, divida as tabelas entre várias regras de exportação para diferentes namespaces de Hubs de Eventos ou forneça um nome de Hub de Eventos para exportar todas as tabelas para ele.

Nota

  • A camada de namespace Basic Event Hubs é limitada. Ele suporta tamanho de evento menor e não possui a opção Auto-inflate para aumentar automaticamente a escala e o número de unidades de taxa de transferência. Como o volume de dados para o seu espaço de trabalho aumenta com o tempo e, como consequência, o dimensionamento do Hub de Eventos é necessário, use as camadas Hubs de Eventos Standard, Premium ou Dedicado com o recurso de autoescalação habilitado. Para obter mais informações, consulte Aumentar automaticamente as unidades de throughput dos Hubs de Eventos do Azure.
  • A exportação de dados não pode alcançar os recursos dos Hubs de Eventos quando as redes virtuais estão habilitadas. Você precisa marcar a caixa de seleção Permitir que os serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento para ignorar essa configuração de firewall em um Hub de Eventos para conceder acesso aos seus Hubs de Eventos.

Consultar dados exportados

A exportação de dados de espaços de trabalho para Contas de Armazenamento ajuda a satisfazer vários cenários mencionados na visão geral e pode ser consumida por ferramentas que podem ler blobs de Contas de Armazenamento. Os métodos a seguir permitem consultar dados usando a linguagem de consulta do Log Analytics, que é a mesma para o Azure Data Explorer.

  1. Use o Azure Data Explorer para consultar dados no Azure Data Lake.
  2. Use o Azure Data Explorer para ingerir dados de uma Conta de Armazenamento.
  3. Use o espaço de trabalho do Log Analytics para consultar dados ingeridos usando a API de ingestão de logs . Os dados ingeridos são enviados para uma tabela de log personalizada e não para a tabela original.

Habilitar exportação de dados

As etapas a seguir devem ser executadas para habilitar a exportação de dados do Log Analytics.

Registar o fornecedor de recursos

O provedor de recursos do Azure Microsoft.Insights precisa ser registrado em sua assinatura para habilitar a exportação de dados do Log Analytics.

Esse provedor de recursos provavelmente já está registrado para a maioria dos usuários do Azure Monitor. Para verificar, vá para Assinaturas no portal do Azure. Selecione a sua subscrição e, em seguida, selecione Fornecedores de recursos na secção Definições do menu. Localize Microsoft.Insights. Se o seu estado for Registado, então já está registado. Caso contrário, selecione Registrar para registrá-lo.

Você também pode usar qualquer um dos métodos disponíveis para registrar um provedor de recursos conforme descrito em Provedores e tipos de recursos do Azure. O comando de exemplo a seguir usa a CLI do Azure:

az provider register --namespace 'Microsoft.insights'

O comando de exemplo a seguir usa o PowerShell:

Register-AzResourceProvider -ProviderNamespace Microsoft.insights

Permitir serviços confiáveis da Microsoft

Se você configurou sua Conta de Armazenamento para permitir o acesso de redes selecionadas, precisará adicionar uma exceção para permitir que o Azure Monitor grave na conta. Em Firewalls e redes virtuais para sua Conta de Armazenamento, selecione Permitir que os serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento.

Captura de ecrã que mostra a opção Permitir serviços do Azure na lista de serviços fidedignos.

Monitore destinos

Importante

Os destinos de exportação têm limites e devem ser monitorados para minimizar regulação, falhas e latência. Para obter mais informações, consulte Escalabilidade da conta de armazenamento e cotas de namespace dos Hubs de Eventos.

As métricas a seguir estão disponíveis para operações e alertas de exportação de dados:

Nome da métrica Descrição
Bytes exportados Número total de bytes exportados para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. O tamanho dos dados exportados é o número de bytes nos dados formatados em JSON exportados. 1 GB = 10^9 bytes.
Falhas de exportação Número total de solicitações de exportação com falha para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. Esse número inclui falhas de tentativas de exportação devido à limitação de recursos de destino, erro de acesso proibido ou qualquer erro do servidor. Um processo de repetição lida com tentativas falhadas e o número não é uma indicação de dados ausentes.
Registos exportados Número total de registros exportados do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. Este número contabiliza os registos das operações que terminaram com sucesso.

Monitorar uma conta de armazenamento

  1. Use uma conta de armazenamento separada para exportação.

  2. Configurar um alerta para a métrica:

    Âmbito Espaço de nomes de métricas Métrica Agregação Limiar
    nome do armazenamento Conta Entrada Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 60 Gbps para v2 de uso geral no oeste dos EUA. O limiar de alerta é de 1676 GiB por período de avaliação de 5 minutos.
  3. Ações de correção de alerta:

    • Use uma conta de armazenamento separada para exportação que não seja compartilhada com dados que não sejam de monitoramento.
    • As contas do Padrão de Armazenamento do Azure oferecem suporte a um limite de entrada mais alto por solicitação. Para solicitar um aumento, entre em contato com o Suporte do Azure.
    • Divida as tabelas entre mais Contas de Armazenamento.

Monitorizar Hubs de Eventos

  1. Configure alertas nas métricas:

    Âmbito Espaço de nomes de métricas Métrica Agregação Limiar
    nome do namespace Métricas padrão dos Hubs de Eventos Bytes de entrada Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 1 MB/s por unidade (TU ou PU) e cinco unidades usadas. O limiar é de 228 MiB por período de avaliação de 5 minutos.
    nome do namespace Métricas padrão dos Hubs de Eventos Pedidos recebidos Contar 80% do número máximo de eventos por período de avaliação do alerta. Por exemplo, o limite é de 1.000 por segundo por unidade (TU ou PU), com cinco unidades a serem utilizadas. O limiar é de 1.200.000 por período de avaliação de 5 minutos.
    nome do namespace Métricas padrão dos Hubs de Eventos Erros de quota excedida Contar Cerca de 1% da solicitação. Por exemplo, as solicitações por 5 minutos são 600.000. O limiar é de 6.000 por período de avaliação de 5 minutos.
  2. Ações de correção de alerta:

    • Use um namespace de Hubs de Eventos separado para exportação que não seja compartilhado com dados que não sejam de monitoramento.
    • Configure a funcionalidade de Auto-inflate para escalar automaticamente e aumentar o número de unidades de throughput, de modo a atender às necessidades de utilização.
    • Verifique o aumento das unidades de throughput para acomodar o volume de dados.
    • Divida tabelas entre mais namespaces.
    • Use os níveis Premium ou Dedicated para obter uma taxa de transferência mais alta.

Criar ou atualizar uma regra de exportação de dados

Uma regra de exportação de dados define o destino e as tabelas para as quais os dados são exportados. O provisionamento da regra leva cerca de 30 minutos antes do início da operação de exportação. Considerações sobre as regras de exportação de dados:

  • A Conta de Armazenamento deve ser única entre as diferentes regras dentro do espaço de trabalho.
  • Várias regras podem usar o mesmo namespace do Event Hubs ao enviar para Hubs de Eventos separados.
  • Exportar para uma Conta de Armazenamento: Um contêiner separado é criado na Conta de Armazenamento para cada tabela.
  • Exportar para Hubs de Eventos: Se um nome de Hub de Eventos não for fornecido, um Hub de Eventos separado será criado para cada tabela. O número de Hubs de Eventos suportados nas camadas de namespace Basic e Standard é 10. Quando você estiver exportando mais de 10 tabelas para essas camadas, divida as tabelas entre várias regras de exportação para namespaces de Hubs de Eventos diferentes ou forneça um nome de Hub de Eventos na regra para exportar todas as tabelas para ela.
  1. No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione Nova regra de exportação na parte superior do painel.

    Captura de tela que mostra o ponto de entrada de exportação de dados.

  2. Siga as etapas e selecione Criar. Apenas as tabelas com dados são exibidas na guia "Fonte".

    Captura de tela da configuração da regra de exportação.

Ver configuração da regra de exportação de dados

  1. No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações.

    Captura de tela que mostra a tela Exportação de dados.

  2. Selecione uma regra para uma visualização de configuração.

    Captura de ecrã da vista de regras de exportação de dados.

Desativar ou atualizar uma regra de exportação

Você pode desabilitar as regras de exportação para interromper a exportação por um determinado período, como quando o teste está sendo realizado. No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione a alternância Status para desabilitar ou habilitar a regra de exportação.

Captura de ecrã que mostra a desativação da regra de exportação de dados.

Excluir uma regra de exportação

No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione o ícone de reticências à direita da regra e selecione Eliminar.

Captura de tela que mostra a exclusão da regra de exportação de dados.

Exibir todas as regras de exportação de dados em um espaço de trabalho

No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações para exibir todas as regras de exportação no espaço de trabalho.

Captura de ecrã que mostra a vista de regras de exportação de dados.

Tabelas não suportadas

Nota

Se a regra de exportação de dados incluir uma tabela sem suporte, a configuração será bem-sucedida, mas nenhum dado será exportado para essa tabela. Quando a tabela é suportada, a exportação de dados será iniciada em seguida. Estamos em um processo de adicionar suporte para mais tabelas. Por favor, verifique este artigo regularmente.

 Tabela  Limitações
ADXDataOperation
Alerta Suporte parcial. A ingestão de dados para alertas do Zabbix não é suportada.
Histórico de alertas
AzureActivity Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
AzureDiagnostics
AzureMetrics
Mudança de Configuração
Dados de Configuração Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação.
Databricks Databricks SQL
DatabricksSQL
LançamentoDeAplicaçãoNoDispositivo
Calendário do Dispositivo
Sessão de Conexão de Dispositivos
DeviceEtw
Saúde do dispositivo
BatimentoCardíacoDoDispositivo
ETWEvent Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
Evento Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
InsightsMetrics Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação.
Sessões de rede
Operação Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação.
Status de proteção
Evento Operacional do Service Fabric Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
ServiceFabricReliableActorEvent (Evento de Ator Confiável do ServiceFabric) Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
EventoDeServiçoConfiávelDoServiceFabric Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
Atualizar Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação.
VMBoundPort
VMComputer
VMConnection
VMProcess
W3CIISLog Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação.
WireData Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação.

Próximos passos

Consultar os dados exportados do Azure Data Explorer