Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
A exportação de dados em um espaço de trabalho do Log Analytics permite exportar dados continuamente por tabelas selecionadas em seu espaço de trabalho. Você pode exportar para uma Conta de Armazenamento do Azure ou Azure Event Hubs quando os dados chegam a um pipeline do Azure Monitor. Este artigo fornece detalhes sobre esse recurso e etapas para configurar a exportação de dados em seus espaços de trabalho.
Descrição geral
Os dados no Log Analytics estão disponíveis para o período de retenção definido no seu espaço de trabalho. Ele é usado em várias experiências fornecidas no Azure Monitor e nos serviços do Azure. Há casos em que você precisa usar outras ferramentas:
- Conformidade do armazenamento protegido contra adulteração: os dados não podem ser alterados no Log Analytics depois de ingeridos, mas podem ser purgados. Exporte para uma Conta de Armazenamento definida com políticas de imutabilidade para manter os dados protegidos contra adulteração.
- Integração com serviços do Azure e outras ferramentas: exporte para Hubs de Eventos à medida que os dados chegam e são processados no Azure Monitor.
- Retenção de longo prazo de dados de auditoria e segurança: exporte para uma conta de armazenamento na região do espaço de trabalho. Ou você pode replicar dados para outras regiões usando qualquer uma das opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.
Depois de configurar as regras de exportação de dados num espaço de trabalho do Log Analytics, os novos dados para as tabelas mencionadas nas regras são exportados do pipeline do Azure Monitor para a sua Conta de Armazenamento ou Hubs de Eventos assim que chegam. O tráfego de exportação de dados está na rede de backbone do Azure e não sai da rede do Azure.
Os dados são exportados sem filtro. Por exemplo, quando você configura uma regra de exportação de dados para uma tabela SecurityEvent , todos os dados enviados para a tabela SecurityEvent são exportados a partir do momento da configuração. Como alternativa, você pode filtrar ou modificar dados exportados configurando transformações em seu espaço de trabalho, que se aplicam aos dados de entrada, antes de serem enviados para os espaços de trabalho do Log Analytics e para exportar destinos.
Outras opções de exportação
A exportação de dados do espaço de trabalho do Log Analytics exporta continuamente os dados enviados para o espaço de trabalho do Log Analytics. Existem outras opções para exportar dados para cenários específicos:
- Se um recurso do Azure já estiver enviando logs para a sua área de trabalho do Log Analytics por meio das suas configurações de log de diagnóstico, considere atualizar diretamente as configurações de diagnóstico no recurso do Azure para adicionar o novo destino em vez de realizar regularmente uma exportação de dados. Essa abordagem tem latência menor em comparação com uma exportação de dados, mas não envia dados históricos.
- Agende uma exportação de dados com base em uma consulta de log definida com a API de consulta do Log Analytics. Use o Azure Data Factory, o Azure Functions ou os Aplicativos Lógicos do Azure para orquestrar consultas em seu espaço de trabalho e exportar dados para um destino. Esse método é semelhante ao recurso de exportação de dados, mas você pode usá-lo para exportar dados históricos do seu espaço de trabalho usando filtros e agregação. Esse método está sujeito a limites de consulta de log e não se destina a escala. Para obter mais informações, consulte Exportar dados de um espaço de trabalho do Log Analytics para uma conta de armazenamento usando aplicativos lógicos.
- Use uma exportação única para uma máquina local usando um script do PowerShell. Para obter mais informações, consulte Invoke-AzOperationalInsightsQueryExport.
Permissões necessárias
Ação | Permissões necessárias |
---|---|
Criar ou atualizar regra de exportação de dados |
Microsoft.OperationalInsights/workspaces/dataexports/write permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna de Colaborador do Log Analytics, por exemplo |
Excluir regra de exportação de dados |
Microsoft.OperationalInsights/workspaces/dataexports/delete permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna de Colaborador do Log Analytics, por exemplo |
Exportar para conta de armazenamento |
Microsoft.Storage/storageAccounts/blobServices/containers/write permissões para a Conta de Armazenamento, conforme fornecido pela função pré-definida de Colaborador da Conta de Armazenamento, por exemplo |
Exportar para o Hub de Eventos |
Microsoft.EventHub/namespaces/eventhubs/write , Microsoft.EventHub/namespaces/eventhubs/messages/write , Microsoft.EventHub/namespaces/authorizationRules/listkeys/action permissões para o Hub de Eventos, conforme fornecido pelas funções incorporadas de Proprietário de Dados dos Hubs de Eventos do Azure, tais como |
Consultar registos numa tabela |
Microsoft.OperationalInsights/workspaces/query/<table>/read permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna Log Analytics Reader, por exemplo |
Logs de consulta numa tabela (ação na tabela) |
Microsoft.OperationalInsights/workspaces/tables/query/read permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna Log Analytics Reader, por exemplo |
Limitações
- Os logs personalizados criados usando a API HTTP Data Collector não podem ser exportados, incluindo logs de texto processados pelo agente do Log Analytics. Os logs personalizados criados usando regras de coleta de dados, incluindo logs baseados em texto, podem ser exportados.
- A exportação de dados suportará gradualmente mais tabelas. Consulte a secção Tabelas não suportadas .
- O número máximo de regras ativas por espaço de trabalho é 10, cada uma pode incluir várias tabelas.
- A Conta de Armazenamento deve ser única entre as diferentes regras dentro do espaço de trabalho.
- Os planos de tabela suportados são Analytics e Basic. O plano auxiliar não é suportado.
- Os destinos devem estar na mesma região que o espaço de trabalho do Log Analytics.
- Não há suporte para exportação para Conta de Armazenamento Premium.
Exaustividade dos dados
A exportação de dados é otimizada para mover grandes volumes de dados para seus destinos. No caso de um destino com escala ou disponibilidade insuficientes, um processo de repetição continua por até 12 horas e pode resultar em uma fração dos registros exportados duplicados. Siga as recomendações para destinos de Conta de Armazenamento e Hubs de Eventos para melhorar a confiabilidade. Se os destinos ainda estiverem indisponíveis após o período de novas tentativas, os dados serão descartados.
Para obter mais informações sobre limites de destino e alertas recomendados, consulte Criar ou atualizar uma regra de exportação de dados.
Modelo de preços
As taxas de exportação de dados são baseadas no número de bytes exportados para destinos em dados formatados em JSON e medidos em GB (10^9 bytes). Os cálculos de tamanho de exportação de dados não podem ser feitos com uma consulta de espaço de trabalho, pois o cálculo de tamanho não inclui a sobrecarga de formatação JSON. Use o método neste script PowerShell de exemplo para calcular o tamanho total de faturamento de um contêiner de blob. Atualmente, não há cobrança para exportação para nuvens soberanas. Uma notificação será enviada antes da habilitação.
Para obter mais informações, incluindo a linha do tempo de cobrança de exportação de dados, consulte Preços do Azure Monitor. A cobrança para exportação de dados foi habilitada no início de outubro de 2023.
Destinos de exportação
O destino da exportação de dados deve estar disponível antes de criar regras de exportação em seu espaço de trabalho. Os destinos podem estar em diferentes subscrições. Com o Azure Lighthouse, também é possível enviar dados para destinos em outro tenant da Microsoft Entra.
Conta de Armazenamento
Impeça falhas de entrada de armazenamento devido à latência ou à ultrapassagem dos limites de taxa usando uma conta de armazenamento existente que não tenha outros dados que não sejam de monitoramento. Isso ajuda a controlar melhor o acesso aos dados e melhora a confiabilidade da exportação de dados.
Para enviar dados para uma Conta de Armazenamento imutável, defina a política imutável para a Conta de Armazenamento conforme descrito em Definir e gerenciar políticas de imutabilidade para o Armazenamento de Blobs do Azure. Você deve seguir todas as etapas neste artigo, incluindo a habilitação de escrita de blobs de acréscimo protegidos.
A Conta de Armazenamento não pode ser Premium, deve ser StorageV1 ou posterior e estar localizada na mesma região do seu espaço de trabalho. Se você precisar replicar seus dados para outras Contas de Armazenamento em outras regiões, use qualquer uma das opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.
Os dados são enviados para Contas de Armazenamento à medida que chegam ao Azure Monitor e exportados para destinos localizados em uma região de espaço de trabalho. Um contêiner é criado para cada tabela na Conta de Armazenamento com o nome am- seguido pelo nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada para um contêiner chamado am-SecurityEvent.
Os blobs são armazenados em pastas de 5 minutos na seguinte estrutura de caminho: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<ano numérico de quatro dígitos>/m=<mês numérico de dois dígitos>/d=<dia numérico de dois dígitos>/h=<hora de relógio de 24 horas em dois dígitos>/m=<minuto de 60 minutos em dois dígitos>/PT05M.json. Os acréscimos a blobs são limitados a gravações de 50 K. Mais blobs serão adicionados na pasta como PT05M_#.json*, onde '#' é a contagem incremental de blobs.
Nota
Os acréscimos aos blobs são escritos com base no campo "TimeGenerated" e ocorrem quando recebem dados de origem. Os dados que chegam ao Azure Monitor com atraso, ou tentados novamente após restrições de capacidade dos destinos, são gravados em blobs de acordo com o TimeGenerated.
O formato de blobs em uma Conta de Armazenamento está em linhas JSON, onde cada registro é delimitado por uma nova linha, sem matriz de registros externos e sem vírgulas entre registros JSON.
Hubs de Eventos
Evite usar um Hub de Eventos que tenha dados existentes e sem monitoramento. Essa prática recomendada ajuda a evitar falhas de entrada devido à latência ou à superação dos limites de taxa.
Os dados são enviados para o Hub de Eventos à medida que chegam ao Azure Monitor e são exportados para destinos localizados em uma região de espaço de trabalho. Crie várias regras de exportação para o mesmo namespace do Hub de Eventos fornecendo uma diferente Event Hub name
na regra. Quando um Event Hub name
não é fornecido, um Hub de Eventos padrão é criado para tabelas que você exporta com o nome am- seguido pelo nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada para um Hub de Eventos chamado am-SecurityEvent.
O número de Hubs de Eventos suportados nas camadas de namespace Basic e Standard é 10. Quando você estiver exportando mais de 10 tabelas para essas camadas, divida as tabelas entre várias regras de exportação para diferentes namespaces de Hubs de Eventos ou forneça um nome de Hub de Eventos para exportar todas as tabelas para ele.
Nota
- A camada de namespace Basic Event Hubs é limitada. Ele suporta tamanho de evento menor e não possui a opção Auto-inflate para aumentar automaticamente a escala e o número de unidades de taxa de transferência. Como o volume de dados para o seu espaço de trabalho aumenta com o tempo e, como consequência, o dimensionamento do Hub de Eventos é necessário, use as camadas Hubs de Eventos Standard, Premium ou Dedicado com o recurso de autoescalação habilitado. Para obter mais informações, consulte Aumentar automaticamente as unidades de throughput dos Hubs de Eventos do Azure.
- A exportação de dados não pode alcançar os recursos dos Hubs de Eventos quando as redes virtuais estão habilitadas. Você precisa marcar a caixa de seleção Permitir que os serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento para ignorar essa configuração de firewall em um Hub de Eventos para conceder acesso aos seus Hubs de Eventos.
Consultar dados exportados
A exportação de dados de espaços de trabalho para Contas de Armazenamento ajuda a satisfazer vários cenários mencionados na visão geral e pode ser consumida por ferramentas que podem ler blobs de Contas de Armazenamento. Os métodos a seguir permitem consultar dados usando a linguagem de consulta do Log Analytics, que é a mesma para o Azure Data Explorer.
- Use o Azure Data Explorer para consultar dados no Azure Data Lake.
- Use o Azure Data Explorer para ingerir dados de uma Conta de Armazenamento.
- Use o espaço de trabalho do Log Analytics para consultar dados ingeridos usando a API de ingestão de logs . Os dados ingeridos são enviados para uma tabela de log personalizada e não para a tabela original.
Habilitar exportação de dados
As etapas a seguir devem ser executadas para habilitar a exportação de dados do Log Analytics.
- Registrar o provedor de recursos
- Permitir serviços confiáveis da Microsoft
- Monitorar destinos (Recomendado)
- Criar ou atualizar uma regra de exportação de dados
Registar o fornecedor de recursos
O provedor de recursos do Azure Microsoft.Insights precisa ser registrado em sua assinatura para habilitar a exportação de dados do Log Analytics.
Esse provedor de recursos provavelmente já está registrado para a maioria dos usuários do Azure Monitor. Para verificar, vá para Assinaturas no portal do Azure. Selecione a sua subscrição e, em seguida, selecione Fornecedores de recursos na secção Definições do menu. Localize Microsoft.Insights. Se o seu estado for Registado, então já está registado. Caso contrário, selecione Registrar para registrá-lo.
Você também pode usar qualquer um dos métodos disponíveis para registrar um provedor de recursos conforme descrito em Provedores e tipos de recursos do Azure. O comando de exemplo a seguir usa a CLI do Azure:
az provider register --namespace 'Microsoft.insights'
O comando de exemplo a seguir usa o PowerShell:
Register-AzResourceProvider -ProviderNamespace Microsoft.insights
Permitir serviços confiáveis da Microsoft
Se você configurou sua Conta de Armazenamento para permitir o acesso de redes selecionadas, precisará adicionar uma exceção para permitir que o Azure Monitor grave na conta. Em Firewalls e redes virtuais para sua Conta de Armazenamento, selecione Permitir que os serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento.
Monitore destinos
Importante
Os destinos de exportação têm limites e devem ser monitorados para minimizar regulação, falhas e latência. Para obter mais informações, consulte Escalabilidade da conta de armazenamento e cotas de namespace dos Hubs de Eventos.
As métricas a seguir estão disponíveis para operações e alertas de exportação de dados:
Nome da métrica | Descrição |
---|---|
Bytes exportados | Número total de bytes exportados para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. O tamanho dos dados exportados é o número de bytes nos dados formatados em JSON exportados. 1 GB = 10^9 bytes. |
Falhas de exportação | Número total de solicitações de exportação com falha para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. Esse número inclui falhas de tentativas de exportação devido à limitação de recursos de destino, erro de acesso proibido ou qualquer erro do servidor. Um processo de repetição lida com tentativas falhadas e o número não é uma indicação de dados ausentes. |
Registos exportados | Número total de registros exportados do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. Este número contabiliza os registos das operações que terminaram com sucesso. |
Monitorar uma conta de armazenamento
Use uma conta de armazenamento separada para exportação.
Configurar um alerta para a métrica:
Âmbito Espaço de nomes de métricas Métrica Agregação Limiar nome do armazenamento Conta Entrada Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 60 Gbps para v2 de uso geral no oeste dos EUA. O limiar de alerta é de 1676 GiB por período de avaliação de 5 minutos. Ações de correção de alerta:
- Use uma conta de armazenamento separada para exportação que não seja compartilhada com dados que não sejam de monitoramento.
- As contas do Padrão de Armazenamento do Azure oferecem suporte a um limite de entrada mais alto por solicitação. Para solicitar um aumento, entre em contato com o Suporte do Azure.
- Divida as tabelas entre mais Contas de Armazenamento.
Monitorizar Hubs de Eventos
Configure alertas nas métricas:
Âmbito Espaço de nomes de métricas Métrica Agregação Limiar nome do namespace Métricas padrão dos Hubs de Eventos Bytes de entrada Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 1 MB/s por unidade (TU ou PU) e cinco unidades usadas. O limiar é de 228 MiB por período de avaliação de 5 minutos. nome do namespace Métricas padrão dos Hubs de Eventos Pedidos recebidos Contar 80% do número máximo de eventos por período de avaliação do alerta. Por exemplo, o limite é de 1.000 por segundo por unidade (TU ou PU), com cinco unidades a serem utilizadas. O limiar é de 1.200.000 por período de avaliação de 5 minutos. nome do namespace Métricas padrão dos Hubs de Eventos Erros de quota excedida Contar Cerca de 1% da solicitação. Por exemplo, as solicitações por 5 minutos são 600.000. O limiar é de 6.000 por período de avaliação de 5 minutos. Ações de correção de alerta:
- Use um namespace de Hubs de Eventos separado para exportação que não seja compartilhado com dados que não sejam de monitoramento.
- Configure a funcionalidade de Auto-inflate para escalar automaticamente e aumentar o número de unidades de throughput, de modo a atender às necessidades de utilização.
- Verifique o aumento das unidades de throughput para acomodar o volume de dados.
- Divida tabelas entre mais namespaces.
- Use os níveis Premium ou Dedicated para obter uma taxa de transferência mais alta.
Criar ou atualizar uma regra de exportação de dados
Uma regra de exportação de dados define o destino e as tabelas para as quais os dados são exportados. O provisionamento da regra leva cerca de 30 minutos antes do início da operação de exportação. Considerações sobre as regras de exportação de dados:
- A Conta de Armazenamento deve ser única entre as diferentes regras dentro do espaço de trabalho.
- Várias regras podem usar o mesmo namespace do Event Hubs ao enviar para Hubs de Eventos separados.
- Exportar para uma Conta de Armazenamento: Um contêiner separado é criado na Conta de Armazenamento para cada tabela.
- Exportar para Hubs de Eventos: Se um nome de Hub de Eventos não for fornecido, um Hub de Eventos separado será criado para cada tabela. O número de Hubs de Eventos suportados nas camadas de namespace Basic e Standard é 10. Quando você estiver exportando mais de 10 tabelas para essas camadas, divida as tabelas entre várias regras de exportação para namespaces de Hubs de Eventos diferentes ou forneça um nome de Hub de Eventos na regra para exportar todas as tabelas para ela.
Ver configuração da regra de exportação de dados
Desativar ou atualizar uma regra de exportação
Você pode desabilitar as regras de exportação para interromper a exportação por um determinado período, como quando o teste está sendo realizado. No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione a alternância Status para desabilitar ou habilitar a regra de exportação.
Excluir uma regra de exportação
No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione o ícone de reticências à direita da regra e selecione Eliminar.
Exibir todas as regras de exportação de dados em um espaço de trabalho
No menu do espaço de trabalho do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações para exibir todas as regras de exportação no espaço de trabalho.
Tabelas não suportadas
Nota
Se a regra de exportação de dados incluir uma tabela sem suporte, a configuração será bem-sucedida, mas nenhum dado será exportado para essa tabela. Quando a tabela é suportada, a exportação de dados será iniciada em seguida. Estamos em um processo de adicionar suporte para mais tabelas. Por favor, verifique este artigo regularmente.
Tabela | Limitações |
---|---|
ADXDataOperation | |
Alerta | Suporte parcial. A ingestão de dados para alertas do Zabbix não é suportada. |
Histórico de alertas | |
AzureActivity | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
AzureDiagnostics | |
AzureMetrics | |
Mudança de Configuração | |
Dados de Configuração | Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação. |
Databricks Databricks SQL | |
DatabricksSQL | |
LançamentoDeAplicaçãoNoDispositivo | |
Calendário do Dispositivo | |
Sessão de Conexão de Dispositivos | |
DeviceEtw | |
Saúde do dispositivo | |
BatimentoCardíacoDoDispositivo | |
ETWEvent | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
Evento | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
InsightsMetrics | Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação. |
Sessões de rede | |
Operação | Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação. |
Status de proteção | |
Evento Operacional do Service Fabric | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
ServiceFabricReliableActorEvent (Evento de Ator Confiável do ServiceFabric) | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
EventoDeServiçoConfiávelDoServiceFabric | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
Atualizar | Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação. |
VMBoundPort | |
VMComputer | |
VMConnection | |
VMProcess | |
W3CIISLog | Suporte parcial. Os dados que chegam do agente do Log Analytics ou do Azure Monitor Agent são totalmente suportados na exportação. Os dados que chegam através do agente de extensão Diagnostics são recolhidos através do armazenamento. Este caminho não é suportado na exportação. |
WireData | Suporte parcial. Alguns dos dados são ingeridos através de serviços internos que não são suportados na exportação. Atualmente, essa parcela está faltando na exportação. |