Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Exporte registros históricos de uma tabela de um espaço de trabalho do Log Analytics usando Trabalho de exportação (versão prévia). Um trabalho de exportação é uma operação assíncrona sob demanda que exporta logs de uma única tabela para uma conta Armazenamento de Blobs do Azure. Com base em uma consulta Linguagem de Consulta Kusto (KQL) e um intervalo de tempo especificado, os resultados são gravados no Armazenamento de Blobs no formato Parquet e particionados em pastas por hora.
| Scenario | Description |
|---|---|
| Conformidade legal e preparação para auditoria | Exportar logs de períodos específicos para atender a solicitações de auditoria, dar suporte a retenções legais ou demonstrar conformidade regulatória. |
| Investigação de segurança avançada | Exporte conjuntos de dados de log direcionados para integração com soluções SIEM de terceiros ou para investigações detalhadas de ameaças, análise forense e referência cruzada. |
| Aprendizado de máquina e inteligência de negócios | Exporte conjuntos de dados históricos para treinamento, validação e combinação de modelos com data warehouses corporativos para relatórios e análises. |
Um trabalho de exportação complementa as regras de exportação de dados do Log Analytics, que transmitem continuamente novos dados à medida que chegam, mas não conseguem acessar dados que já foram inseridos no seu espaço de trabalho. Um trabalho de exportação preenche essa lacuna. Use um trabalho de exportação quando precisar exportar dados históricos que já estejam em seu workspace antes do início de uma regra de exportação de dados ou quando você quiser exportar um subconjunto específico de registros com base em uma consulta KQL.
Este artigo mostra como conceder as permissões necessárias, enviar um trabalho de exportação por meio da API REST ou do PowerShell e monitorá-lo até a conclusão.
Importante
Os trabalhos de exportação estão atualmente em versão preliminar. Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para obter termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.
Prerequisites
- Um espaço de trabalho do Log Analytics com pelo menos uma tabela no plano Analytics ou Basic. Não há suporte para o plano auxiliar.
- Uma conta Armazenamento de Blobs do Azure para receber os dados exportados. Planeje a capacidade para o volume que você está exportando, conforme descrito nos destinos de escalabilidade da conta de armazenamento.
Como funciona um trabalho de exportação
Quando você envia uma tarefa de exportação, o Azure Monitor Logs distribui a consulta em várias partições paralelas e exporta os resultados para sua conta de armazenamento do Azure em pastas horárias. A duração de um trabalho depende do volume de dados verificados e exportados e pode se estender para vários dias quando você estiver exportando centenas de terabytes.
Um mecanismo de repetição interno gerencia falhas transitórias para que o trabalho seja concluído com êxito quando todos os dados são exportados. Se algum bin falhar, o trabalho será encerrado com o status Failed. Envie uma solicitação retry em até sete dias, enquanto o estado do trabalho for preservado, para tentar novamente os bins com falha manualmente.
Os trabalhos de exportação são executados em um recurso de computação separado do da ingestão, portanto, não há impacto na ingestão do espaço de trabalho nem na experiência de consulta.
Crie e gerencie trabalhos de exportação por meio da API REST Log Analytics. Acesse os dados exportados como blobs Parquet em sua conta de armazenamento.
Exportar permissões de trabalho
Para executar um trabalho de exportação, você precisa de permissões no workspace Log Analytics. Você também deve conceder à identidade gerenciada atribuída pelo sistema do espaço de trabalho acesso à conta de armazenamento de destino.
| Ação | Permissões exigidas | Membro |
|---|---|---|
| Executar um trabalho de exportação e consultar a tabela de origem | PermissõesMicrosoft.OperationalInsights/workspaces/query/read e Microsoft.OperationalInsights/workspaces/jobs/export/action para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna Leitor do Log Analytics, por exemplo. |
Usuário |
| Logs de consulta em uma tabela | As permissões Microsoft.OperationalInsights/workspaces/query/<table>/read para o espaço de trabalho de análise de logs conforme fornecidas pela função interna do Leitor de análise de logs, por exemplo. |
Usuário |
| Criar uma identidade gerenciada atribuída pelo sistema no workspace | As permissões Microsoft.OperationalInsights/workspaces/write para o espaço de trabalho de análise de logs conforme fornecidas pela função interna do Colaborador de análise de logs, por exemplo. |
Usuário |
| Resolva o ponto de extremidade da conta de armazenamento de destino. | PermissõesMicrosoft.Storage/storageAccounts/read na conta de armazenamento, conforme fornecido pela função interna Leitor do Log Analytics, por exemplo. |
Identidade gerenciada do espaço de trabalho |
| Gravar na conta de armazenamento de destino | PermissõesMicrosoft.Storage/storageAccounts/blobServices/containers/write, Microsoft.Storage/storageAccounts/blobServices/containers/delete e Microsoft.Storage/storageAccounts/blobServices/containers/read na conta de armazenamento, conforme fornecido pela função interna Contribuidor de Dados de Blob de Armazenamento, por exemplo. |
Identidade gerenciada do espaço de trabalho |
Conceda à identidade gerenciada do espaço de trabalho do Log Analytics acesso ao Armazenamento do Azure.
A identidade gerenciada atribuída pelo sistema do espaço de trabalho do Log Analytics autentica-se em sua conta de armazenamento do Azure para gravar blobs exportados. Configure esta identidade uma vez por espaço de trabalho.
Criar uma identidade gerenciada atribuída pelo sistema no workspace
Note
Os exemplos de API atualizam a identidade do workspace usando PATCH em vez de substituir o workspace. Se o workspace também usar identidades atribuídas pelo usuário, mantenha-as na configuração de identidade e use SystemAssigned,UserAssigned como tipo de identidade.
- No portal do Azure, abra seu espaço de trabalho do Log Analytics.
- Selecione Identidade no menu à esquerda do workspace.
- Na guia Atribuída pelo sistema , defina Status como Ativado e, em seguida, selecione Salvar.
Conceda à identidade gerenciada acesso de gravação à conta de armazenamento de destino
- No portal Azure, abra a conta de armazenamento de destino.
- Selecione Controle de Acesso (IAM)>Adicionar>Adicionar atribuição de função.
- Na guia Função, selecione Colaborador de Dados de Blob de Armazenamento e, em seguida, selecione Avançar.
- Na guia Membros , defina Atribuir acesso àIdentidade Gerenciada e selecione + Selecionar membros.
- No painel Selecionar identidades gerenciadas, selecione a assinatura e o tipo de identidade gerenciada Log Analytics workspace, selecione seu workspace e selecione Selecionar.
- Selecione Examinar + atribuir.
Conceder à identidade gerenciada acesso de leitura ao ponto de extremidade da conta de armazenamento
Repita o procedimento de atribuição de função, mas desta vez atribua a função interna Log Analytics Leitor à mesma identidade gerenciada. Essa função fornece a permissão Microsoft.Storage/storageAccounts/read necessária para resolver o ponto de extremidade da conta de armazenamento.
Considerações sobre a tarefa de exportação
Considere esses fatores antes de enviar um trabalho de exportação:
- Configure o trabalho por meio de uma API REST. A experiência do portal Azure ainda não está disponível.
- Exportar tabelas nos planos Analytics e Basic. Não há suporte para o plano auxiliar.
- Os dados exportados são gravados no formato Parquet. O formato JSON ainda não tem suporte.
- ainda não há suporte para Link Privado do Azure e perímetro de segurança de rede.
- O failover da replicação do espaço de trabalho pode encerrar trabalhos em andamento. Não é possível criar novos trabalhos de exportação na região secundária.
- O trabalho de exportação não oferece suporte às condições do Controle de Acesso Baseado no Azure (ABAC). Se você configurar qualquer condição ABAC no workspace ou se houver uma tabela protegida e você não tiver permissões suficientes para consultá-la, os trabalhos de exportação falharão no nível do workspace e retornarão um erro 403 (Proibido) sem uma mensagem detalhada.
| Limite de trabalho de exportação | Valor | Notes |
|---|---|---|
| Tarefas simultâneas por espaço de trabalho | 5 (ativos, incluindo trabalhos de repetição) | Se você precisar executar mais de cinco trabalhos, envie-os sequencialmente à medida que os trabalhos existentes forem concluídos. |
| Tempo limite do trabalho | 7 dias | Esse tempo limite é suficiente para exportar algumas centenas de terabytes de dados. Se o trabalho estiver se aproximando do limite de tempo de execução, considere restringir a exportação a um intervalo de tempo menor ou otimizar a consulta para reduzir o volume de dados processados e exportados. |
| Intervalo de tempo por trabalho | Intervalo de até 1 ano em todo o período de retenção da tabela | Se você precisar exportar dados para um intervalo de tempo mais longo, envie trabalhos separados com intervalos de tempo diferentes. |
| Repetições do trabalho | 5 repetições por jobId (cada uma dentro de 7 dias após a conclusão do último trabalho) |
Se uma tarefa falhar ou expirar, você poderá tentar novamente a tarefa em até sete dias a partir da conclusão mais recente da tarefa ou enviar uma nova tarefa mais tarde. |
Preços do trabalho de exportação
Os trabalhos de exportação são cobrados com base em dois medidores de Azure Monitor:
- Search Jobs cobra com base no volume de dados examinados na tabela de origem.
- Log Analytics Data Export cobra pelo volume de dados exportados medido na conta de armazenamento do Azure de destino.
Você paga pela capacidade na conta de armazenamento do Azure de destino na sua assinatura, e isso não está incluído no custo do recurso de trabalho de exportação.
O medidor Exportação de Dados do Log Analytics é compartilhado com as regras de exportação de dados. Para distinguir os encargos de trabalho de exportação dos encargos da regra de exportação de dados em sua fatura ou na análise de custo, verifique o campo Informações adicionais . Os trabalhos de exportação são marcados com ExportType:Export job. As regras de exportação de dados são marcadas com ExportType:Data export rule.
Para obter detalhes sobre preços, consulte os preços do Azure Monitor.
Garantir a integridade dos dados
Um trabalho de exportação foi projetado para lidar com centenas de terabytes de logs e inclui um mecanismo de repetição para superar problemas transitórios em consultas, rede ou armazenamento. Se uma tarefa falhar, um ou mais compartimentos poderão ficar sem resultados. Você pode concluir a exportação dentro de sete dias após a conclusão do trabalho original usando a ação retry com o jobId. O processo de repetição é otimizado para lidar com dados incompletos ou ausentes, ignorando dados já exportados com êxito, impedindo duplicatas no destino.
Para verificar o status dos trabalhos ativos e concluídos, habilite as configurações de diagnóstico de Trabalhos no workspace e consulte a LAJobLogs tabela. Você pode iniciar até cinco tentativas de repetição, cada uma dentro de sete dias a partir do horário de conclusão da última tarefa.
Localizar trabalhos de exportação com falha
A consulta de exemplo a seguir retorna trabalhos com falha dos últimos sete dias.
LAJobLogs
| where TimeGenerated > ago(7d)
| where Status == "Failed"
| sort by TimeGenerated asc
Gerenciar um trabalho de exportação
Gerenciar trabalhos de exportação por meio da API REST com parâmetros de configuração de trabalho. A API dá suporte a ações para criação de trabalho, verificações de status, repetição e cancelamento.
Um único trabalho permite que a configuração de até 10 contas de armazenamento resolva cenários de limite de taxa de armazenamento, garantindo que os dados sejam distribuídos com eficiência. Uma única conta de armazenamento é suficiente quando o destino não é compartilhado com outras tarefas de alta largura de banda.
Exportar parâmetros de API de trabalho
Os seguintes parâmetros definem uma solicitação de trabalho de exportação:
| Nome da propriedade | Description |
|---|---|
startTime |
A hora de início da exportação. Deve ser anterior à hora atual. |
endTime |
A hora de término da exportação. Deve ser posterior a startTime e anterior ao horário atual. |
query |
Uma pesquisa de filtragem escrita nos comandos da Linguagem de Consulta Kusto permitidos em tarefas de pesquisa. |
destinationStorageAccounts |
ID do recurso da conta de armazenamento. Por exemplo: /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Storage/storageAccounts/<storage-account-name>.Uma única conta de armazenamento é suficiente na maioria dos casos. Até 10 contas de armazenamento podem ser incluídas se o destino estiver sendo limitado. Os dados exportados são divididos entre as contas de armazenamento. |
containerName |
O nome do contêiner na conta de armazenamento. O contêiner já pode existir ou será criado caso não exista. |
outputDataFormat |
O formato de dados na conta de armazenamento. Atualmente, só Parquet é suportado. O JSON ainda não tem suporte. |
dateTimeFormat |
O formato de data e hora no caminho da conta de armazenamento. Os valores com suporte são yyyy-MM-ddTHH (padrão) e year=yyyy/month=MM/day=dd/hour=HH.Exemplo de caminho: <container-name>/workspaceId/<workspace-id>/jobId/<job-id>/timestamp=<datetime> |
Estimar o tamanho do trabalho de exportação
Antes de enviar um trabalho de exportação, estime o volume de dados para que você possa decidir se deseja definir o escopo da exportação para um intervalo de tempo menor.
Se você quiser exportar todos os dados para um determinado intervalo de tempo, especifique apenas o nome da tabela em query. Se você quiser exportar um subconjunto de registros, escreva uma consulta de pesquisa usando as mesmas convenções KQL que trabalhos de pesquisa e verifique se ela retorna apenas os registros necessários.
Estimar uma exportação de StorageBlobLogs de 90 dias
Para estimar a exportação de todos os dados de StorageBlobLogs ao longo de um período de 90 dias, execute a consulta a seguir em seu workspace. O resultado indica o volume total envolvido e se o trabalho provavelmente excederá o tempo limite. A consulta usa Usage dados dos últimos 30 dias para estimar o volume. As tarifas padrão do Armazenamento de Blobs do Azure se aplicam.
// Definitions
let maxExportGBperDay = 10000; // assessed max daily GB during preview
let maxExportDurationDays = 7; // max job runtime in days
//---------------------------------
// Job parameters
let exportRangeDays = 90; // export time range in days
let tableName = 'StorageBlobLogs'; // table to export
//----------------------------------
// Query
Usage
| where TimeGenerated > ago(30d)
| where DataType == tableName
| summarize last30dGB = sum(Quantity) / 1000 // 30-day ingestion in GB
| extend TotalGBforRange = last30dGB / 30 * exportRangeDays
| extend IsExceedLimit = iff(TotalGBforRange > maxExportDurationDays * maxExportGBperDay, true, false)
| project-away last30dGB
Quando IsExceedLimit for true, é provável que a tarefa expire. Envie várias tarefas com intervalos de tempo menores.
Gere um token de portador para a chamada da API de tarefa de exportação.
As solicitações REST para a API de trabalho de exportação exigem um Authorization: Bearer token. Os tokens expiram periodicamente e um token expirado retorna uma 403 Unauthorized resposta. A API de tarefa de exportação usa o ponto de extremidade do plano de dados api.loganalytics.io (equivalente a api.loganalytics.azure.com). Há algumas maneiras de obter um token.
O az rest comando manipula a geração de token para você.
Criar um trabalho de exportação
Antes de criar uma tarefa de exportação, certifique-se de que o espaço de trabalho tenha uma identidade gerenciada atribuída pelo sistema com a função de Colaborador de Dados de Blob de Armazenamento na conta de armazenamento de destino.
Envie a solicitação a seguir para iniciar um trabalho de exportação. A operação é assíncrona e pode levar vários dias para ser concluída para centenas de terabytes.
O exemplo de CLI do Azure a seguir usa az rest para chamar a operação da /export API REST.
# Set variables
resourceGroupName="<ResourceGroupName>"
workspaceName="<WorkspaceName>"
apiVersion="<ApiVersion>"
# Get the subscription ID from the current Azure CLI context
subscriptionId=$(az account show --query id --output tsv)
# Build request URL
apiEndpoint="https://api.loganalytics.io"
path="/v2/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName"
provider="Microsoft.OperationalInsights/workspaces/$workspaceName"
queryString="?api-version=$apiVersion"
url="$apiEndpoint$path/providers/$provider/jobs/export$queryString"
az rest --method post --url "$url" --body @body.json
Salve o corpo da solicitação a seguir como body.json.
{
"startTime": "<StartTime>",
"endTime": "<EndTime>",
"query": "<Query>",
"destinationStorageAccounts": [
"/subscriptions/<SubscriptionId>/resourceGroups/<ResourceGroupName>/providers/Microsoft.Storage/storageAccounts/<StorageAccountName>"
],
"containerName": "<ContainerName>",
"outputDataFormat": "Parquet",
"dateTimeFormat": "yyyy-MM-ddTHH"
}
Note
Salve o operationId valor retornado pela solicitação. É o jobId que você usa para verificar o status, cancelar ou tentar novamente a tarefa.
Verificar o status do trabalho de exportação
Envie a solicitação a seguir com o trabalho jobId de exportação para verificar o status do trabalho.
O exemplo de CLI do Azure a seguir usa az rest para chamar a operação da /status API REST.
# Set variables
resourceGroupName="<ResourceGroupName>"
workspaceName="<WorkspaceName>"
jobId="<JobId>"
apiVersion="<ApiVersion>"
# Get the subscription ID from the current Azure CLI context
subscriptionId=$(az account show --query id --output tsv)
# Build request URL
apiEndpoint="https://api.loganalytics.io"
path="/v2/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName"
provider="Microsoft.OperationalInsights/workspaces/$workspaceName"
queryString="?api-version=$apiVersion"
url="$apiEndpoint$path/providers/$provider/jobs/export/$jobId/status$queryString"
az rest --method get --url "$url"
Cancelar um trabalho de exportação
Envie a seguinte solicitação com a tarefa de exportação jobId para cancelar a tarefa. Os dados processados e exportados antes do cancelamento permanecem disponíveis no destino Azure conta de armazenamento e são cobrados adequadamente.
Warning
Um trabalho de exportação cancelado é encerrado permanentemente e não pode ser repetido.
O exemplo de CLI do Azure a seguir usa az rest para chamar a operação da /cancel API REST.
# Set variables
resourceGroupName="<ResourceGroupName>"
workspaceName="<WorkspaceName>"
jobId="<JobId>"
apiVersion="<ApiVersion>"
# Get the subscription ID from the current Azure CLI context
subscriptionId=$(az account show --query id --output tsv)
# Build request URL
apiEndpoint="https://api.loganalytics.io"
path="/v2/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName"
provider="Microsoft.OperationalInsights/workspaces/$workspaceName"
queryString="?api-version=$apiVersion"
url="$apiEndpoint$path/providers/$provider/jobs/export/$jobId/cancel$queryString"
az rest --method post --url "$url"
Tentar novamente um trabalho de exportação
Se um trabalho de exportação falhar depois que o serviço esgotar suas tentativas automáticas de repetição ou atingir o tempo limite devido ao grande volume de dados, repita manualmente o trabalho para concluir a exportação. O processo de repetição manual ignora os dados já exportados com êxito e apenas processa compartimentos incompletos ou ausentes, impedindo duplicatas.
Você só pode tentar novamente uma tarefa de exportação manualmente até cinco vezes por jobId. Cada nova tentativa deve ocorrer em até sete dias após o horário de conclusão do trabalho mais recente. Se todas as tentativas de nova execução se esgotarem, a tarefa será encerrada com status Failed.
Note
Um trabalho de exportação cancelado não pode ser repetido.
O exemplo de CLI do Azure a seguir usa az rest para chamar a operação da /retry API REST.
# Set variables
resourceGroupName="<ResourceGroupName>"
workspaceName="<WorkspaceName>"
jobId="<JobId>"
apiVersion="<ApiVersion>"
# Get the subscription ID from the current Azure CLI context
subscriptionId=$(az account show --query id --output tsv)
# Build request URL
apiEndpoint="https://api.loganalytics.io"
path="/v2/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName"
provider="Microsoft.OperationalInsights/workspaces/$workspaceName"
queryString="?api-version=$apiVersion"
url="$apiEndpoint$path/providers/$provider/jobs/export/$jobId/retry$queryString"
az rest --method post --url "$url"
Monitorar trabalhos de exportação
Monitore tanto a conta de armazenamento do Azure de destino quanto a execução do trabalho de exportação.
Monitorar a conta de armazenamento de Azure de destino
Defina um alerta na métrica de entrada da conta de armazenamento de destino para detectar quando você estiver se aproximando do limite de ingestão da conta de armazenamento. A limitação de taxa no destino causa falhas em bins e novas tentativas.
| Scope | Namespace da métrica | Metric | Agregação | Limite por conta de armazenamento |
|---|---|---|---|---|
<storage-account-name> |
Conta | Ingress | Soma | Menos de 80% do limite de ingestão da conta de armazenamento. Por exemplo, o limite para uso geral v2 no Oeste dos EUA é de 60 Gbps. O limite de alerta é de 335 GB por minuto. |
Para obter mais informações, consulte a escalabilidade da conta de armazenamento.
Quando a conta de armazenamento de destino estiver sendo limitada, considere usar uma conta de armazenamento isolada que não seja usada por outros aplicativos ou configure o trabalho de exportação com mais de uma única conta de armazenamento para que os dados exportados sejam distribuídos entre eles.
Monitorar a execução do trabalho de exportação
Para monitorar as operações de trabalho de exportação, defina as configurações de diagnóstico no workspace e habilite a categoria Trabalhos . Operações de trabalho, como Started, Succeedede CanceledFailed são enviadas para a tabela LAJobLogs, onde você pode consultá-las e criar alertas.
Para definir a configuração de diagnóstico:
- No portal do Azure, abra seu espaço de trabalho do Log Analytics.
- Em Monitoramento, selecione Configurações de diagnóstico.
- Selecione Adicionar configuração de diagnóstico.
- Em Logs, selecione a categoria Trabalhos .
- Em Detalhes de destino, selecione Enviar para Log Analytics workspace e selecione seu workspace.
- Forneça um nome e selecione Salvar.
LAJobLogs Esquema
Os campos de chave a seguir na LAJobLogs tabela estão relacionados aos trabalhos de exportação. Para obter o esquema completo, consulte LAJobLogs.
| Nome do campo | Description |
|---|---|
TimeGenerated |
A hora de início do trabalho. |
JobType |
Export para trabalhos de exportação. |
CorrelationId |
Um GUID usado para solução de problemas de suporte. |
JobId |
Um GUID que identifica a tarefa. Essa ID é usada em todo o ciclo de vida do trabalho, incluindo verificações de status, cancelamento e repetição. |
SourceTable |
A tabela que está sendo exportada. |
Status |
O status da operação. Um de Started, Succeeded, Canceledou Failed. |
ResultsRecordCount |
O número de registros exportados. |
ResultsGB |
O volume de dados no destino em gigabytes. |
Message |
Detalhes da operação. |
Destination |
Detalhes de destino, incluindo o nome do contêiner e a conta de armazenamento. |
Auditar trabalhos de exportação
Monitore e audite operações e consultas das tarefas de exportação para garantir a segurança e a conformidade.
Auditar operações de tarefas de exportação
Quando você cria, cancela ou tenta novamente um trabalho de exportação, um evento de auditoria é registrado no log de atividades do Azure refletindo o estado da operação como Accepted, Startedou Succeeded.
Para monitorar as operações de tarefas de exportação em uma assinatura, configure uma regra de alerta de Log de atividades. No portal Azure, abra Azure Monitor, selecione Alertas e crie uma nova regra de alerta. Selecione sua assinatura em Escopo e escolha a operação da tarefa de exportação na guia Condição.
Auditar consultas de tarefas de exportação
Para auditar as consultas usadas em trabalhos de exportação, defina as configurações de diagnóstico no workspace e habilite a categoria Auditoria . As consultas usadas nas tarefas são enviadas para a tabela LAQueryLogs.
Consultar dados exportados de Armazenamento do Azure
Após a conclusão do seu trabalho de exportação, faça consultas nos blobs Parquet exportados por meio do Log Analytics ou do Azure Data Explorer (ADX). Ambos suportam KQL.
Consultar um blob específico de Log Analytics
Use o operador externaldata no Log Analytics quando:
- Você precisa validar uma hora específica ou um pequeno conjunto de logs.
- Você deseja uma análise ad hoc sem configurar uma infraestrutura adicional.
externaldata (
TimeGenerated: datetime,
Message: string,
Severity: string,
Facility: string
)
[
@"https://<storage-account-name>.blob.core.windows.net/<container-name>/workspaceId/<workspace-id>/jobId/<job-id>/timestamp=2026-05-01T00/aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb.gz.parquet?<blob-sas-token>"
]
with (
format="parquet"
)
Consultar logs exportados do ADX
Defina uma tabela externa em um cluster Azure Data Explorer (ADX) e consulte-a com a external_table() função (nenhuma movimentação de dados necessária). Use essa abordagem quando:
- Você precisa de uma análise ampla em muitos blobs ou grandes conjuntos de dados.
- Você deseja um esquema persistente e um desempenho otimizado para consultas repetidas.
.create external table ExportedLogs (TimeGenerated:datetime, Level:string, Message:string)
kind=blob
dataformat=parquet
(
h@"https://<storage-account-name>.blob.core.windows.net/<container-name>;<storage-account-key>"
)
external_table("ExportedLogs")
| summarize count() by Level
Comparar métodos de consulta
| Capability |
externaldata(Log Analytics) |
tabela externa (ADX) |
|---|---|---|
| Melhor para | Validação rápida, escopo pequeno | Consultas repetidas em larga escala |
| Configuração | Nenhum (ad hoc) | Requer um cluster do ADX |
| Performance | Limitado para dados grandes | Otimizado para Big Data |
| Persistência de esquema | No | Yes |
Ingerir logs de tarefas de exportação no ADX em massa
Use LightIngest para ingerir a saída da tarefa de exportação em massa em um cluster ADX. O LightIngest é recomendado para tarefas pontuais de ingestão de grande porte, como o preenchimento retroativo de dados históricos. Ele dá suporte a formatos compactados, incluindo Parquet, com tamanhos de arquivo recomendados entre 100 MB e 1 GB. Para obter mais informações sobre como fazer backup de dados históricos e definir a creationTime propriedade de ingestão, consulte Ingestão de dados históricos em Azure Data Explorer.