Gerenciar a retenção de dados em um workspace do Log Analytics
Artigo
Um workspace do Log Analytics retém dados em dois estados:
Retenção interativa: nesse estado, os dados estão disponíveis quase em tempo real para monitoramento, resolução de problemas e análises.
Retenção de longo prazo: neste estado com custo reduzido, os dados não estão disponíveis para as funcionalidades do plano de tabela, mas podem ser acessados por meio de trabalhos de pesquisa.
Este artigo explica como os workspaces do Log Analytics retêm dados e como gerenciar a retenção de dados das tabelas no seu workspace.
Retenção interativa, de longo prazo e total
Por padrão, todas as tabelas em um workspace do Log Analytics retêm dados por 30 dias, exceto para tabelas de log com retenção padrão de 90 dias. Durante esse período de retenção interativa, você pode recuperar os dados da tabela por meio de consultas e os dados ficam disponíveis para visualizações, alertas e outros recursos e serviços, com base no plano da tabela.
Você pode estender o período de retenção interativa das tabelas com o Plano de análise por até dois anos. Os Planos básico e auxiliar têm um período de retenção interativo fixo de 30 dias.
Observação
Se precisar diminuir o período de retenção interativa das tabelas do Analytics para até quatro dias, você pode usar a API ou a CLI. No entanto, como 31 dias de retenção interativa estão incluídos no preço de ingestão, reduzir o período de retenção abaixo de 31 dias não reduz os custos.
Para reter dados na mesma tabela além do período de retenção interativa, estenda a retenção total da tabela por até 12 anos. Ao final do período de retenção interativa, os dados permanecem na tabela pelo restante do período de retenção total configurado. Durante o período de retenção de longo prazo, execute um trabalho de pesquisa para recuperar os dados específicos que você precisa da tabela e disponibilize-os para consultas interativas em uma tabela de resultados da pesquisa.
Como funcionam as modificações de retenção
Quando você reduz a retenção total de uma tabela, os Logs do Azure Monitor aguardam 30 dias antes de remover os dados, permitindo que você reverta a alteração e evite perda de dados se cometer um erro de configuração.
Quando você aumenta a retenção total, o novo período de retenção se aplica a todos os dados já ingeridos pela tabela e que ainda não foram removidos.
Quando você altera as configurações de retenção de longo prazo de uma tabela que já possui dados, a alteração entra em vigor imediatamente.
Exemplo:
Você tem uma tabela do Analytics com 180 dias de retenção interativa e nenhuma retenção de longo prazo.
Você altera a retenção interativa para 90 dias sem mudar o período de retenção total de 180 dias.
O Azure Monitor trata automaticamente os 90 dias restantes da retenção total como retenção de baixo custo e de longo prazo, garantindo que os dados de 90 a 180 dias não sejam perdidos.
Permissões necessárias
Ação
Permissões necessárias
Configurar a retenção interativa padrão para tabelas do Analytics em um workspace do Log Analytics
As permissões Microsoft.OperationalInsights/workspaces/write e microsoft.operationalinsights/workspaces/tables/write para os workspaces do Log Analytics, conforme fornecidas pela função integrada de Colaborador do Log Analytics, por exemplo
Obter a configuração de retenção por tabela para um workspace do Log Analytics
As permissões Microsoft.OperationalInsights/workspaces/tables/read para os workspaces do Log Analytics, conforme fornecidas pela função integrada Leitor do Log Analytics, por exemplo
Configurar o período de retenção interativa padrão das tabelas do Analytics
O período de retenção interativa padrão de todas as tabelas em um workspace do Log Analytics é de 30 dias. Você pode alterar o período de retenção interativa padrão das Tabelas de análise para até dois anos ajustando a configuração de retenção de dados do workspace. As Tabelas básicas e auxiliares têm um período de retenção interativo fixo de 30 dias.
Alterar a configuração de retenção de dados no nível do workspace padrão afeta automaticamente todas as Tabelas de análise às quais a configuração padrão ainda se aplica em seu workspace. Mas, se você já alterou a retenção interativa de uma tabela específica, essa tabela não será afetada pelas mudanças na configuração padrão de retenção de dados do workspace.
Importante
Workspaces com retenção de 30 dias podem manter os dados por 31 dias. Se você precisar reter dados por 30 dias apenas para cumprir uma política de privacidade, configure a retenção do workspace padrão para 30 dias usando a API e atualize a propriedade do workspace immediatePurgeDataOn30Days para true. No momento, essa operação só tem suporte usando os Workspaces – Atualizar a API.
O corpo da solicitação inclui os valores na tabela a seguir.
Nome
Tipo
Descrição
properties.retentionInDays
Número inteiro
A retenção de dados do workspace em dias. Os valores permitidos são por plano de preços. Consulte a documentação dos tipos de preços para obter detalhes.
location
string
A localização geográfica do recurso.
immediatePurgeDataOn30Days
boolean
Sinalizador que indica se os dados são removidos imediatamente após 30 dias e não podem ser recuperados. Aplicável somente quando a retenção do workspace é definida como 30 dias.
Exemplo
Este exemplo define a retenção do workspace para o padrão do workspace de 30 dias e garante que os dados sejam removidos logo após esse período de 30 dias e não possam ser recuperados.
Para definir o período padrão de retenção interativa das Tabelas de análise em um workspace do Log Analytics, execute o comando az monitor log-analytics workspace update e passe o parâmetro --retention-time.
Este exemplo define a retenção interativa da tabela como 30 dias:
Use o cmdlet Set-AzOperationalInsightsWorkspace para definir o período de retenção interativa padrão das Tabelas de análise um workspace do Log Analytics. Esse exemplo define o período padrão de retenção interativa para 30 dias:
Para adicionar retenção de longo prazo a uma tabela com qualquer plano de dados, defina a retenção total para até 12 anos (4.383 dias). O ano de tabela auxiliar está atualmente em visualização pública, durante a qual a retenção total do plano é fixada em 365 dias.
Observação
Atualmente, você pode definir a retenção total para até 12 anos por meio da API e do portal do Azure. A CLI e o PowerShell são limitados a sete anos; o suporte aos 12 anos ficará disponível em breve.
Você pode usar PUT ou PATCH, com a seguinte diferença:
A API Put define retentionInDays e totalRetentionInDays como valor padrão se você não definir valores não nulos.
A API PATCH não altera os valores retentionInDays ou totalRetentionInDays se você não especificar valores.
Corpo da solicitação
O corpo da solicitação inclui os valores na tabela a seguir.
Nome
Tipo
Descrição
properties.retentionInDays
inteiro
A retenção de dados da tabela em dias. Esse valor pode estar entre 4 e 730. Definir essa propriedade como nula aplica o período de retenção do workspace. Para uma tabela de Logs Básicos e Auxiliares, o valor é sempre 30.
properties.totalRetentionInDays
Número inteiro
A retenção de dados total da tabela, incluindo a retenção de longo prazo. Esse valor pode estar entre 4 e 730; ou 1095, 1460, 1826, 2191, 2556, 2922, 3288, 3653, 4018 ou 4383. Defina essa propriedade como nula se não quiser retenção de longo prazo.
Exemplo
Este exemplo define a retenção interativa da tabela para o padrão de 30 dias do workspace, e a retenção total para de dois anos, o que significa que o período de retenção de longo prazo é de 23 meses.
Esse exemplo define a retenção interativa da tabela para 30 dias, e a retenção total para dois anos, o que significa que o período de retenção de longo prazo é de 23 meses:
Para reaplicar o valor de retenção interativa padrão do espaço de trabalho à tabela e redefinir sua retenção total como 0, execute o comando az monitor log-analytics workspace table update com os parâmetros --retention-time e --total-retention-time definidos como -1.
Use o cmdlet Update-AzOperationalInsightsTable para alterar as definições de retenção de uma tabela. Esse exemplo define a retenção interativa da tabela para 30 dias, e a retenção total para dois anos, o que significa que o período de retenção de longo prazo é de 23 meses:
Para reaplicar o valor de retenção interativo padrão do espaço de trabalho à tabela e redefinir sua retenção total para 0, execute o cmdlet Update-AzOperationalInsightsTable com os parâmetros -RetentionInDays e -TotalRetentionInDays definidos como -1.
Para exibir as configurações de retenção de uma tabela no portal do Azure, a partir do menu Workspaces do Log Analytics, selecione Tabelas.
A tela Tabelas mostra o período de retenção interativa e de retenção total para todas as tabelas no workspace.
Para obter a configuração de retenção de uma tabela específica (neste exemplo, SecurityEvent), chame a API Tabelas - Obter:
GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables/SecurityEvent?api-version=2022-10-01
Para obter todas as configurações de retenção no nível de tabela em seu workspace, não defina um nome de tabela.
Por exemplo:
GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables?api-version=2022-10-01
O que acontece com os dados quando você exclui uma tabela em um workspace do Log Analytics?
Um workspace do Log Analytics pode conter vários tipos de tabelas. O que acontece quando você exclui a tabela é diferente para cada um:
Tipo de tabela
Retenção de dados
Recomendações
Tabela do Azure
Uma tabela do Azure contém logs de um recurso ou dados do Azure exigidos por um serviço ou solução do Azure e não pode ser excluído. Quando você para de transmitir dados do recurso, serviço ou solução, os dados permanecem no workspace até o final do período de retenção definido para a tabela.
Para minimizar os encargos, defina a retenção no nível da tabela como quatro dias antes de interromper a transmissão de logs para a tabela.
Exclui a tabela temporariamente até o final da retenção no nível da tabela ou do período de retenção padrão do workspace. Durante o período de exclusão temporária, você continua pagando pela retenção de dados e pode recriar a tabela e acessar os dados configurando uma tabela com o mesmo nome e esquema. Quatorze dias depois de excluir uma tabela personalizada, o Azure Monitor remove a configuração de retenção no nível da tabela e aplica a retenção do workspace padrão.
Para minimizar os encargos, defina a retenção no nível da tabela como quatro dias antes de excluir a tabela.
Exclui o cache de acesso frequente provisionado para a restauração, mas os dados da tabela de origem não são excluídos.
Tabelas de log com retenção padrão de 90 dias
Por padrão, as tabelas Usage e AzureActivity mantêm os dados por no mínimo 90 dias sem custos adicionais. Ao aumentar a retenção do workspace para mais de 90 dias, a você também aumenta a retenção dessas tabelas. Também não são cobrados encargos de ingestão de dados para esses tipos de dados.
Tabelas relacionadas a recursos do Application Insights também mantêm os dados por 90 dias sem encargos. Você pode ajustar a retenção de cada uma dessas tabelas individualmente:
AppAvailabilityResults
AppBrowserTimings
AppDependencies
AppExceptions
AppEvents
AppMetrics
AppPageViews
AppPerformanceCounters
AppRequests
AppSystemEvents
AppTraces
Modelo de preços
Os custos para adicionar retenção interativa e de longo prazo são calculados com base no volume de dados retidos, em GB, e na quantidade de dias que os dados são retidos. Dados de log que possuem _IsBillable == false não estão sujeitos a cobranças de ingestão ou retenção.
Neste módulo, você aprenderá a criar e configurar o acesso a um workspace do Log Analytics. Você também aprenderá a configurar a retenção de dados e habilitar alertas de status de integridade para um workspace do Log Analytics.