Transformar dados usando o filtro e a divisão no Microsoft Sentinel

À medida que os volumes de dados de segurança continuam a crescer, as organizações enfrentam o desafio de equilibrar a retenção econômica da telemetria usada para IA, conformidade e investigações, garantindo que apenas os dados necessários sejam retidos em camadas de armazenamento de alto desempenho. Use o filtro e divida as transformações de dados no Microsoft Sentinel para enfrentar esse desafio modificando os dados no momento da ingestão para otimizar sua estratégia de retenção de dados.

Este artigo descreve como configurar transformações de dados, filtrar e dividir sem a necessidade de criar manualmente configurações personalizadas de Regra de Coleta de Dados (DCR). Quando você personaliza a ingestão de dados usando filtros e transformações de dados divididas, é possível melhorar o desempenho e reduzir o ruído.

Usando transformações de dados, você pode otimizar seu pipeline de dados de segurança controlando quais dados são armazenados e em qual camada. O uso de transformações de filtro e divisão oferece os seguintes benefícios:

  • Otimização de custos: reduza os custos de armazenamento e processamento filtrando dados de baixo valor que não contribuem para a detecção de ameaças. Encaminhe os dados acessados com menos frequência para armazenamento em data lake de baixo custo, mantendo os dados de alta prioridade na camada Analytics.

  • Eficiência aprimorada do SOC: concentre seu SOC (centro de operações de segurança) em eventos acionáveis e de alto valor. Ao remover o ruído no momento da ingestão, os analistas gastam menos tempo vasculhando logs irrelevantes e mais tempo investigando ameaças reais.

  • Desempenho de consulta mais rápido: conjuntos de dados menores na camada análise resultam em tempos de execução de consulta mais rápidos, tornando sua busca de ameaças, investigações de incidentes e regras de análise mais responsivas.

  • Flexibilidade de conformidade e de retenção: mantenha uma retenção abrangente de dados para auditorias regulatórias e análises forenses na camada de data lake, otimizando a camada de Analytics para cargas de trabalho operacionais. Manter a retenção abrangente na camada data lake ao otimizar a camada de Análise atende aos requisitos de conformidade sem sacrificar o desempenho.

  • Gerenciamento de dados escalável: à medida que os volumes de dados da sua organização crescem, as transformações ajudam você a manter o controle sobre os custos e o desempenho. Aplique políticas consistentes entre tabelas para garantir um gerenciamento de dados previsível.

As transformações de filtro e divisão são as primeiras etapas de uma estrutura de transformação maior que permite que você evolua seus dados para atender às suas necessidades. Para obter mais informações sobre conceitos de transformação de dados, consulte Ingestão e transformação de dados personalizadas no Microsoft Sentinel.

Pré-requisitos

Antes de configurar regras de filtro ou transformação dividida, verifique os seguintes requisitos:

  • Seu espaço de trabalho do Microsoft Sentinel deve ser integrado ao portal do Defender. Para obter mais informações, confira Conectar o Microsoft Sentinel ao portal do Microsoft Defender.

  • No portal do Microsoft Defender com o RBAC unificado, as permissões de gerenciamento de dados no grupo permissões de operações de dados.

  • Para o espaço de trabalho Microsoft Sentinel, você precisa da função de Contribuidor Log Analytics, que oferece:

    • Microsoft.OperationalInsights/workspaces/write
    • permissões Microsoft.OperationalInsights/workspaces/tables/write para o workspace do Log Analytics.

  • Para configurar uma transformação dividida:

Tabelas com suporte

Transformações de filtro e divisão têm requisitos diferentes de suporte a tabelas. As Regras de Coleta de Dados (DCRs) determinam como os dados são coletados e transformados durante a ingestão.

  • Filtragem: Suportada em qualquer tabela que suporte DCRs.
  • Divisão: compatível com qualquer tabela que dê suporte apenas à ingestão do Analytics, à ingestão somente do Data lake e às DCRs (Regras de Coleta de Dados).

Para verificar se as tabelas de um conector dão suporte a DCRs, consulte Localizar seu conector de dados do Microsoft Sentinel.

Filtrar transformações

As transformações de filtro permitem reduzir o ruído descartando dados durante a ingestão que não são úteis para investigações. Use uma regra de transformação de filtro para especificar uma condição KQL que determina quais dados filtrar, com os dados restantes enviados para a camada do Analytics.

Use transformações de filtro quando precisar:

  • Reduza o ruído: Concentre seu SOC em eventos que exigem ação, filtrando logs rotineiros de baixa severidade, como eventos de "allow" em logs de firewall.
  • Otimize custos: reduza os custos de armazenamento e processamento descartando dados que não contribuem para a detecção de ameaças.
  • Melhore o desempenho: acelere as consultas e simplifique a análise, reduzindo o volume de dados armazenados.

Considere o seguinte exemplo de uma transformação de filtro:

Sua empresa depende dos logs de firewall para identificar anomalias. A maioria dos registros do firewall são eventos rotineiros de "permissão", com baixa severidade, que não contribuem para a detecção de ameaças. Para reter apenas eventos críticos, como tráfego bloqueado ou alta severidade, e filtrar logs de baixo valor, crie uma regra de transformação de filtro com uma condição KQL para enviar apenas dados de severidade média ou alta que não sejam eventos "permitidos" para a camada de análise.

Transformações divididas

As transformações divididas permitem rotear dados entre a camada do Analytics e a camada do Data lake com base em condições especificadas. Use uma regra de transformação dividida para definir uma expressão KQL que determina quais dados são direcionados ao Analytics. Os dados que não correspondem à expressão são roteados apenas para a camada do Data lake.

Observação

Quando você configura uma transformação dividida, os dados designados para a camada do Analytics também são espelhados na camada do Data lake. Os dados que não correspondem aos critérios do Analytics vão apenas para a camada do data lake. Espelhar dados da camada de Análise para o Data lake ao enviar dados não compatíveis apenas para o Data lake garante que todos os seus dados permaneçam disponíveis no Data lake para fins de conformidade e retenção de longo prazo.

Use transformações divididas quando precisar equilibrar custo e desempenho roteando dados para a camada de armazenamento apropriada:

  • Otimize os custos de armazenamento: encaminhe logs mais antigos ou acessados com menos frequência para a camada do Data lake para armazenamento econômico de longo prazo.
  • Manter o desempenho: mantenha os logs recentes na camada Análise para consultas mais rápidas durante a busca de ameaças ativas.
  • Atenda aos requisitos de conformidade: retenha registros históricos para auditorias regulatórias e análises forenses sem sacrificar a agilidade operacional.

Considere o seguinte exemplo de uma transformação dividida:

Sua empresa ingere milhões de entradas de log de firewall diariamente para detecção de ameaças e conformidade. Sua equipe SOC precisa de acesso em tempo real aos logs recentes para investigações ativas, mas também deve manter logs históricos para auditorias regulatórias. Crie uma regra de transformação dividida para rotear dados em tempo real para a camada do Analytics e dados históricos para a camada do Data lake.

Importante

As transformações criadas no Microsoft Sentinel podem entrar em conflito com transformações criadas no Azure Monitor usando DCRs. Por exemplo, se um DCR já for aplicado a uma tabela para ingerir apenas dados da Região A, e uma transformação de filtro excluir a Região A, nenhum dado é ingerido. Certifique-se de entender e verificar os efeitos combinados da presença de um DCR e de uma transformação aplicada a uma tabela.

Configurar regras de transformação de filtro

Siga estas etapas para criar uma regra de transformação de filtro:

  1. No portal do Microsoft Defender, acesse Microsoft Sentinel>>.

  2. Selecione uma tabela. No painel lateral, selecione Regra de filtro.

    Captura de tela mostrando as propriedades da tabela no Microsoft Sentinel.

  3. No painel lateral, insira um nome de regra.

  4. No campo Condição , insira uma expressão KQL que designe quais dados filtrar. A expressão KQL deve ser avaliada como verdadeira para os dados que você não deseja ingerir.

  5. Defina a opção de status da regra como Ativada para habilitar o filtro.

    Importante

    Os filtros filtram os dados. Os dados que correspondem à condição de filtro são descartados e não são ingeridos nas camadas do Analytics ou do Data lake. Verifique se a expressão KQL captura com precisão os dados que você deseja excluir.

  6. Para adicionar outra condição, selecione Adicionar condição e insira uma nova expressão KQL para filtrar dados. Várias condições são combinadas com um OR lógico, de modo que os dados correspondentes a qualquer uma das condições são filtrados.

  7. Selecione Salvar para aplicar a regra.

  8. Verifique se a regra de filtro está aplicada verificando a coluna Regras de Transformação da tabela. A coluna exibe Filtro quando uma regra de filtro está ativa.

    Captura de tela mostrando a regra de filtro aplicada na lista de tabelas no Microsoft Sentinel.

Configurar uma regra de transformação dividida

Siga estas etapas para criar uma regra de transformação dividida:

  1. No portal do Defender, vá para Microsoft Sentinel>>.

  2. Selecione uma tabela e selecione Dividir regra.

  3. No painel lateral, insira um nome de regra.

  4. No campo Expressão KQL, insira a expressão KQL que define quais dados serão ingeridos na camada Analítica. Os dados que não correspondem a essa expressão são ingeridos na camada do data lake.

  5. Selecione Salvar para aplicar a regra.

  6. Verifique se a regra de divisão é aplicada verificando a coluna Regras de Transformação da tabela. A coluna exibe Dividir quando uma regra de divisão está ativa.

Observação

Os dados divididos ingeridos na camada do Data lake vão para uma tabela separada com o mesmo nome da tabela original, mas com um sufixo "_SPLT". Por exemplo, se você aplicar uma regra dividida à tabela "FirewallLogs", os dados roteados para a camada do Data lake serão ingeridos em uma tabela "FirewallLogs_SPLT" separada. O uso de uma tabela _SPLT separada para os dados do Data Lake permite gerenciar políticas de retenção e acesso de forma independente para as camadas Analytics e Data Lake.

Captura de tela mostrando a regra de divisão aplicada na lista de tabelas no Microsoft Sentinel.

Configurar a retenção para tabelas divididas

Depois de criar uma regra dividida, defina as configurações de retenção para cada camada:

  1. Abaixo da tabela original, veja as tabelas divididas resultantes de Analytics e Data lake.

  2. Para configurar a retenção, selecione a tabela Analytics ou Data lake.

  3. Selecione Configurações de retenção de dados.

  4. Configure o período de retenção e salve.

Como alternativa, selecione a tabela original e configure a retenção do Analytics e do Data lake na caixa de diálogo de configurações de retenção de dados combinada.

Captura de tela mostrando as configurações de retenção para tabelas divididas no Microsoft Sentinel.

Gerenciar regras

Para gerenciar regras existentes, selecione a tabela e, em seguida, selecione Dividir regra ou Filtrar regra , dependendo do tipo de regra que você deseja gerenciar.

  • Para desabilitar uma regra, selecione a opção de status da regra para desativar a regra e selecione Salvar.
  • Para excluir uma regra, observe que excluir uma regra de transformação interrompe imediatamente o processamento de dados dessa regra e pode afetar a ingestão ativa. Para continuar, selecione Excluir.

Verifique as regras executando consultas KQL para confirmar se os dados foram ingeridos corretamente e roteados para a camada correta.

Limitações conhecidas

Lembre-se das seguintes limitações ao usar transformações de filtro e divisão:

  • Visibilidade da tabela XDR: as transformações de divisão e filtro aplicadas a tabelas XDR não aparecem na Busca Avançada nos primeiros 30 dias de dados. As transformações são aplicadas e, quando os dados envelhecem além dos primeiros 30 dias, eles se comportam normalmente na Busca Avançada. Os dados consultados no Log Analytics ou no Microsoft Sentinel refletem a economia de custos imediatamente.

  • Atraso de propagação: as transformações podem levar até uma hora para entrar em vigor.

  • Suporte de tabela: somente tabelas com suporte para DCRs (Regras de Coleta de Dados) dão suporte a transformações de divisão e filtro.

Conteúdo relacionado

  • Última atualização em