Partilhar via

Normalização do tempo de ingestão

  • Artigo

Análise do tempo de consulta

Como discussão na visão geral do ASIM, o Microsoft Sentinel usa o tempo de consulta e a normalização do tempo de ingestão para aproveitar os benefícios de cada um.

Para usar a normalização do tempo de consulta, use os analisadores unificadores de tempo de consulta, como _Im_Dns em suas consultas. A normalização usando a análise de tempo de consulta tem várias vantagens:

  • Preservando o formato original: a normalização do tempo de consulta não exige que os dados sejam modificados, preservando assim o formato de dados original enviado pela fonte.
  • Evitar possíveis duplicados de armazenamento: Como os dados normalizados são apenas uma exibição dos dados originais, não há necessidade de armazenar dados originais e normalizados.
  • Desenvolvimento mais fácil: Como os analisadores de tempo de consulta apresentam uma visualização dos dados e não modificam os dados, eles são fáceis de desenvolver. O desenvolvimento, o teste e a fixação de um analisador podem ser feitos com base nos dados existentes. Além disso, os analisadores podem ser corrigidos quando um problema é descoberto e a correção será aplicada aos dados existentes.

Análise do tempo de ingestão

Embora os analisadores de tempo de consulta ASIM sejam otimizados, a análise de tempo de consulta pode tornar as consultas mais lentas, especialmente em grandes conjuntos de dados.

A análise de tempo de ingestão permite transformar eventos em um esquema normalizado à medida que são ingeridos no Microsoft Sentinel e armazená-los em um formato normalizado. A análise do tempo de ingestão é menos flexível e os analisadores são mais difíceis de desenvolver, mas como os dados são armazenados em um formato normalizado, oferece melhor desempenho.

Os dados normalizados podem ser armazenados nas tabelas normalizadas nativas do Microsoft Sentinel ou em uma tabela personalizada que usa um esquema ASIM. Uma tabela personalizada que tem um esquema próximo, mas não idêntico, a um esquema ASIM, também fornece os benefícios de desempenho da normalização do tempo de ingestão.

Atualmente, o ASIM suporta as seguintes tabelas normalizadas nativas como destino para normalização do tempo de ingestão:

A vantagem das tabelas normalizadas nativas é que elas são incluídas por padrão nos analisadores unificadores do ASIM. Tabelas normalizadas personalizadas podem ser incluídas nos analisadores unificadores, conforme discutido em Gerenciar analisadores.

Combinar a normalização do tempo de ingestão e do tempo de consulta

As consultas devem sempre usar os analisadores unificadores de tempo de consulta, de modo a _Im_Dns aproveitar o tempo de consulta e a normalização do tempo de ingestão. As tabelas normalizadas nativas são incluídas nos dados consultados usando um analisador de stub.

O analisador de stub é um analisador de tempo de consulta que usa como entrada a tabela normalizada. Como a tabela normalizada não requer análise, o analisador de stub é eficiente.

O analisador de stub apresenta uma exibição para a consulta de chamada que adiciona à tabela nativa do ASIM:

  • Aliases - para não desperdiçar armazenamento em valores repetidos, os aliases não são armazenados em tabelas nativas ASIM e são adicionados no momento da consulta pelos analisadores de stub.
  • Valores constantes - Como aliases, e pelo mesmo motivo, as tabelas normalizadas ASIM também não armazenam valores constantes, como EventSchema. O analisador de stub adiciona esses campos. A tabela normalizada ASIM é compartilhada por muitas fontes, e os analisadores de tempo de ingestão podem alterar sua versão de saída. Portanto, campos como EventProduct, EventVendor e EventSchemaVersion não são constantes e não são adicionados pelo analisador de stub.
  • Filtragem - o analisador de stub também implementa a filtragem. Embora as tabelas nativas do ASIM não precisem de analisadores de filtragem para obter um melhor desempenho, a filtragem é necessária para dar suporte à inclusão no analisador unificador.
  • Atualizações e correções - O uso de um analisador de stub permite corrigir problemas mais rapidamente. Por exemplo, se os dados foram ingeridos incorretamente, um endereço IP pode não ter sido extraído do campo de mensagem durante a ingestão. O endereço IP pode ser extraído pelo analisador de stub no momento da consulta.

Ao usar tabelas normalizadas personalizadas, crie seu próprio analisador de stub para implementar essa funcionalidade e adicione-o aos analisadores unificadores, conforme discutido em Gerenciar analisadores. Use o analisador de stub para a tabela nativa, como o analisador de stub de tabela nativa DNS e sua contraparte de filtragem, como ponto de partida. Se a tabela estiver seminormalizada, use o analisador de stub para executar a análise e normalização adicionais necessárias.

Saiba mais sobre como escrever analisadores em Desenvolvendo analisadores ASIM.

Implementando a normalização do tempo de ingestão

Para normalizar os dados na ingestão, você precisará usar uma Regra de Coleta de Dados (DCR). O procedimento de implementação do DCR depende do método utilizado para ingerir os dados. Para obter mais informações, consulte o artigo Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel.

Uma consulta de transformação KQL é o núcleo de um DCR. A versão KQL usada em DCRs é ligeiramente diferente da versão usada em outros lugares no Microsoft Sentinel para acomodar os requisitos de processamento de eventos de pipeline. Portanto, você precisará modificar qualquer analisador de tempo de consulta para usá-lo em um DCR. Para obter mais informações sobre as diferenças e como converter um analisador de tempo de consulta em um analisador de tempo de ingestão, leia sobre as limitações do DCR KQL.

Próximos passos

Para obter mais informações, consulte: