Share via

Transformação e ingestão de dados personalizados no Microsoft Sentinel

  • Artigo

O Log Analytics do Azure Monitor serve como a plataforma subjacente ao workspace do Microsoft Sentinel. Por padrão, os logs ingeridos no Microsoft Sentinel são armazenados no Log Analytics por padrão. Do Microsoft Sentinel, você pode acessar os logs armazenados e executar consultas de KQL (linguagem de consulta Kusto) para detectar ameaças e monitorar sua atividade de rede.

O processo de ingestão de dados personalizado do Log Analytics fornece um alto nível de controle sobre os dados que são ingeridos. Ele usa DCRs (regras de coleta de dados) para coletar seus dados e manipulá-los mesmo antes de serem armazenados em seu workspace. Isso permite filtrar e enriquecer tabelas padrão e criar tabelas altamente personalizáveis para armazenar dados de fontes que produzem formatos de log exclusivos.

O Microsoft Sentinel oferece duas ferramentas para controlar esse processo:

  • A API de ingestão de logs permite que você envie logs de formato personalizado de qualquer fonte de dados para seu workspace do Log Analytics e armazene esses logs em determinadas tabelas padrão específicas ou em tabelas de formato personalizado criadas por você. Você tem controle total sobre a criação dessas tabelas personalizadas, até a especificação dos nomes e tipos de coluna. Você cria DCRs (regras de coleta de dados) para definir, configurar e aplicar transformações a esses fluxos de dados.

  • A transformação da coleta de dados usa DCRs para aplicar consultas KQL básicas a logs padrão de entrada (e certos tipos de logs personalizados) antes que eles sejam armazenados em seu workspace. Essas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com análises ou dados externos ou mascarar informações confidenciais ou pessoais.

Essas duas ferramentas serão explicadas em mais detalhes abaixo.

Casos de uso e cenários de exemplo

Filtragem

A transformação de tempo de ingestão fornece a capacidade de filtrar dados irrelevantes mesmo antes de ele ser armazenado primeiro em seu workspace.

Você pode filtrar no nível de registro (linha), especificando critérios para quais registros incluir, ou no nível de campo (coluna), removendo o conteúdo de campos específicos. A filtragem de dados irrelevantes pode:

  • Ajudar a reduzir os custos, conforme você reduz os requisitos de armazenamento
  • Aprimorar o desempenho, pois são necessários menos ajustes no tempo de consulta

A transformação de dados de tempo de ingestão dá suporte a cenários de vários workspaces.

Normalização

A transformação em tempo de ingestão também permite normalizar logs quando ingeridos em tabelas internas ou normalizadas por ASIM do cliente. O uso da normalização em tempo de ingestão aprimora o desempenho das consultas normalizadas.

Para obter mais informações sobre a normalização em tempo de ingestão usando transformações, consulte Normalização em tempo de ingestão.

Enriquecimento e marcação

A transformação de tempo de ingestão também permite aprimorar a análise, enriquecendo seus dados com colunas extras adicionadas à transformação KQL configurada. Colunas extras podem incluir dados analisados ou calculados de colunas existentes ou dados extraídos de estruturas de dados criadas imediatamente.

Por exemplo, você pode adicionar informações extras, como dados de RH externos, uma descrição de evento expandido ou classificações que dependem do usuário, do local ou do tipo de atividade.

Mascaramento

As transformações de tempo de ingestão também podem ser usadas para mascarar ou remover informações pessoais. Por exemplo, você pode usar a transformação de dados para mascarar tudo exceto os últimos dígitos de um número do seguro social ou número de cartão de crédito, ou pode substituir outros tipos de dados pessoais por texto aleatório, padrão ou dados fictícios. Mascarar suas informações pessoais no momento da ingestão para aumentar a segurança em toda a rede.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem a seguir mostra onde a transformação de dados de tempo de ingestão entra no fluxo de ingestão de dados no Microsoft Sentinel.

O Microsoft Sentinel coleta dados para o workspace do Log Analytics de várias fontes.

  • Os dados de conectores de dados internos são processados no Log Analytics usando certa combinação de fluxos de trabalho codificados e transformações de tempo de ingestão no DCR do workspace. Esses dados podem ser armazenados em tabelas padrão ou em um conjunto específico de tabelas personalizadas.
  • Os dados ingeridos diretamente no ponto de extremidade da API de ingestão de logs são processados por um DCR padrão, que pode incluir uma transformação de tempo de ingestão. Esses dados podem ser armazenados em tabelas padrão ou personalizadas de qualquer tipo.

Diagram of the Microsoft Sentinel data transformation architecture.

Suporte a DCR no Microsoft Sentinel

Em Log Analytics, as DCRs (regras de coleta de dados) determinam o fluxo de dados para diferentes fluxos de entrada. Um fluxo de dados inclui: o fluxo de dados a ser transformado (padrão ou personalizado), workspace de destino, a transformação de KQL e a tabela de saída. Para fluxos de entrada padrão, a tabela de saída é igual ao fluxo de entrada.

O suporte para DCRs no Microsoft Sentinel inclui:

  • DCRs padrão, atualmente compatível apenas com fluxos de trabalho e conectores baseados em AMA usando a nova API de ingestão de logs.

    Cada conector ou fluxo de trabalho de origem de log pode ter uma DCR padrão própria dedicada, embora vários conectores ou fontes também possam compartilhar uma DCR padrão comum.

  • DCRs de transformação de workspace, para fluxos de trabalho que atualmente não dão suporte a DCRs padrão.

    Uma DCR de transformação de workspace atende a todos os fluxos de trabalho compatíveis em um workspace que não são atendidos por DCRs padrão. Um workspace pode ter apenas uma DCR de transformação de workspace, mas essa DCR contém transformações separadas para cada fluxo de entrada. Além disso, as DCRs de transformação do workspace são compatíveis apenas com um conjunto específico de tabelas.

O suporte do Microsoft Sentinel para transformação de tempo de ingestão depende do tipo de conector de dados que você está usando. Para obter informações mais detalhadas sobre logs personalizados, transformação de tempo de ingestão e regras de coleta de dados, consulte os artigos vinculados na seção Próximas etapas no final deste artigo.

Suporte a DCR para conectores de dados do Microsoft Sentinel

A seguinte tabela descreve o suporte a DCR para tipos de conectores de dados do Microsoft Sentinel:

Tipo de conector de dados Suporte a DCR
Ingestão direta por meio da API de ingestão de logs DCRs padrão
Logs padrão do AMA, como:
  • Eventos de Segurança do Windows via AMA
  • Eventos Encaminhados do Windows
  • Dados de CEF
  • Dados syslog
    		•  DCRs padrão
    Logs padrão do MMA, como
  • Dados syslog
  • CommonSecurityLog
    		•  DCRs de transformação do workspace
    Conexões baseadas em configurações de diagnóstico DCRs de transformação de workspace, com base nas tabelas de saída com suporte para conectores de dados específicos
    Conectores de dados internos de serviço a serviço, como:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  DCRs de transformação de workspace, com base nas tabelas de saída com suporte para conectores de dados específicos
    Conector de dados interno baseado em API, como:
  • Conectores de dados sem código
    		•  DCRs padrão
    Conectores de dados internos baseados em API, como:
  • Conectores de dados legados sem código
  • Conectores de dados baseados no Azure Functions
    		•  Sem suporte no momento

    Suporte à transformação de dados para conectores de dados personalizados

    Se você tiver criado conectores de dados personalizados para o Microsoft Sentinel, poderá usar DCRs para configurar como os dados serão analisados e armazenados no Log Analytics em seu workspace.

    No momento, somente as seguintes tabelas são compatíveis com a ingestão de logs personalizados:

    Para obter mais informações, consulte Tabelas que oferecem suporte a transformações em tempo de ingestão.

    Limitações

    Atualmente, a transformação de dados de tempo de ingestão tem os seguintes problemas conhecidos para conectores de dados do Microsoft Sentinel:

    • As transformações de dados usando DCRs de transformação de workspace têm suporte apenas por tabela, não por conector.

      Só pode haver um DCR de transformação de workspace para um workspace inteiro. Dentro desse DCR, cada tabela pode usar um fluxo de entrada separado com uma transformação própria. No entanto, se você tiver dois conectores de dados diferentes baseados em MMA enviando dados para a tabela Syslog, eles terão que usar a mesma configuração de fluxo de entrada no DCR. A divisão de dados para vários destinos (workspaces do Log Analytics) com uma DCR de transformação de workspace não é possível.

    • Há suporte para as seguintes configurações somente via API:

    • Leva até 60 minutos para que as configurações de transformação de dados se apliquem.

    • Sintaxe KQL: nem todos os operadores são compatíveis. Para obter mais informações, configure limitações do KQL e recursos de KQL compatíveis na documentação do Azure Monitor.

    • Só é possível enviar logs de uma fonte de dados específica para um espaço de trabalho. Para enviar dados de uma única fonte de dados para vários workspaces (destinos) com um DCR padrão, crie um DCR por workspace.

    Próximas etapas

    Introdução à configuração da transformação de dados de tempo de ingestão no Microsoft Sentinel.

    Saiba mais sobre os tipos de conector de dados do Microsoft Sentinel. Para obter mais informações, consulte:

    Para obter informações mais detalhadas sobre a transformação de tempo de ingestão, a API de logs personalizados e as regras de coleta de dados, confira os seguintes artigos na documentação do Azure Monitor: