Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (visualização)

Este artigo descreve como configurar a transformação de dados em tempo de ingestão e a ingestão de log personalizado para uso no Microsoft Sentinel.

A transformação de dados em tempo de ingestão fornece aos clientes mais controle sobre os dados ingeridos. Complementando os fluxos de trabalho pré-configurados e codificados que criam tabelas padronizadas, a transformação do tempo de ingestão adiciona a capacidade de filtrar e enriquecer as tabelas de saída, mesmo antes de executar quaisquer consultas. A ingestão de log personalizado usa a API de log personalizada para normalizar logs de formato personalizado para que possam ser ingeridos em determinadas tabelas padrão ou, alternativamente, para criar tabelas de saída personalizadas com esquemas definidos pelo usuário para ingerir esses logs personalizados.

Esses dois mecanismos são configurados usando Regras de Coleta de Dados (DCRs), no portal do Log Analytics ou por meio de API ou modelo ARM. Este artigo irá ajudá-lo a escolher que tipo de DCR você precisa para seu conector de dados específico e direcioná-lo para as instruções para cada cenário.

Pré-requisitos

Antes de começar a configurar DCRs para transformação de dados:

• Saiba mais sobre transformação de dados e DCRs no Azure Monitor e no Microsoft Sentinel. Para obter mais informações, consulte:

  • Regras de coleta de dados no Azure Monitor
  • API de ingestão de logs nos logs do Azure Monitor (visualização)
  • Transformações nos Logs do Azure Monitor (visualização)
  • Transformação de dados no Microsoft Sentinel (visualização)

• Verifique o suporte ao conector de dados. Certifique-se de que os conectores de dados são suportados para transformação de dados.

  Em nosso artigo de referência do conector de dados, verifique a seção do seu conector de dados para entender quais tipos de DCRs são suportados. Continue neste artigo para entender como o tipo DCR selecionado afeta o restante do processo de ingestão e transformação.

Determine os seus requisitos

Se está a ingerir	A transformação do tempo de ingestão é...	Use este tipo de DCR
Dados personalizados através de a API de ingestão de log	Necessário Incluído no DCR que define o modelo de dados	DCR padrão
Tipos de dados incorporados (Syslog, CommonSecurityLog, WindowsEvent, SecurityEvent) usando o Azure Monitor Agent	Opcional Se desejado, adicionado ao DCR que configura como esses dados estão sendo ingeridos	DCR padrão
Tipos de dados incorporados da maioria das outras fontes	Opcional Se desejar, adicionado ao DCR anexado ao espaço de trabalho onde esses dados estão sendo ingeridos	DCR de transformação do espaço de trabalho

Configure sua transformação de dados

Use os seguintes procedimentos da documentação do Log Analytics e do Azure Monitor para configurar seus DCRs de transformação de dados:

Ingestão direta através da API de ingestão de log:

• Percorra um tutorial para ingerir logs usando o portal do Azure.
• Percorra um tutorial para ingerir logs usando modelos do Azure Resource Manager (ARM) e API REST.

Transformações do espaço de trabalho:

• Percorra um tutorial para configurar a transformação do espaço de trabalho usando o portal do Azure.
• Percorra um tutorial para configurar a transformação do espaço de trabalho usando modelos do Azure Resource Manager (ARM) e a API REST.-

Mais informações sobre as regras de recolha de dados:

• Estrutura de uma regra de coleta de dados no Azure Monitor (visualização)
• Transformações de coleta de dados no Azure Monitor (visualização)

Quando terminar, volte ao Microsoft Sentinel para verificar se seus dados estão sendo ingeridos com base na transformação recém-configurada. Pode levar até 60 minutos para que as configurações de transformação de dados sejam aplicadas.

Migrar para a transformação de dados em tempo de ingestão

Se você tiver conectores de dados personalizados do Microsoft Sentinel ou conectores de dados internos baseados em API, convém migrar para a transformação de dados em tempo de ingestão.

Utilize um dos métodos seguintes:

• Configure um DCR para definir, do zero, a ingestão personalizada da sua fonte de dados para uma nova tabela. Você pode usar essa opção se quiser usar um novo esquema que não tenha os sufixos de coluna atuais e não exija funções KQL em tempo de consulta para padronizar seus dados.

  Depois de verificar se os dados foram ingeridos corretamente na nova tabela, você pode excluir a tabela herdada, bem como o conector de dados personalizado legado.

• Continue usando a tabela personalizada criada pelo conector de dados personalizado. Você pode usar essa opção se tiver muito conteúdo de segurança personalizado criado para sua tabela existente. Nesses casos, consulte Migrar da API do Coletor de Dados e tabelas habilitadas para campos personalizados para logs personalizados baseados em DCR na documentação do Azure Monitor.

Próximos passos

Para obter mais informações sobre transformação de dados e DCRs, consulte:

• Ingestão e transformação de dados personalizados no Microsoft Sentinel (visualização)
• Transformações de coleta de dados nos Logs do Azure Monitor (visualização)
• API de ingestão de logs nos logs do Azure Monitor (visualização)
• Estrutura de uma regra de coleta de dados no Azure Monitor (visualização)
• Configurar a coleta de dados para o Azure Monitor Agent