Ingestão e transformação de dados personalizados no Microsoft Sentinel

Logs do Azure Monitor serve como plataforma de dados para o Microsoft Sentinel. Todos os registos ingeridos em Microsoft Sentinel são armazenados numa área de trabalho do Log Analytics e as consultas de registo escritas em Linguagem de Consulta Kusto (KQL) são utilizadas para detetar ameaças e monitorizar a atividade de rede.

O Log Analytics dá-lhe um elevado nível de controlo sobre os dados que são ingeridos na sua área de trabalho com regras de ingestão de dados e recolha de dados (DCRs) personalizadas. Os DCRs permitem-lhe recolher e manipular os seus dados antes de serem armazenados na área de trabalho. Os DCRs formatam e enviam dados para tabelas padrão do Log Analytics e tabelas personalizáveis para origens de dados que produzem formatos de registo exclusivos.

As transformações de filtragem e divisão podem ser aplicadas aos dados no momento da ingestão para reduzir o ruído e encaminhar os dados para a camada de armazenamento adequada. Estas transformações não requerem a criação de um DCR e estão definidas na página de gestão de tabelas do Microsoft Sentinel no portal do Defender. Para obter mais informações, veja Filtrar e dividir transformações no Microsoft Sentinel.

ferramentas Azure Monitor para ingestão de dados personalizados no Microsoft Sentinel

Microsoft Sentinel utiliza as seguintes ferramentas do Azure Monitor para controlar a ingestão de dados personalizada:

• As transformações são definidas em DCRs e aplicam consultas KQL aos dados recebidos antes de serem armazenadas na área de trabalho. Estas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com dados externos ou analíticos ou mascarar informações confidenciais ou pessoais.

• A API de ingestão de registos permite-lhe enviar registos de formato personalizado a partir de qualquer origem de dados para a área de trabalho do Log Analytics e armazenar esses registos em determinadas tabelas padrão ou em tabelas de formatação personalizada que criar. Tem controlo total sobre a criação destas tabelas personalizadas, até especificar os nomes e tipos de coluna. A API utiliza DCRs para definir, configurar e aplicar transformações a estes fluxos de dados.

Observação

Se o Microsoft Sentinel estiver ativado para o espaço de trabalho do Log Analytics, as transformações para as tabelas Analytics não estarão sujeitas à taxa de filtragem do Azure Monitor, independentemente da quantidade de dados que a transformação filtre. Essa isenção não se estende às tabelas Basic, que incorrem na cobrança de filtragem quando uma transformação elimina mais de 50% dos dados recebidos. Transformações no Microsoft Sentinel, de outra forma, têm as mesmas limitações do Azure Monitor. Para obter mais informações, veja Limitações e considerações.

Suporte para DCR no Microsoft Sentinel

As transformações de tempo de ingestão são definidas em regras de recolha de dados (DCRs), que controlam o fluxo de dados no Azure Monitor. Os DCRs são usados por conectores do Sentinel baseados em AMA e por fluxos de trabalho que usam a API de ingestão de Logs. Cada DCR contém a configuração para um cenário de recolha de dados específico e vários conectores ou origens podem partilhar um único DCR.

DCRs de transformação do espaço de trabalho dão suporte a fluxos de trabalho que, de outra maneira, não usariam DCRs. Os DCRs de transformação da área de trabalho contêm transformações para quaisquer tabelas suportadas e são aplicados a todo o tráfego enviado para essa tabela.

Para saber mais, confira:

• Transformações de recolha de dados no Monitor do Azure
• API de ingestão de registos nos Registos do Azure Monitor
• Regras de recolha de dados no Monitor do Azure

Casos de utilização e cenários de exemplo

O artigo Transformações de exemplo no Monitor do Azure fornece uma descrição e consultas de exemplo para cenários comuns com transformações de tempo de ingestão no Azure Monitor. Os cenários particularmente úteis para Microsoft Sentinel incluem:

• Reduza os custos de dados. Filtre a recolha de dados por linhas ou colunas para reduzir os custos de ingestão e armazenamento.

• Normalizar dados. Normalize os registos com o Modelo de Informações de Segurança Avançada (ASIM) para melhorar o desempenho das consultas normalizadas. Para obter mais informações, veja Normalização do tempo de ingestão.

• Melhore os dados. As transformações no momento da ingestão permitem melhorar as análises ao enriquecer seus dados com colunas extras incluídas na transformação KQL configurada. As colunas adicionais podem incluir dados analisados ou calculados de colunas existentes.

• Remover dados confidenciais. As transformações no momento da ingestão podem ser usadas para mascarar ou remover informações pessoais, como ocultar todos os dígitos, exceto os últimos, de um número do seguro social ou de um cartão de crédito.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem a seguir mostra onde a transformação de dados de tempo de ingestão entra no fluxo de ingestão de dados no Microsoft Sentinel. Estes dados podem ser suportados em tabelas padrão ou num conjunto específico de tabelas personalizadas.

Esta imagem mostra o pipeline da nuvem, que representa o componente de coleta de dados do Azure Monitor. Pode saber mais sobre o mesmo juntamente com outros cenários de recolha de dados em Regras de recolha de dados (DCRs) no Azure Monitor.

Microsoft Sentinel recolhe dados na área de trabalho do Log Analytics a partir de várias origens.

• Os dados recolhidos a partir do ponto final da API de ingestão de registos ou do agente do Azure Monitor (AMA) são processados por um DCR específico que pode incluir uma transformação em tempo de ingestão.
• Os dados de conectores de dados internos são processados no Log Analytics usando uma combinação de fluxos de trabalho predefinidos no código e transformações no momento da ingestão no DCR do workspace.

A tabela a seguir descreve o suporte a DCR para os tipos de conectores de dados do Microsoft Sentinel:

Tipo de conector de dados	Suporte a DCR
logs do agente do Azure Monitor (AMA), tais como: Eventos de Segurança do Windows via AMA Eventos Encaminhados do Windows Dados CEF Dados do Syslog	Um ou mais DCRs associados ao agente
Ingestão direta através da API de ingestão de registos	DCR especificado na chamada à API
Conector de dados incorporado baseado em API, como: Conectores de dados sem código	DCR criado para o conector
Conexões baseadas em configurações de diagnóstico	DCR de transformação da área de trabalho com tabelas de saída suportadas
Conectores de dados incorporados baseados em API, tais como: Conectores de dados herdados sem código conectores de dados baseados em Azure Functions	Não há suporte atualmente
Conectores de dados de serviço a serviço incorporados, tais como: Microsoft Office 365 Microsoft Entra ID Amazon S3	DCR de transformação da área de trabalho para tabelas que suportam transformações

Conteúdo relacionado

Para saber mais, confira:

• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (pré-visualização)
• Filtrar e dividir transformações no Microsoft Sentinel
• Conectores de dados do Microsoft Sentinel
• Localizar o conector de dados Microsoft Sentinel