Ingestão e transformação de dados personalizados no Microsoft Sentinel

Azure Monitorizar Registos serve como plataforma de dados para Microsoft Sentinel. Todos os registos ingeridos em Microsoft Sentinel são armazenados numa área de trabalho do Log Analytics e as consultas de registo escritas em Linguagem de Consulta Kusto (KQL) são utilizadas para detetar ameaças e monitorizar a atividade de rede.

O Log Analytics dá-lhe um elevado nível de controlo sobre os dados que são ingeridos na sua área de trabalho com regras de ingestão de dados e recolha de dados (DCRs) personalizadas. Os DCRs permitem-lhe recolher e manipular os seus dados antes de serem armazenados na área de trabalho. Os DCRs formatam e enviam dados para tabelas padrão do Log Analytics e tabelas personalizáveis para origens de dados que produzem formatos de registo exclusivos.

As transformações de filtragem e divisão podem ser aplicadas aos dados no momento da ingestão para reduzir o ruído e encaminhar os dados para a camada de armazenamento adequada. Estas transformações não requerem a criação de um DCR e estão definidas na página de gestão de tabelas do Microsoft Sentinel no portal do Defender. Para obter mais informações, veja Filtrar e dividir transformações no Microsoft Sentinel.

ferramentas Azure Monitor para ingestão de dados personalizados no Microsoft Sentinel

Microsoft Sentinel utiliza as seguintes ferramentas do Azure Monitor para controlar a ingestão de dados personalizada:

• As transformações são definidas em DCRs e aplicam consultas KQL aos dados recebidos antes de serem armazenadas na área de trabalho. Estas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com dados externos ou analíticos ou mascarar informações confidenciais ou pessoais.

• A API de ingestão de registos permite-lhe enviar registos de formato personalizado a partir de qualquer origem de dados para a área de trabalho do Log Analytics e armazenar esses registos em determinadas tabelas padrão ou em tabelas de formatação personalizada que criar. Tem controlo total sobre a criação destas tabelas personalizadas, até especificar os nomes e tipos de coluna. A API utiliza DCRs para definir, configurar e aplicar transformações a estes fluxos de dados.

Observação

As áreas de trabalho do Log Analytics ativadas para Microsoft Sentinel não estão sujeitas à carga de ingestão de filtros do Azure Monitor, independentemente da quantidade de dados que a transformação filtra. No entanto, as transformações no Microsoft Sentinel têm as mesmas limitações que o Monitor do Azure. Para obter mais informações, veja Limitações e considerações.

Suporte dcr no Microsoft Sentinel

As transformações de tempo de ingestão são definidas em regras de recolha de dados (DCRs), que controlam o fluxo de dados no Azure Monitor. Os DCRs são utilizados por conectores de Sentinel baseados em AMA e fluxos de trabalho com a API de ingestão de registos. Cada DCR contém a configuração para um cenário de recolha de dados específico e vários conectores ou origens podem partilhar um único DCR.

Os DCRs de transformação da área de trabalho suportam fluxos de trabalho que, de outra forma, não utilizam DCRs. Os DCRs de transformação da área de trabalho contêm transformações para quaisquer tabelas suportadas e são aplicados a todo o tráfego enviado para essa tabela.

Para saber mais, confira:

• Transformações de recolha de dados no Monitor do Azure
• API de ingestão de registos nos Registos do Azure Monitor
• Regras de recolha de dados no Monitor do Azure

Casos de utilização e cenários de exemplo

O artigo Transformações de exemplo no Monitor do Azure fornece uma descrição e consultas de exemplo para cenários comuns com transformações de tempo de ingestão no Azure Monitor. Os cenários particularmente úteis para Microsoft Sentinel incluem:

• Reduza os custos de dados. Filtre a recolha de dados por linhas ou colunas para reduzir os custos de ingestão e armazenamento.

• Normalizar dados. Normalize os registos com o Modelo de Informações de Segurança Avançada (ASIM) para melhorar o desempenho das consultas normalizadas. Para obter mais informações, veja Normalização do tempo de ingestão.

• Melhore os dados. As transformações de tempo de ingestão permitem-lhe melhorar a análise ao enriquecer os seus dados com colunas adicionais adicionadas à transformação KQL configurada. As colunas adicionais podem incluir dados analisados ou calculados de colunas existentes.

• Remover dados confidenciais. As transformações de tempo de ingestão podem ser utilizadas para mascarar ou remover informações pessoais, como mascarar todos os dígitos exceto os últimos dígitos de um número de segurança social ou número de card de crédito.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem seguinte mostra onde a transformação de dados em tempo de ingestão entra no fluxo de ingestão de dados no Microsoft Sentinel. Estes dados podem ser suportados em tabelas padrão ou num conjunto específico de tabelas personalizadas.

Esta imagem mostra o pipeline de cloud, que representa o componente de recolha de dados do Azure Monitor. Pode saber mais sobre o mesmo juntamente com outros cenários de recolha de dados em Regras de recolha de dados (DCRs) no Azure Monitor.

Microsoft Sentinel recolhe dados na área de trabalho do Log Analytics a partir de várias origens.

• Os dados recolhidos a partir do ponto final da API de ingestão de registos ou do agente do Azure Monitor (AMA) são processados por um DCR específico que pode incluir uma transformação em tempo de ingestão.
• Os dados de conectores de dados incorporados são processados no Log Analytics através de uma combinação de fluxos de trabalho codificados e transformações de tempo de ingestão no DCR da área de trabalho.

A tabela seguinte descreve o suporte DCR para Microsoft Sentinel tipos de conectores de dados:

Tipo de conector de dados	Suporte dcr
Azure registos do agente do Monitor (AMA), tais como: Segurança do Windows Eventos via AMA Eventos Reencaminhados do Windows Dados CEF Dados do Syslog	Um ou mais DCRs associados ao agente
Ingestão direta através da API de ingestão de registos	DCR especificado na chamada à API
Conector de dados incorporado baseado em API, como: Conectores de dados sem código	DCR criado para o conector
Ligações baseadas em definições de diagnóstico	DCR de transformação da área de trabalho com tabelas de saída suportadas
Conectores de dados incorporados baseados em API, tais como: Conectores de dados sem código legados conectores de dados baseados em Azure Functions	Não há suporte atualmente
Conectores de dados de serviço a serviço incorporados, tais como: Microsoft Office 365 Microsoft Entra ID Amazon S3	DCR de transformação da área de trabalho para tabelas que suportam transformações

Conteúdo relacionado

Para saber mais, confira:

• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (pré-visualização)
• Filtrar e dividir transformações no Microsoft Sentinel
• Microsoft Sentinel conectores de dados
• Localizar o conector de dados Microsoft Sentinel