Ingestão e transformação de dados personalizados no Microsoft Sentinel

Azure Monitor Logs serve como plataforma de dados para o Microsoft Sentinel. Todos os registos ingeridos no Microsoft Sentinel são armazenados num espaço de trabalho do Log Analytics, e as consultas de registos escritas na Linguagem de Consulta Kusto (KQL) são utilizadas para detetar ameaças e monitorizar a atividade da rede.

O Log Analytics dá-lhe um elevado nível de controlo sobre os dados que são ingeridos na sua área de trabalho com regras de ingestão de dados e recolha de dados (DCRs) personalizadas. Os DCRs permitem-lhe recolher e manipular os seus dados antes de serem armazenados na área de trabalho. Os DCRs formatam e enviam dados para tabelas padrão do Log Analytics e tabelas personalizáveis para origens de dados que produzem formatos de registo exclusivos.

As transformações de filtragem e divisão podem ser aplicadas aos dados no momento da ingestão para reduzir o ruído e encaminhar os dados para a camada de armazenamento adequada. Estas transformações não requerem a criação de um DCR e estão definidas na página de gestão de tabelas do Microsoft Sentinel no portal do Defender. Para obter mais informações, veja Filtrar e dividir transformações no Microsoft Sentinel.

ferramentas Azure Monitor para ingestão de dados personalizados no Microsoft Sentinel

Microsoft Sentinel utiliza as seguintes ferramentas do Azure Monitor para controlar a ingestão de dados personalizada:

• As transformações são definidas em DCRs e aplicam consultas KQL aos dados recebidos antes de serem armazenadas na área de trabalho. Estas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com dados externos ou analíticos ou mascarar informações confidenciais ou pessoais.

• A API de ingestão de registos permite-lhe enviar registos de formato personalizado a partir de qualquer origem de dados para a área de trabalho do Log Analytics e armazenar esses registos em determinadas tabelas padrão ou em tabelas de formatação personalizada que criar. Tem controlo total sobre a criação destas tabelas personalizadas, até especificar os nomes e tipos de coluna. A API utiliza DCRs para definir, configurar e aplicar transformações a estes fluxos de dados.

Nota

As áreas de trabalho do Log Analytics ativadas para Microsoft Sentinel não estão sujeitas à carga de ingestão de filtros do Azure Monitor, independentemente da quantidade de dados que a transformação filtra. No entanto, de resto, as transformações no Microsoft Sentinel têm as mesmas limitações que o Azure Monitor. Para obter mais informações, veja Limitações e considerações.

Suporte para DCR no Microsoft Sentinel

As transformações de tempo de ingestão são definidas em regras de recolha de dados (DCRs), que controlam o fluxo de dados no Azure Monitor. Os DCRs são utilizados por conectores do Sentinel baseados em AMA e fluxos de trabalho que utilizam a API de ingestão de registos. Cada DCR contém a configuração para um cenário de recolha de dados específico e vários conectores ou origens podem partilhar um único DCR.

Os DCRs de transformação do espaço de trabalho permitem fluxos de trabalho que, de outro modo, não usam DCRs. Os DCRs de transformação da área de trabalho contêm transformações para quaisquer tabelas suportadas e são aplicados a todo o tráfego enviado para essa tabela.

Para mais informações, consulte:

• Transformações de recolha de dados no Monitor do Azure
• API de ingestão de registos nos Registos do Azure Monitor
• Regras de recolha de dados no Monitor do Azure

Casos de utilização e cenários de exemplo

O artigo Transformações de exemplo no Monitor do Azure fornece uma descrição e consultas de exemplo para cenários comuns com transformações de tempo de ingestão no Azure Monitor. Os cenários particularmente úteis para Microsoft Sentinel incluem:

• Reduza os custos de dados. Filtre a recolha de dados por linhas ou colunas para reduzir os custos de ingestão e armazenamento.

• Normalizar dados. Normalize os registos com o Modelo de Informações de Segurança Avançada (ASIM) para melhorar o desempenho das consultas normalizadas. Para obter mais informações, veja Normalização do tempo de ingestão.

• Melhore os dados. As transformações no momento da ingestão permitem-lhe melhorar a analítica, enriquecendo os seus dados com colunas adicionais na transformação KQL configurada. As colunas adicionais podem incluir dados analisados ou calculados de colunas existentes.

• Remover dados confidenciais. As transformações no momento da ingestão podem ser utilizadas para mascarar ou remover informações pessoais, por exemplo, mascarando todos os dígitos, exceto os últimos, de um número da segurança social ou de um número de cartão de crédito.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem seguinte mostra onde a transformação de dados em tempo de ingestão se insere no fluxo de ingestão de dados no Microsoft Sentinel. Estes dados podem ser suportados em tabelas padrão ou num conjunto específico de tabelas personalizadas.

Esta imagem mostra o pipeline da cloud, que representa o componente de recolha de dados do Azure Monitor. Pode saber mais sobre o mesmo juntamente com outros cenários de recolha de dados em Regras de recolha de dados (DCRs) no Azure Monitor.

Microsoft Sentinel recolhe dados na área de trabalho do Log Analytics a partir de várias origens.

• Os dados recolhidos do ponto final da API de ingestão de registos ou do agente do Azure Monitor (AMA) são processados por um DCR específico que pode incluir uma transformação no momento da ingestão.
• Os dados dos conectores de dados integrados são processados no Log Analytics utilizando uma combinação de fluxos de trabalho predefinidos no código e transformações no momento da ingestão no DCR do espaço de trabalho.

A tabela seguinte descreve o suporte de DCR para os tipos de conectores de dados do Microsoft Sentinel:

Tipo de conector de dados	Suporte DCR
registos do agente do Azure Monitor (AMA), tais como: Eventos de Segurança do Windows via AMA Eventos Reencaminhados do Windows Dados CEF Dados do Syslog	Um ou mais DCRs associados ao agente
Ingestão direta através da API de ingestão de registos	DCR especificado na chamada à API
Conector de dados incorporado baseado em API, como: Conectores de dados sem código	DCR criado para o conector
Conexões baseadas nas definições de diagnóstico	DCR de transformação do espaço de trabalho com tabelas de saída suportadas
Conectores de dados incorporados baseados em API, tais como: Conectores de dados sem código antigos conectores de dados baseados em Funções do Azure	Não suportado atualmente
Conectores de dados de serviço a serviço incorporados, tais como: Microsoft Office 365 Microsoft Entra ID Amazon S3	DCR de transformação do espaço de trabalho para tabelas que suportam transformações

Conteúdos relacionados

Para mais informações, consulte:

• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (pré-visualização)
• Filtrar e dividir transformações no Microsoft Sentinel
• Conectores de dados do Microsoft Sentinel
• Localizar o conector de dados Microsoft Sentinel