Esta solução armazena logs de segurança no Azure Data Explorer a longo prazo. Esta solução minimiza os custos e fornece acesso fácil quando você precisa consultar os dados.
Grafana e Jupyter Notebooks são marcas comerciais de suas respetivas empresas. O uso destas marcas não implica qualquer endosso.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Para SIEM e SOAR, uma empresa usa o Sentinel e o Defender for Endpoint.
O Defender for Endpoint usa a funcionalidade nativa para exportar dados para os Hubs de Eventos do Azure e o Azure Data Lake. O Sentinel ingere dados do Defender for Endpoint para monitorar dispositivos.
O Sentinel usa o Log Analytics como uma plataforma de dados para exportar dados para Hubs de Eventos e Azure Data Lake.
O Azure Data Explorer usa conectores para Hubs de Eventos, Armazenamento de Blobs do Azure e Armazenamento do Azure Data Lake para ingerir dados com baixa latência e alta taxa de transferência. Esse processo usa a Grade de Eventos do Azure, que aciona o pipeline de ingestão do Azure Data Explorer.
Se necessário, o Azure Data Explorer exporta continuamente os logs de segurança para o Armazenamento do Azure. Esses logs estão no formato Parquet compactado e particionado e estão prontos para serem consultados.
Para seguir os requisitos regulamentares, o Azure Data Explorer exporta dados pré-agregados para o Armazenamento Data Lake para arquivamento.
O Log Analytics e o Sentinel dão suporte a consultas entre serviços com o Azure Data Explorer. Os analistas SOC usam esse recurso para executar investigações completas sobre dados de segurança.
O Azure Data Explorer fornece recursos nativos para processar, agregar e analisar dados.
Várias ferramentas fornecem painéis de análise quase em tempo real que fornecem insights rapidamente:
Componentes
O Defender for Endpoint protege as organizações contra ameaças em dispositivos, identidades, aplicativos, e-mail, dados e cargas de trabalho na nuvem.
O Sentinel é uma solução SIEM e SOAR nativa da nuvem. Ele usa IA avançada e análise de segurança para detetar, caçar, prevenir e responder a ameaças em todas as empresas.
O Monitor é uma solução de software como serviço (SaaS) que coleta e analisa dados em ambientes e recursos do Azure. Esses dados incluem telemetria de aplicativos, como métricas de desempenho e registros de atividades. O Monitor também oferece a funcionalidade de alerta.
O Log Analytics é um serviço do Monitor que você pode usar para consultar e inspecionar os dados de log do Monitor. O Log Analytics também fornece recursos para gráficos e análise estatística dos resultados da consulta.
Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado que é simples e escalável.
O Data Lake Storage é um repositório de armazenamento escalável que contém uma grande quantidade de dados no formato nativo e bruto dos dados. Este data lake foi criado sobre o Armazenamento de Blobs e fornece funcionalidade para armazenar e processar dados.
O Azure Data Explorer é uma plataforma de análise de dados rápida, totalmente gerenciada e altamente escalável. Você pode usar esse serviço de nuvem para análise em tempo real de grandes volumes de dados. O Azure Data Explorer é otimizado para consultas interativas e ad-hoc. Ele pode lidar com diversos fluxos de dados de aplicativos, sites, dispositivos IoT e outras fontes.
Os painéis do Azure Data Explorer importam nativamente dados de consultas da interface do usuário da Web do Azure Data Explorer. Esses painéis otimizados fornecem uma maneira de exibir e explorar os resultados da consulta.
Alternativas
Em vez de usar o Azure Data Explorer para armazenamento de longo prazo de logs de segurança, você pode usar o Armazenamento. Essa abordagem simplifica a arquitetura e pode ajudar a controlar o custo. Uma desvantagem é a necessidade de reidratar os logs para auditorias de segurança e consultas investigativas interativas. Com o Azure Data Explorer, você pode mover dados da partição fria para a partição ativa alterando uma política. Esta funcionalidade acelera a exploração de dados.
Outra opção com esta solução é enviar todos os dados, independentemente do seu valor de segurança, para o Sentinel e o Azure Data Explorer ao mesmo tempo. Alguns resultados de duplicação, mas a economia de custos pode ser significativa. Como o Azure Data Explorer fornece armazenamento de longo prazo, você pode reduzir seus custos de retenção do Sentinel com essa abordagem.
Atualmente, o Log Analytics não oferece suporte à exportação de tabelas de log personalizadas. Nesse cenário, você pode usar os Aplicativos Lógicos do Azure para exportar dados de espaços de trabalho do Log Analytics. Para obter mais informações, consulte Arquivar dados do espaço de trabalho do Log Analytics no Armazenamento do Azure usando aplicativos lógicos.
Detalhes do cenário
Os logs de segurança são úteis para identificar ameaças e rastrear tentativas não autorizadas de acessar dados. Os ataques de segurança podem começar bem antes de serem descobertos. Como resultado, ter acesso a logs de segurança de longo prazo é importante. Consultar logs de longo prazo é fundamental para identificar o impacto das ameaças e investigar a disseminação de tentativas de acesso ilícito.
Este artigo descreve uma solução para a retenção a longo prazo de logs de segurança. No núcleo da arquitetura está o Azure Data Explorer. Este serviço fornece armazenamento para dados de segurança a um custo mínimo, mas mantém esses dados em um formato que você pode consultar. Outros componentes principais incluem:
Microsoft Defender for Endpoint e Microsoft Sentinel, para estes recursos:
- Segurança abrangente de terminais
- Informações de segurança e gestão de eventos (SIEM)
- Resposta automatizada de orquestração de segurança (SOAR)
Log Analytics, para armazenamento de curto prazo de logs de segurança do Sentinel.
Potenciais casos de utilização
Esta solução aplica-se a vários cenários. Especificamente, os analistas do centro de operações de segurança (SOC) podem usar essa solução para:
- Investigações em grande escala.
- Análise forense.
- Investigação de ameaças.
- Auditorias de segurança.
Um cliente atesta a utilidade da solução: "Implantamos um cluster do Azure Data Explorer há quase um ano e meio. Na última violação de dados do Solorigate, usamos um cluster do Azure Data Explorer para análise forense. Uma equipe do Microsoft Dart também usou um cluster do Azure Data Explorer para concluir a investigação. A retenção de dados de segurança a longo prazo é fundamental para investigações de dados em grande escala."
Pilha de monitoramento
O diagrama a seguir mostra a pilha de monitoramento do Azure:
- O Sentinel usa um espaço de trabalho do Log Analytics para armazenar logs de segurança e fornecer soluções SIEM e SOAR.
- O Monitor rastreia o status dos ativos de TI e envia alertas quando necessário.
- O Azure Data Explorer fornece uma plataforma de dados subjacente que armazena logs de segurança para espaços de trabalho do Log Analytics, Monitor e Sentinel.
Principais características
As principais características da solução oferecem muitos benefícios, como explicam as seções a seguir.
Armazenamento de dados consultável de longo prazo
O Azure Data Explorer indexa dados durante o processo de armazenamento, disponibilizando os dados para consultas. Quando você precisa se concentrar na execução de auditorias e investigações, não há necessidade de processar os dados. Consultar os dados é simples.
Análise forense em grande escala
O Azure Data Explorer, o Log Analytics e o Sentinel dão suporte a consultas entre serviços. Como resultado, em uma única consulta, você pode fazer referência a dados armazenados em qualquer um desses serviços. Os analistas SOC podem usar a linguagem de consulta Kusto (KQL) para executar investigações completas. Você também pode usar consultas do Azure Data Explorer no Sentinel para fins de caça. Para obter mais informações, consulte Novidades: o Sentinel Hunting suporta consultas entre recursos ADX.
Cache de dados sob demanda
O Azure Data Explorer dá suporte ao hot caching baseado em janela. Essa funcionalidade fornece uma maneira de mover dados de um período selecionado para o hot cache. Em seguida, você pode executar consultas rápidas nos dados, tornando as investigações mais eficientes. Talvez seja necessário adicionar nós de computação ao hot cache para essa finalidade. Após a conclusão da investigação, você pode alterar a política de cache quente para mover os dados para a partição fria. Você também pode restaurar o cluster para seu tamanho original.
Exportação contínua para arquivar dados
Para seguir os requisitos regulamentares, algumas empresas precisam armazenar logs de segurança por um período ilimitado de tempo. O Azure Data Explorer dá suporte à exportação contínua de dados. Você pode usar esse recurso para criar uma camada de arquivamento armazenando logs de segurança no Armazenamento.
Linguagem de consulta comprovada
A linguagem de consulta Kusto é nativa do Azure Data Explorer. Essa linguagem também está disponível em espaços de trabalho do Log Analytics e ambientes de caça a ameaças do Sentinel. Essa disponibilidade reduz significativamente a curva de aprendizado para os analistas SOC. As consultas executadas no Sentinel também funcionam em dados armazenados em clusters do Azure Data Explorer.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Tenha em mente os seguintes pontos ao implementar esta solução.
Escalabilidade
Considere estes problemas de escalabilidade:
Método de exportação de dados
Se você precisar exportar uma grande quantidade de dados do Log Analytics, poderá atingir os limites de capacidade dos Hubs de Eventos. Para evitar esta situação:
- Exporte dados do Log Analytics para o Armazenamento de Blobs.
- Use as cargas de trabalho do Azure Data Factory para exportar periodicamente os dados para o Azure Data Explorer.
Usando esse método, você pode copiar dados do Data Factory somente quando os dados se aproximarem de seu limite de retenção no Sentinel ou no Log Analytics. Como resultado, você evita a duplicação dos dados. Para obter mais informações, consulte Exportar dados do Log Analytics para o Azure Data Explorer.
Utilização de consultas e preparação para auditorias
Geralmente, você mantém os dados no cache frio em seu cluster do Azure Data Explorer. Essa abordagem minimiza o custo do cluster e é suficiente para a maioria das consultas que envolvem dados de meses anteriores. Mas quando você consulta grandes intervalos de dados, talvez seja necessário dimensionar o cluster e carregar os dados no hot cache.
Você pode usar o recurso de janela de atalho da política de cache quente para essa finalidade. Você também pode usar esse recurso ao auditar dados de longo prazo. Ao usar a janela de ativação, talvez seja necessário dimensionar o cluster para aumentar ou diminuir o cluster para abrir espaço para mais dados no hot cache. Depois de concluir a consulta ao grande intervalo de dados, altere a política de hot cache para reduzir o custo de computação.
Ao ativar o recurso de dimensionamento automático otimizado em seu cluster do Azure Data Explorer, você pode otimizar o tamanho do cluster com base na política de cache. Para obter mais informações sobre como consultar dados frios no Azure Data Explorer, consulte Consultar dados frios com janelas quentes.
Eficiência de desempenho
Eficiência de desempenho é a capacidade da sua carga de trabalho para dimensionar para satisfazer as exigências que os utilizadores lhe colocam de forma eficiente. Para obter mais informações, consulte Visão geral do pilar de eficiência de desempenho.
Se você precisar armazenar dados de segurança por um longo tempo ou por um período ilimitado, exporte os logs para o Armazenamento. O Azure Data Explorer dá suporte à exportação contínua de dados. Usando essa funcionalidade, você pode exportar dados para o armazenamento no formato Parquet compactado e particionado. Em seguida, você pode consultar esses dados sem problemas. Para obter mais informações, consulte Visão geral da exportação contínua de dados.
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.
O custo do cluster do Azure Data Explorer baseia-se principalmente na capacidade de computação usada para armazenar dados no hot cache. As consultas em dados de cache quente oferecem melhor desempenho em relação às consultas de cache frio. Esta solução armazena a maioria dos dados no cache frio, minimizando o custo de computação.
Para explorar o custo de execução dessa solução em seu ambiente, use a calculadora de preços do Azure.
Implementar este cenário
Para automatizar a implantação, use este script do PowerShell. Este script cria estes componentes:
- A tabela de destino
- A tabela bruta
- O mapeamento de tabela que define como os registros de Hubs de Eventos aterrissam na tabela bruta
- Políticas de retenção e atualização
- Namespaces de Hubs de Eventos
- Regras de exportação de dados no espaço de trabalho do Log Analytics
- A conexão de dados entre Hubs de Eventos e a tabela de dados brutos do Azure Data Explorer
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Deepak Agrawal - Brasil | Gerente de Produto
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Integrar o Azure Data Explorer para retenção de registos a longo prazo
- Mova seus logs do Microsoft Sentinel para armazenamento de longo prazo com facilidade
- Consulta entre recursos do Azure Data Explorer com o Azure Monitor
- COMO: Configurar a exportação de dados do Microsoft Sentinel para armazenamento de longo prazo
- Usando o Azure Data Explorer para retenção de longo prazo de logs do Microsoft Sentinel
- Novidades: O Microsoft Sentinel Hunting suporta consultas entre recursos ADX
- Como transmitir logs de busca do Microsoft Defender ATP no Azure Data Explorer
- Série de Blogues: Caça Avançada Sem Limites com o Azure Data Explorer (ADX)