Migrar do Splunk para os Logs do Azure Monitor

  • Artigo

Os Logs do Azure Monitor são um serviço de observabilidade e monitoramento gerenciado baseado em nuvem que fornece muitas vantagens em termos de gerenciamento de custos, escalabilidade, flexibilidade, integração e baixa exigência de manutenção. O serviço foi projetado para lidar com grandes quantidades de dados e escalar facilmente a fim de atender às necessidades de organizações de todos os tamanhos.

Os Logs do Azure Monitor coletam dados de uma ampla variedade de fontes, incluindo logs de eventos do Windows, Syslog e logs personalizados, para fornecer uma exibição unificada de todos os recursos do Azure e não Azure. Usando uma linguagem de consulta sofisticada e uma visualização seleta, você pode analisar rapidamente milhões de registros para identificar, entender e responder a padrões críticos em seus dados de monitoramento.

Este artigo explica como migrar sua implantação de Observabilidade do Splunk para Logs do Azure Monitor para fins de registro em log e análise de dados de log.

Para obter informações sobre como migrar sua implantação de SIEM (Gerenciamento de Eventos e Informações de Segurança) do Splunk Enterprise Security para o Azure Sentinel, confira Planejar sua migração para o Microsoft Sentinel.

Por que migrar para o Azure Monitor?

Os benefícios de migrar para o Azure Monitor incluem:

Comparar ofertas

Oferta do Splunk Product Oferta do Azure
Plataforma Splunk
  • Plataforma Splunk Cloud
  • Splunk Enterprise
 Os Logs do Azure Monitor são uma plataforma SaaS (software como serviço) centralizada para coletar, analisar e agir com base em dados de telemetria gerados por recursos e aplicativos do Azure e não Azure.
Observabilidade do Splunk
  • Splunk Infrastructure Monitoring
  • Monitoramento de Desempenho de Aplicativos Splunk
  • Inteligência do Serviço de TI do Splunk
 O Azure Monitor é uma solução de ponta a ponta para coletar, analisar e agir em relação a telemetria dos seus ambientes de nuvem, multinuvem e locais, criada com base em um pipeline avançado de ingestão de dados que é compartilhado com o Microsoft Sentinel. O Azure Monitor oferece às empresas uma solução abrangente para monitorar ambientes híbridos, locais e de nuvem, com isolamento de rede, recursos de resiliência e proteção contra falhas de data center, relatórios e recursos de alertas e resposta.
Os recursos internos do Azure Monitor incluem:
  • Insights do Azure Monitor – experiências de monitoramento prontas para uso e selecionadas com pesquisas, alertas, visualizações e entradas de dados pré-configuradas.
  • Application Insights – fornece o APM (Gerenciamento de Desempenho de Aplicativos) para aplicativos Web dinâmicos.
  • Funcionalidades de aprendizado de máquina internas e do AIOps do Azure Monitor – fornecem insights e ajudam a solucionar problemas e automatizar tarefas controladas por dados, como prever o uso da capacidade e dimensionamento automático, identificar e analisar problemas de desempenho do aplicativo e detectar comportamentos anômalos em máquinas virtuais, contêineres e outros recursos.
Esses recursos não têm taxas de instalação.
Segurança do Splunk
  • Splunk Enterprise Security
  • Splunk Mission Control
    Splunk SOAR
 O Microsoft Sentinel é uma solução nativa de nuvem que é executada na plataforma Azure Monitor para fornecer análise de segurança inteligente e inteligência contra ameaças em toda a empresa.

Introdução aos principais conceitos

Logs do Azure Monitor Conceito semelhante do Splunk Descrição
Espaço de Trabalho do Log Analytics Namespace Um workspace do Log Analytics é um ambiente no qual você pode coletar dados de log de todos os recursos monitorados do Azure e não Azure. Os dados no workspace ficam disponíveis para consulta e análise, recursos do Azure Monitor e outros serviços do Azure. De forma semelhante a um namespace do Splunk, você pode gerenciar o acesso a dados e artefatos, como alertas e pastas de trabalho, no workspace do Log Analytics.
Crie sua arquitetura de workspace do Log Analytics com base em suas necessidades, por exemplo, cobrança dividida, requisitos regionais de armazenamento de dados e considerações de resiliência.
Gerenciamento de tabela Indexação Os Logs do Azure Monitor ingerem dados de log em tabelas em um banco de dados gerenciado do Azure Data Explorer. Durante a ingestão, o serviço indexa e coloca carimbos de data/hora automaticamente nos dados, o que significa que você pode armazenar vários tipos de dados e acessá-los rapidamente usando consultas de KQL (Linguagem de Consulta Kusto).
Use as propriedades da tabela para gerenciar o esquema de tabela, a retenção de dados, o arquivo morto e se deseja armazenar os dados para auditoria e solução de problemas ocasionais ou para análise e uso contínuos por recursos e serviços.
Para obter uma comparação dos conceitos de tratamento e consulta do Splunk e do Azure Data Explorer, confira Mapa do Splunk para a Linguagem de Consulta Kusto.
Planos de dados de log Básico e Analytics Os Logs do Azure Monitor oferecem dois planos de dados de log que permitem reduzir os custos de ingestão e retenção de logs e aproveitar os recursos avançados e as funcionalidades de análise do Azure Monitor com base em suas necessidades.
O plano de Análise disponibiliza dados de log para consultas interativas e uso por recursos e serviços.
O plano de dados de log Básico fornece uma maneira de baixo custo de ingerir e reter logs para solução de problemas, depuração, auditoria e conformidade.
Arquivamento e acesso rápido a dados arquivados Estados de bucket de dados (muito frequente, frequente, esporádico, descongelado), arquivamento, DDAA (Arquivo Ativo de Dados Dinâmicos) A opção econômica de arquivo morto mantém seus logs no workspace do Log Analytics e permite que você acesse os dados de log arquivados imediatamente, quando necessário. As alterações de configuração de arquivo morto entram em vigor imediatamente porque os dados não são transferidos fisicamente para o armazenamento externo. Você pode restaurar dados arquivados ou executar um trabalho de pesquisa para disponibilizar um intervalo de tempo específico de dados arquivados para análise em tempo real.
Controle de acesso Permissões, acesso de usuário baseado em função Defina quais pessoas e recursos podem ler, gravar e executar operações em recursos específicos usando o RBAC (controle de acesso baseado em função) do Azure. Um usuário com acesso a um recurso tem acesso aos logs do recurso.
O Azure facilita a segurança de dados e o gerenciamento de acesso com recursos como funções internas, funções personalizadas, herança de permissão de função e histórico de auditoria.
Você também pode configurar o acesso no nível do workspace e o acesso no nível da tabela para controle de acesso granular a tipos de dados específicos.
Transformações de dados Transformações, extrações de campo As transformações permitem filtrar ou modificar dados recebidos antes de serem enviados a um workspace do Log Analytics. Use transformações para remover dados confidenciais, enriquecer dados em seu workspace do Log Analytics, executar cálculos e filtrar dados de que você não precisa a fim de reduzir os custos de dados.
Regras de coleta de dados Entradas de dados, pipeline de dados Defina quais dados coletar, como transformar esses dados e para onde enviá-los.
KQL (Kusto Query Language) SPL (Linguagem de Processamento de Pesquisa) do Splunk Os logs do Azure Monitor usam um grande subconjunto de KQL que é adequada para consultas de log simples, mas também inclui funcionalidades avançadas como agregações, junções e análises inteligentes. Use o Mapa do Splunk para a Linguagem de Consulta Kusto a fim de converter seu conhecimento da SPL do Splunk para a KQL. Você também pode aprender KQL com tutoriais e módulos de treinamento em KQL.
Log Analytics Splunk Web, Aplicativo de pesquisa, Ferramenta dinâmica Uma ferramenta no portal do Azure para editar e executar consultas de log nos Logs do Azure Monitor. O Log Analytics também fornece um conjunto avançado de ferramentas para explorar e visualizar dados sem usar KQL.
Otimização de custos O Azure Monitor fornece ferramentas e práticas recomendadas para ajudá-lo a entender, monitorar e otimizar seus custos com base em suas necessidades.

1. Entender seu uso atual

Seu uso atual no Splunk ajudará você a decidir qual tipo de preço selecionar no Azure Monitor e estimará seus custos futuros:

2. Configurar um workspace do Log Analytics

Seu workspace do Log Analytics é onde você coleta dados de log de todos os seus recursos monitorados. Você pode reter dados em um workspace do Log Analytics por até sete anos. O arquivamento de dados de baixo custo dentro do workspace permite acessar dados arquivados de forma rápida e fácil quando necessário, sem a sobrecarga de gerenciar um armazenamento de dados externo.

Recomendamos coletar todos os seus dados de log em um único workspace do Log Analytics para facilitar o gerenciamento. Se você estiver considerando usar vários workspaces, confira Criar uma arquitetura de workspace do Log Analytics.

Para configurar um workspace do Log Analytics para coleta de dados:

  1. Criar um espaço de trabalho do Log Analytics.

    Os Logs do Azure Monitor criam tabelas do Azure em seu workspace automaticamente com base nos serviços do Azure usados por você e na configuração de coleta de dados definida para recursos do Azure.

  2. Configurar o workspace do Log Analytics, incluindo:

    1. Tipo de preço.
    2. Vincule seu workspace do Log Analytics a um cluster dedicado para aproveitar os recursos avançados, se você estiver qualificado, com base no tipo de preço.
    3. Limite diário.
    4. Retenção de dados.
    5. Isolamento de rede.
    6. Controle de acesso.

  3. Use as definições de configuração no nível da tabela para:

    1. Defina o plano de dados de log de cada tabela.

      O plano de dados de log padrão é o Analytics, que permite aproveitar os recursos avançados de monitoramento e análise do Azure Monitor.

    2. Defina uma política de retenção e arquivamento de dados para tabelas específicas, se você precisar que elas sejam diferentes da política de arquivamento e retenção de dados no nível do workspace.

    3. Modifique o esquema de tabela com base no modelo de dados.

3. Migrar artefatos do Splunk para o Azure Monitor

Para migrar a maioria dos artefatos do Splunk, você precisará converter SPL (Splunk Processing Language) para KQL (Linguagem de Consulta Kusto). Para obter mais informações, confira o Mapa do Splunk para a Linguagem de Consulta Kusto e Introdução às consultas de log no Azure Monitor.

Esta tabela lista artefatos do Splunk e vincula à diretrizes para configuração dos artefatos equivalentes no Azure Monitor:

Artefato Splunk Artefato do Azure Monitor
Alertas Regras de alerta
Ações de alerta Grupos de ação
Monitoramento da infraestrutura OsInsights do Azure Monitor são um conjunto de experiências de monitoramento prontas para uso e coletadas com entradas de dados pré-configuradas, pesquisas, alertas e visualizações para que você comece a analisar dados de forma rápida e eficaz.
Painéis Pastas de trabalho
Pesquisas O Azure Monitor fornece várias maneiras de enriquecer dados, incluindo:
- Regras de coleta de dados, que permitem enviar dados de várias fontes para um workspace do Log Analytics e executar cálculos e transformações antes da ingestão dos dados.
– Operadores KQL, como o operador join, que combina dados de tabelas diferentes, e o operador externaldata, que retorna dados do armazenamento externo.
– Integração com serviços, como o Azure Machine Learning ou os Hubs de Eventos do Azure, para aplicar aprendizado de máquina avançado e fluxo a dados adicionais.
Namespaces Você pode conceder ou limitar a permissão a artefatos no Azure Monitor com base no controle de acesso definido no workspace do Log Analytics ou nos grupos de recursos do Azure.
Permissões Gerenciamento de acesso
Relatórios O Azure Monitor oferece uma variedade de opções para analisar, visualizar e compartilhar dados, incluindo:
- Integração com o Grafana
- Insights
- Workbooks
- Dashboards
- Integração com o Power BI
- Integração com o Excel
Searches Consultas
Tipos de origem Definir seu modelo de dados no workspace do Log Analytics. Use transformações de tempo de ingestão para filtrar, formatar ou modificar dados de entrada.
Métodos de coleta de dados Confira Coletar dados para ferramentas do Azure Monitor projetadas para recursos específicos.

Para obter informações sobre como migrar artefatos SIEM do Splunk, incluindo regras de detecção e automação SOAR, confira Planejar sua migração para o Microsoft Sentinel.

4. Coletar dados

O Azure Monitor fornece ferramentas para coletar dados de fontes de dados de log em recursos do Azure e não Azure em seu ambiente.

Para coletar dados de um recurso:

  1. Configure a ferramenta de coleta de dados relevante com base na tabela abaixo.
  2. Decida quais dados você precisa coletar do recurso.
  3. Use transformações para remover dados confidenciais, enriquecer dados ou executar cálculos e filtrar os dados de que você não precisa para reduzir os custos.

Esta tabela lista as ferramentas que o Azure Monitor fornece para coletar dados de vários tipos de recursos.

Tipo de recurso Ferramenta de coleta de dados Ferramenta Splunk semelhante Dados coletados
Azure Configurações de Diagnóstico Locatário do Azure - os logs de auditoria do Microsoft Entra fornecem o histórico de atividades de entrada e a trilha de auditoria das alterações feitas em um locatário.
Recursos do Azure – logs e contadores de desempenho.
Assinatura do Azure – registros de integridade do serviço, além de registros de alterações de configuração feitas nos recursos da assinatura do Azure.
Aplicativo Application Insights Monitoramento de Desempenho de Aplicativos Splunk Dados de monitoramento de desempenho de aplicativos.
Contêiner Insights do contêiner Monitoramento de contêineres Dados de desempenho do contêiner.
Sistema operacional Agente do Azure Monitor Encaminhador Universal, Encaminhador do Heavy Dados de monitoramento do sistema operacional convidado do Máquinas Virtuais do Azure e de outros.
Origem não Azure API de ingestão de logs HEC (Coletor de Eventos) HTTP Logs baseados em arquivo e todos os dados enviados para um ponto de extremidade de coleta de dados em um recurso monitorado.

Diagrama que mostra várias fontes de dados sendo conectados aos Logs do Azure Monitor.

5. Migrar para logs do Azure Monitor

Uma abordagem comum é fazer a transição gradual para os Logs do Azure Monitor, mantendo os dados históricos no Splunk. Durante esse período, você pode:

Para exportar seus dados históricos do Splunk:

  1. Use um dos métodos de exportação do Splunk para exportar dados no formato CSV.
  2. Para coletar os dados exportados:

    1. Use o Agente do Azure Monitor para coletar os dados exportados do Splunk, conforme descrito em Coletar logs de texto com o Agente do Azure Monitor.

      ou

    2. Colete os dados exportados diretamente com a API de Ingestão de Logs, conforme descrito em Enviar dados para logs do Azure Monitor usando uma API REST.

Diagrama que mostra fluxo de dados entrando no Splunk para um workspace do Log Analytics nos Logs do Azure Monitor.

Próximas etapas