Ingerir mensagens do syslog e CEF no Microsoft Sentinel com o Agente do Azure Monitor

• Aplica-se a:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Este artigo descreve como usar os conectores Syslog via AMA e CEF (Formato Comum de Evento) via AMA para filtrar e ingerir rapidamente mensagens do syslog, incluindo as mensagens do CEF (Formato Comum de Evento), de computadores Linux, de dispositivos de rede e segurança. Para saber mais sobre esses conectores de dados, confira Conectores do Syslog e do CEF (Formato Comum de Evento) por meio do AMA para Microsoft Sentinel.

Observação

O Container Insights já oferece suporte à coleta automática dos eventos do Syslog dos nós do Linux nos seus clusters do AKS. Para saber mais, confira o artigo Coleção do Syslog com o Container Insights.

Pré-requisitos

Antes de iniciar, você precisa ter os recursos configurados e as permissões adequadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

Instale a solução apropriada do Microsoft Sentinel e verifique se você tem as permissões para concluir as etapas neste artigo.

• Instale a solução apropriada do Hub de conteúdo no Microsoft Sentinel. Para obter mais informações, consulte Descobrir e gerenciar o conteúdo pronto para uso do Microsoft Sentinel.

• Identifique qual conector de dados a solução do Microsoft Sentinel requer –– Syslog via AMA ou CEF (Formato Comum de Evento) via AMA e se você precisa instalar a solução Syslog ou Formato Comum de Evento. Para atender a esse pré-requisito,

  • No Hub de conteúdo, selecione Gerenciar na solução instalada e examine o conector de dados listados.

  • Se Syslog via AMA ou CEF (Formato Comum de Evento) via AMA não estiver instalado com a solução, identifique se você precisa instalar a solução Syslog ou Formato Comum de Evento localizando seu dispositivo em um dos seguintes artigos:

    • Conector de dados do CEF por AMA – Configurar dispositivo ou dispositivo específico para ingestão de dados do Microsoft Sentinel
    • Conector de dados do Syslog via AMA – Configurar dispositivo ou dispositivo específico para ingestão de dados do Microsoft Sentinel

    Em seguida, instale a solução Syslog ou Formato Comum de Evento do hub de conteúdo para obter o conector de dados do AMA relacionado.

• Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (RBAC do Azure):

  Função interna	Escopo	Motivo
  - Colaborador de Máquina Virtual - Azure Connected Machine    Administrador de recursos	VM (máquinas virtuais) Conjuntos de Escala de Máquina Virtual Servidores habilitados para Azure Arc	Para implantar o agente
  Qualquer função que inclua a ação Microsoft.Resources/deployments/*	Subscription Grupo de recursos Regra de coleta de dados existente	Para implantar os modelos do Azure Resource Manager
  Colaborador de monitoramento	Subscription Grupo de recursos Regra de coleta de dados existente	Criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Se você estiver coletando mensagens de um encaminhador de log, os seguintes pré-requisitos se aplicam:

• Você precisa ter uma VM do Linux designada como um encaminhador de log para coletar logs.

  • Crie uma VM do Linux no portal do Azure.
  • Sistemas operacionais Linux com suporte para o Agente do Azure Monitor.

• Se o encaminhador de log não for uma máquina virtual do Azure, ele deverá ter o agente do Connected Machine do Azure Arc instalado nele.

• A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o comando python --version ou python3 --version para verificar. Se estiver usando o Python 3, garanta que ele está definido como o comando padrão no computador ou execute scripts com o comando 'python3' em vez de 'python'.

• O encaminhador de log deve ter o daemon syslog-ng ou rsyslog habilitado.

• Para obter requisitos de espaço para o encaminhador de log, confira o Parâmetro de comparação de desempenho do agente do Azure Monitor. Você também pode ler essa postagem no blog, que inclui designs para uma ingestão escalável.

• Suas fontes de log e dispositivos de segurança precisam ser configurados para enviar suas mensagens de log para o daemon syslog do encaminhador de log em vez de para o daemon syslog local.

Pré-requisitos de segurança do computador

Configure a segurança do computador de acordo com a política de segurança da sua organização. Por exemplo, configure a rede para ser alinhada à política de segurança de rede corporativa e altere as portas e os protocolos do daemon para que sejam alinhados aos requisitos. Para melhorar a configuração de segurança do computador, proteja sua VM no Azure ou examine estas melhores práticas para segurança de rede.

Se seus dispositivos estiverem enviando logs do syslog e CEF por TLS porque, por exemplo, o encaminhador de log está na nuvem, você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar no TLS. Para saber mais, veja:

• Criptografar tráfego do Syslog com TLS – rsyslog
• Criptografar mensagens de log com TLS – syslog-ng

Configurar o conector de dados

O processo de instalação do Syslog via AMA ou CEF (Formato Comum de Evento) por meio de conectores de dados AMA inclui as seguintes etapas:

1. Instale o Agente do Azure Monitor e crie uma DCR (Regra de Coleta de Dados) usando um dos seguintes métodos:
   • Portal do Azure ou do Defender
   • API de ingestão de Logs do Azure Monitor
2. Se você estiver coletando logs de outros computadores usando um encaminhador de log, execute o script de “instalação” no encaminhador de log para configurar o daemon syslog para escutar mensagens de outros computadores e abrir as portas locais necessárias.

Selecione a guia apropriada para obter instruções.

Portal do Azure ou do Defender

Crie uma DCR (regra de coleta de dados)

Para começar, abra o conector de dados Syslog via AMA ou CEF (Formato Comum de Evento) via AMA no Microsoft Sentinel e crie uma DCR (regra de coleta de dados).

1. Para o Microsoft Sentinel no portal do Azure, em Configuração, selecione Conectores de dados.
   Para o Microsoft Sentinel no portal do Defender, selecione Microsoft Sentinel>Configurações>Conectores de dados.

2. Para syslog, digite Syslog na caixa Pesquisar. Nos resultados, selecione o conector do Syslog por meio do AMA.
   Para CEF, digite CEF na caixa Pesquisar. Nos resultados, selecione o CEF (Formato Comum de Evento) por meio do conector do AMA.

3. Selecione Abrir página do conector no painel de detalhes.

4. Na área Configuração, selecione +Criar regra de coleta de dados.

   

   

5. Na guia Básico:

   • Digite um nome para a DCR.
   • Selecione sua assinatura.
   • Selecione o grupo de recursos em que deseja localizar a DCR.

   

6. Selecione Avançar: Recursos>.

Definir recursos de VM

Na guia Recursos, selecione os computadores nos quais você deseja instalar o AMA, nesse caso, seu computador de encaminhador de log. Se o encaminhador de log não aparecer na lista, talvez ele não tenha o agente do Azure Connected Machine instalado.

1. Use os filtros disponíveis ou a caixa de pesquisa para localizar a VM do encaminhador de log. Você pode expandir uma assinatura na lista para ver os grupos de recursos dela, e um grupo de recursos para ver as VMs dela.

2. Selecione a VM do encaminhador de log na qual você deseja instalar o AMA. A caixa de seleção será exibida ao lado do nome da VM quando você passar o mouse sobre ela.

   

3. Examine suas alterações e selecione Avançar: Coletar >.

Selecionar instalações e severidades

Lembre-se de que o uso da mesma instalação para mensagens do syslog e CEF pode resultar em duplicação de ingestão de dados. Para obter mais informações, consulte Como evitar a duplicação de ingestão de dados.

1. Na guia Coletar, selecione o nível mínimo de log para cada instalação. Quando você seleciona um nível de log, o Microsoft Sentinel coleta logs para o nível selecionado e outros níveis com gravidade mais alta. Por exemplo, se você selecionar LOG_ERR, o Microsoft Sentinel coletará logs para os níveis LOG_ERR, LOG_CRIT, LOG_ALERT e LOG_EMERG.

   

2. Examine suas seleções e selecione Avançar: Examinar + criar.

Examinar e criar a regra

Depois de concluir todas as guias, examine o que você inseriu e crie a regra de coleta de dados.

1. Na guia Examinar e criar, selecione Criar.

   

   O conector instalará o agente do Azure Monitor nos computadores selecionados ao criar a DCR.

2. Verifique as notificações no portal do Azure ou no portal do Microsoft Defender para ver quando a DCR é criada e se o agente está instalado.

3. Selecione Atualizar na página do conector para ver a DCR exibida na lista.

API de ingestão de logs

Instalar o Agente do Azure Monitor

Siga as instruções apropriadas, contidas na documentação do Azure Monitor, para instalar o Agente do Azure Monitor em seu encaminhador de log. Lembre-se de usar as instruções para Linux, não para Windows.

• Instalar o AMA usando o PowerShell
• Instalar o AMA usando a CLI do Azure
• Instalar o AMA usando um modelo do Azure Resource Manager

Você pode criar regras de coleta de dados (DCRs) usando a API de ingestão de logs do Azure Monitor. Para obter mais informações, consulte Regras de coleta de dados no Azure Monitor.

Criar a regra de coleta de dados

Crie um arquivo JSON para a regra de coleta de dados, crie uma solicitação de API e envie a solicitação.

1. Prepare um arquivo de DCR no formato JSON. O conteúdo desse arquivo será o corpo da solicitação em sua solicitação de API.

   Para obter um exemplo, consulte Corpo da solicitação de criação de DCR do Syslog/CEF. Para coletar mensagens do syslog e CEF na mesma regra de coleta de dados, consulte o exemplo Fluxos do Syslog e CEF na mesma DCR.

   • Verifique se o campo streams está definido como Microsoft-Syslog para mensagens do syslog ou como Microsoft-CommonSecurityLog para mensagens CEF.
   • Adicione os níveis de log de filtro e instalação nos parâmetros facilityNames e logLevels. Confira Exemplos de instalações e seções de níveis de log.

2. Crie uma solicitação de API em um cliente da API REST de sua escolha.

   1. Para o cabeçalho e a URL da solicitação, copie a URL e o cabeçalho da solicitação a seguir.

      PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
      

      • Substitua os valores apropriados para os espaços reservados {subscriptionId} e {resourceGroupName}.
      • Insira um nome de sua escolha para a DCR no lugar do espaço reservado {dataCollectionRuleName}.

   2. Para o corpo da solicitação, copie e cole o conteúdo do arquivo JSON da DCR que você criou (na etapa 1 acima) no corpo da solicitação.

3. Enviar a solicitação.

   Para obter um exemplo da resposta que você deve receber, consulte Resposta de criação da DCR do Syslog/CEF.

Associar a DCR ao encaminhador de log

Agora você precisa criar uma Associação de DCR (DCRA) que vincule a DCR ao recurso de VM que hospeda o encaminhador de log.

1. Crie uma solicitação de API em um cliente da API REST de sua escolha.

2. Para o cabeçalho e a URL da solicitação, copie a URL de solicitação a seguir e o cabeçalho.

   PUT 
   https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
   

   • Substitua os valores apropriados para os espaços reservados {subscriptionId}, {resourceGroupName} e {virtualMachineName}.
   • Insira um nome de sua escolha para a DCR no lugar do espaço reservado {dataCollectionRuleAssociationName}.

3. No corpo da solicitação, copie o corpo da solicitação a seguir.

   {
     "properties": {
       "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
     }
   }
   

   • Substitua os valores apropriados para os espaços reservados {subscriptionId} e {resourceGroupName}.
   • Insira um nome de sua escolha para a DCR no lugar do espaço reservado {dataCollectionRuleName}.

4. Enviar a solicitação.

Exemplos de instalações e seções de níveis de log

Examine esses exemplos das configurações de níveis de instalações e log. O campo name inclui o nome do filtro.

Para a ingestão de mensagens CEF, o valor para "streams" deve ser "Microsoft-CommonSecurityLog" em vez de "Microsoft-Syslog".

Este exemplo coleta eventos das instalações cron, daemon, local0, local3 e uucp, com os níveis de log Warning, Error, Critical, Alert e Emergency:

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Fluxos do Syslog e CEF na mesma DCR

Este exemplo mostra como você pode coletar mensagens do syslog e CEF na mesma DCR.

O DCR coleta mensagens de evento do CEF para:

• As instalações authpriv e mark com os níveis de log Info, Notice, Warning, Error, Critical, Alert e Emergency
• A instalação daemon com os níveis de log Warning, Error, Critical, Alert e Emergency

Ele coleta mensagens de evento do syslog para:

• As instalações kern, local0, local5 e news com os níveis de log Critical, Alert e Emergency
• As instalações mail e uucp com o nível de log Emergency

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Executar o script de "instalação"

Se você estiver usando um encaminhador de log, configure o daemon syslog para escutar mensagens de outros computadores e abra as portas locais necessárias.

1. Na página do conector, copie a linha de comando que aparece em Execute o seguinte comando para instalar e aplicar o coletor CEF:

   

   Ou copie-o daqui:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Faça logon no computador do encaminhador de log no qual você acabou de instalar o AMA.

3. Cole o comando copiado na última etapa para iniciar o script de instalação.
   O script configura o daemon rsyslog ou syslog-ng para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens de entrada em protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração de daemon syslog de acordo com o tipo daemon em execução no computador:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão no computador, substitua python3 por python no comando colado. Confira Pré-requisitos do encaminhador de log.

   Observação

   Para evitar cenários de Disco Completo em que o agente não pode funcionar, recomendamos que você defina a configuração syslog-ng ou rsyslog para não armazenar logs desnecessários. Um cenário de Disco Completo interrompe a função do AMA instalado. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo de segurança

Obtenha instruções específicas para configurar seu dispositivo de segurança acessando um dos seguintes artigos:

• Conector de dados CEF via AMA – Configurar dispositivos específicos para ingestão de dados do Microsoft Sentinel
• Conector de dados Syslog via AMA – Configurar dispositivos específicos para ingestão de dados do Microsoft Sentinel

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o dispositivo.

Testar o conector

Verifique se as mensagens de log do computador linux ou dispositivos e dispositivos de segurança são ingeridas no Microsoft Sentinel.

1. Para validar se o daemon syslog está em execução na porta UDP e que se o AMA está escutando, execute este comando:

   netstat -lnptv
   

   Você deve ver o daemon rsyslog ou syslog-ng escutando na porta 514.

2. Para capturar mensagens enviadas de um agente ou de um dispositivo conectado, execute este comando em segundo plano:

   tcpdump -i any port 514 -A -vv &
   

3. Depois de concluir a validação, recomendamos que você pare o tcpdump: digite fg e selecione Ctrl+C.

4. Para enviar mensagens de demonstração, conclua as seguintes etapas:

   • Use o utilitário netcat. Neste exemplo, o utilitário lê os dados postados por meio do comando echo com a opção newline desativada. Em seguida, o utilitário grava os dados na porta UDP 514 no localhost sem tempo limite. Para executar o utilitário netcat, talvez seja necessário instalar um pacote adicional.

     echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
     

   • Use o agente. Este exemplo grava a mensagem na instalação local 4, no nível de severidade Warning, na porta 514, no host local, no formato RFC CEF. Os sinalizadores -t e --rfc3164 são usados para manter a conformidade com o formato RFC esperado.

     logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
     

5. Para verificar se o conector está instalado corretamente, execute o script de solução de problemas com um destes comandos:

   • Para logs do CEF, execute:

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
     

   • Para logs do ASA (Cisco Adaptive Security Appliance), execute:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
     

   • Para logs do FTD (Cisco Firepower Threat Defense), execute:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
     

Conteúdo relacionado

• Conectores do Syslog e do CEF (Formato Comum de Evento) por meio do AMA para Microsoft Sentinel
• Regras de coleta de dados do Azure Monitor
• Conector de dados do CEF por AMA – Configurar dispositivo ou dispositivo específico para ingestão de dados do Microsoft Sentinel
• Conector de dados Syslog via AMA – Configurar dispositivo específico para ingestão de dados do Microsoft Sentinel