你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure Monitor 代理将 Syslog 和 CEF 消息引入 Microsoft Sentinel

本文介绍如何使用通过 AMA 的 Syslog 和通过 AMA 的通用事件格式 (CEF) 连接器快速筛选和引入 Syslog 消息，包括来自 Linux 计算机、网络和安全设备及装置的通用事件格式 (CEF) 消息。 若要详细了解这些数据连接器，请参阅 Microsoft Sentinel 通过 AMA 的 Syslog 和通用事件格式 (CEF) 连接器。

先决条件

在开始之前，你必须配置资源以及本部分所述的相应权限。

Microsoft Sentinel 先决条件

对于 Microsoft Sentinel，请安装相应的解决方案，并确保你有完成本文中的步骤的权限。

• 从 Microsoft Sentinel 中的内容中心安装相应的解决方案 -Syslog 和/或通用事件格式。 有关更多信息，请参阅发现和管理 Microsoft Sentinel 的现成内容。

• 你的 Azure 帐户必须具有以下 Azure 基于角色的访问控制 (Azure RBAC) 角色：

  内置角色	范围	原因
  - 虚拟机参与者 - Azure Connected Machine    资源管理员	虚拟机 (VM) 虚拟机规模集 已启用 Azure Arc 的服务器	部署代理
  包含以下操作的任何角色： Microsoft.Resources/deployments/*	订阅 资源组 现有数据收集规则	部署 Azure 资源管理器模板
  监视参与者	订阅 资源组 现有数据收集规则	创建或编辑数据收集规则

日志转发器先决条件

如果要从日志转发器收集消息，则以下先决条件适用：

• 必须具有指定的 Linux VM 作为日志转发器才能收集日志。

  • 在 Azure 门户中创建 Linux VM。
  • Azure Monitor 代理支持的 Linux 操作系统。

• 如果日志转发器不是 Azure 虚拟机，则必须在其上安装 Azure Arc Connected Machine 代理。

• 必须在 Linux 日志转发器 VM 上安装 Python 2.7 或 3。 使用 python --version 或 python3 --version 命令进行检查。 如果使用 Python 3，请确保将其设置为计算机上的默认命令，或者使用“python3”命令而不是“python”命令运行脚本。

• 日志转发器必须启用 syslog-ng 或 rsyslog 守护程序。

• 有关日志转发器的空间要求，请参阅 Azure Monitor 代理性能基准。 你还可以查看此博客文章，其中包括可缩放引入的设计。

• 你的日志源、安全设备和装置必须配置为将其日志消息发送到日志转发器的 Syslog 守护程序，而不是发送到其本地 Syslog 守护程序。

计算机安全性先决条件

根据组织的安全策略配置计算机的安全性。 例如，根据企业网络安全策略配置网络，并根据自己的要求更改守护程序中的端口和协议。 为了改进计算机安全配置，请在 Azure 中保护 VM，或查看这些网络安全最佳做法。

如果设备通过 TLS 发送 Syslog 和 CEF 日志（例如由于日志转发器位于云中），则需要配置 Syslog 守护程序（rsyslog 或 syslog-ng）以在 TLS 中进行通信。 有关详细信息，请参阅：

• 使用 TLS 加密 Syslog 流量 - rsyslog
• 使用 TLS 加密日志消息 - syslog-ng

配置数据连接器

通过 AMA 的 Syslog 或通过 AMA 的通用事件格式 (CEF) 数据连接器的设置过程包括以下步骤：

1. 使用以下任一方法安装 Azure Monitor 代理并创建数据收集规则 (DCR)：
   • Azure 或 Defender 门户
   • Azure Monitor 日志引入 API
2. 如果要使用日志转发器从其他计算机收集日志，请在日志转发器上运行“安装”脚本，以将 Syslog 守护程序配置为侦听来自其他计算机的消息，并打开所需的本地端口。

选择相应的选项卡以获取说明。

Azure 或 Defender 门户

创建数据收集规则

若要开始，请在 Microsoft Sentinel 中打开数据连接器并创建数据连接器规则。

1. 对于 Azure 门户中的 Microsoft Sentinel，在“配置”下选择“数据连接器”。
   对于 Defender 门户中的 Microsoft Sentinel，请选择“Microsoft Sentinel”>“配置”>“数据连接器”。

2. 对于 syslog，请在“搜索”框中键入“Syslog”。 在结果中，选择“通过 AMA 的 Syslog”连接器。
   对于 CEF，请在“搜索”框中键入“CEF”。 在结果中，选择“通过 AMA 的通用事件格式 (CEF)”连接器。

3. 在详细信息窗格中选择“打开连接器页面”。

4. 在“配置”区域中，选择“+ 创建数据收集规则”。

   

   

5. 在“基本信息”选项卡上：

   • 键入 DCR 名称。
   • 选择订阅。
   • 选择要定位 DCR 的资源组。

   

6. 选择“下一步: 资源”。

定义 VM 资源

在“资源”选项卡中，选择要安装 AMA 的计算机，在本例中为日志转发器计算机。 如果列表中未显示日志转发器，则可能未安装 Azure Connected Machine 代理。

1. 使用可用的筛选器或搜索框查找日志转发器 VM。 展开列表中的订阅以查看其资源组，展开资源组以查看其 VM。

2. 选择要在其中安装 AMA 的日志转发器 VM。 将鼠标悬停在 VM 名称上方时，旁边会显示复选框。

   

3. 查看更改并选择“下一步: 收集>”

选择设施和严重性

请注意，将相同的设施用于 Syslog 和 CEF 消息可能会导致数据引入重复。 有关详细信息，请参阅避免数据引入重复。

1. 在“收集”选项卡中，为每个设施选择最低日志级别。 选择日志级别后，Microsoft Sentinel 会收集所选级别和其他更高严重性级别的日志。 例如，如果选择 LOG_ERR，Microsoft Sentinel 会收集 LOG_ERR、LOG_CRIT、LOG_ALERT 和 LOG_EMERG 级别的日志。

   

2. 查看所做的选择，然后选择“下一步: 查看 + 创建”。

查看并创建规则

完成所有选项卡后，查看输入的内容并创建数据收集规则。

1. 在“查看 + 创建”选项卡中选择“创建”。

   

   连接器会在创建 DCR 时选择的计算机上安装 Azure Monitor 代理。

2. 检查 Azure 门户或 Microsoft Defender 门户中的通知，查看 DCR 创建和代理安装的时间。

3. 选择连接器页上的“刷新”以查看列表中显示的 DCR。

日志引入 API

安装 Azure Monitor 代理

按照 Azure Monitor 文档中的相应说明在日志转发器上安装 Azure Monitor 代理。 请记住使用适用于 Linux 的说明，而不是适用于 Windows 的说明。

• 使用 PowerShell 安装 AMA
• 使用 Azure CLI 安装 AMA
• 使用 Azure 资源管理器模板安装 AMA

可以使用 Azure Monitor 日志引入 API 创建数据收集规则 (DCR)。 有关详细信息，请参阅 Azure Monitor 中的数据收集规则。

创建数据收集规则

为数据收集规则创建 JSON 文件，创建 API 请求并发送请求。

1. 准备 JSON 格式的 DCR 文件。 此文件的内容是 API 请求中的请求正文。

   有关示例，请参阅 Syslog/CEF DCR 创建请求正文。 若要在同一数据收集规则中收集 Syslog 和 CEF 消息，请参阅示例同一 DCR 中的 Syslog 和 CEF 流。

   • 验证 streams 字段是否设置为 Microsoft-Syslog（对于 Syslog 消息），或设置为 Microsoft-CommonSecurityLog（对于 CEF 消息）。
   • 在 facilityNames 和 logLevels 参数中添加筛选器和工具日志级别。 请参阅设施和日志级别部分示例。

2. 在选择的 REST API 客户端中创建 API 请求。

   1. 对于请求 URL 和标头，请复制以下请求 URL 和标头。

      PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
      

      • 用合适的值替代 {subscriptionId} 和 {resourceGroupName} 占位符。
      • 输入为 DCR 选择的名称来替代 {dataCollectionRuleName} 占位符。

   2. 对于“请求主体”，将（在上面步骤 1 中）创建的 DCR JSON 文件的内容复制并粘贴到请求主体中。

3. 发送请求。

   如需应收到的响应的示例，请参阅 Syslog/CEF DCR 创建响应。

将 DCR 与日志转发器相关联

现在，需要创建一个 DCR 关联 (DCRA)，将 DCR 与托管日志转发器的 VM 资源绑定起来。

1. 在选择的 REST API 客户端中创建 API 请求。

2. 对于请求 URL 和标头，请复制以下请求 URL 和标头。

   PUT 
   https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
   

   • 用合适的值替代 {subscriptionId}、{resourceGroupName} 和 {virtualMachineName} 占位符。
   • 输入为 DCR 选择的名称来替代 {dataCollectionRuleAssociationName} 占位符。

3. 对于请求正文，请复制以下请求正文。

   {
     "properties": {
       "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
     }
   }
   

   • 用合适的值替代 {subscriptionId} 和 {resourceGroupName} 占位符。
   • 输入为 DCR 选择的名称来替代 {dataCollectionRuleName} 占位符。

4. 发送请求。

工具和日志级别部分的示例

查看这些工具和日志级别设置示例。 字段 name 包含筛选器名称。

对于 CEF 消息引入，"streams" 的值应该为 "Microsoft-CommonSecurityLog"，而不是 "Microsoft-Syslog"。

此示例从 cron、daemon、local0、local3 和 uucp 工具收集 Warning、Error、Critical、Alert 和 Emergency 日志级别的事件：

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

同一 DCR 中的 Syslog 和 CEF 流

此示例演示如何在同一 DCR 中收集 Syslog 和 CEF 消息。

DCR 收集以下对象的 CEF 事件消息：

• authpriv 和 mark 工具，日志级别为 Info、Notice、Warning、Error、Critical、Alert 和 Emergency
• daemon 工具，日志级别为 Warning、Error、Critical、Alert 和 Emergency

它收集以下对象的 Syslog 事件消息：

• kern、local0、local5 和 news 工具，日志级别为 Critical、Alert 和 Emergency
• mail 和 uucp 工具，日志级别为 Emergency

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

运行“installation”脚本

如果使用日志转发器，请将 Syslog 守护程序配置为侦听来自其他计算机的消息，并打开必要的本地端口。

1. 在连接器页中，复制“运行以下命令安装并应用 CEF 收集器:”下显示的命令行。

   

   或者从此处复制它：

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. 登录到刚刚安装 AMA 的日志转发器计算机。

3. 粘贴在上一步中复制的命令以启动 installation 脚本。
   该脚本将 rsyslog 或 syslog-ng 守护程序配置为使用所需的协议，并重启守护程序。 该脚本打开端口 514 以侦听 UDP 和 TCP 协议中的传入消息。 若要更改此设置，请根据计算机上运行的守护程序类型参考 Syslog 守护程序配置文件：

   • Rsyslog：/etc/rsyslog.conf
   • Syslog-ng：/etc/syslog-ng/syslog-ng.conf

   注意

   为了避免代理在完整磁盘方案中无法正常运行，建议将 syslog-ng 或 rsyslog 配置设置为不存储无用的日志。 完整磁盘方案会干扰已安装的 AMA 正常运行。 有关详细信息，请参阅 RSyslog 或 Syslog-ng。

测试连接器

验证来自 Linux 计算机或安全设备和装置的日志消息是否已引入到 Microsoft Sentinel 中。

1. 若要验证 Syslog 守护程序是否正在 UDP 端口上运行并且 AMA 是否正在侦听，请运行以下命令：

   netstat -lnptv
   

   应会看到 rsyslog 或 syslog-ng 守护程序正在侦听端口 514。

2. 若要捕获从记录器或连接的设备发送的消息，请在后台运行以下命令：

   tcpdump -i any port 514 -A -vv &
   

3. 完成验证后，建议停止 tcpdump：键入 fg，然后按 Ctrl+C。

4. 若要发送演示消息，请完成以下步骤：

   • 使用 netcat 实用工具。 在此示例中，该实用工具读取通过 echo 命令发布的数据，数据换行开关已关闭。 然后，该实用工具将数据写入本地主机上的 UDP 端口 514，且不会超时。 若要执行 netcat 实用工具，则可能需要安装另一个包。

     echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
     

   • 使用记录器。 此示例以 CEF RFC 格式通过端口 514 将严重性级别为 Warning 的消息写入本地主机上的 local 4 工具。 使用 -t 和 --rfc3164 标志是为了遵守所需的 RFC 格式。

     logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
     

5. 若要验证是否已正确安装连接器，请使用以下命令之一运行故障排除脚本：

   • 对于 CEF 日志，请运行：

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
     

   • 对于 Cisco 自适应安全设备 (ASA) 日志，请运行：

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
     

   • 对于 Cisco Firepower 威胁防御 (FTD) 日志，请运行：

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
     

相关内容

• Microsoft Sentinel 通过 AMA 的 Syslog 和通用事件格式 (CEF) 连接器
• Azure Monitor 中的数据收集规则