Прием сообщений системного журнала и CEF в Microsoft Sentinel с помощью агента Azure Monitor

Статья
05/21/2024

В этой статье описывается, как использовать системный журнал с помощью AMA и общего формата событий (CEF) через соединители AMA для быстрого фильтрации и приема сообщений системного журнала, включая сообщения в формате common Event Format (CEF), с компьютеров Linux и устройств безопасности сети и (модуль). Дополнительные сведения об этих соединителях данных см. в статье Syslog и Common Event Format (CEF) через соединители AMA для Microsoft Sentinel.

Необходимые компоненты

Перед началом работы необходимо настроить ресурсы и соответствующие разрешения, описанные в этом разделе.

Предварительные требования для Microsoft Sentinel

Для Microsoft Sentinel установите соответствующее решение и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье.

Установите соответствующее решение— системный журнал и (или) общий формат событий из центра контента в Microsoft Sentinel. Дополнительные сведения см. в статье "Обнаружение и управление содержимым Microsoft Sentinel вне поля".

Ваша учетная запись Azure должна иметь следующие роли управления доступом на основе ролей Azure (Azure RBAC):

Встроенная роль	Область	Причина
- Участник виртуальной машины - Компьютер с Подключение Azure Ресурс Администратор istrator	Виртуальные машины Масштабируемые наборы виртуальных машин Серверы с поддержкой Azure Arc	Развертывание агента
Любая роль, которая включает действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
Monitoring Contributor (Участник мониторинга)	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для пересылки журналов

Если вы собираете сообщения из средства пересылки журналов, применяются следующие предварительные требования:

Для сбора журналов необходимо назначить виртуальную машину Linux в качестве средства пересылки журналов.
- Создайте виртуальную машину Linux в портал Azure.
- Поддерживаемые операционные системы Linux для агента Azure Monitor.
Если средство пересылки журналов не является виртуальной машиной Azure, на ней должен быть установлен агент azure Arc Подключение ed Machine.
Виртуальная машина пересылки журналов Linux должна быть установлена на Python 2.7 или 3. Для проверки используйте команду python --version или python3 --version. Если вы используете Python 3, убедитесь, что оно задано в качестве команды по умолчанию на компьютере или запустите скрипты с помощью команды Python3 вместо python.
Средство пересылки журналов должно включать syslog-ng управляющая программа или rsyslog управляющая программа.
Сведения о требованиях к пространству для сервера пересылки журналов см. в справочнике по производительности агента Azure Monitor. Вы также можете просмотреть эту запись блога, включающую проекты для масштабируемого приема.
Источники журналов, устройства безопасности и (модуль) должны быть настроены для отправки сообщений журнала в управляющая программа syslog средства пересылки журналов вместо локальной управляющей программы Системного журнала.

Предварительные требования для обеспечения безопасности компьютера

Настройте безопасность компьютера в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе, чтобы соответствовать вашим требованиям. Чтобы улучшить конфигурацию безопасности компьютера, защитить виртуальную машину в Azure или ознакомьтесь с этими рекомендациями по обеспечению безопасности сети.

Если ваши устройства отправляют журналы Системного журнала и CEF по протоколу TLS, так как, например, сервер пересылки журналов находится в облаке, необходимо настроить управляющая программа системного журнала (rsyslog или syslog-ng) для обмена данными в TLS. Дополнительные сведения см. в разделе:

Настройка соединителя данных

Процесс установки системного журнала с помощью AMA или common Event Format (CEF) через соединители данных AMA включает следующие действия.

Установите агент Azure Monitor и создайте правило сбора данных (DCR) с помощью любого из следующих методов:
- Портал Azure или Defender
- API приема журналов Azure Monitor
Если вы собираете журналы с других компьютеров с помощью средства пересылки журналов, запустите сценарий установки в средстве пересылки журналов, чтобы настроить управляющая программа Syslog для прослушивания сообщений с других компьютеров и открыть необходимые локальные порты.

Выберите соответствующую вкладку для инструкций.

Портал Azure или Defender
API приема журналов

Создать правило сбора данных

Чтобы приступить к работе, откройте соединитель данных в Microsoft Sentinel и создайте правило соединителя данных.

Для Microsoft Sentinel в портал Azure в разделе "Конфигурация" выберите соединители данных.
Для Microsoft Sentinel на портале Defender выберите соединители данных конфигурации>Microsoft Sentinel>.
Для системного журнала введите Syslog в поле поиска . В результатах выберите системный журнал через соединитель AMA .
Для CEF введите CEF в поле поиска . В результатах выберите общий формат событий (CEF) через соединитель AMA .
На панели сведений выберите страницу "Открыть соединитель".
В области конфигурации выберите пункт +Создать правило сбора данных.
На вкладке "Базовый " :
- Введите имя DCR.
- Выберите свою подписку.
- Выберите группу ресурсов, в которой нужно найти DCR.
Выберите Далее: Ресурс >.

Определение ресурсов виртуальной машины

На вкладке "Ресурсы" выберите компьютеры, на которых требуется установить AMA, в этом случае компьютер пересылки журналов. Если средство пересылки журналов не отображается в списке, возможно, у него не установлен агент Подключение компьютера Azure.

Используйте доступные фильтры или поле поиска, чтобы найти виртуальную машину пересылки журналов. Разверните подписку в списке, чтобы просмотреть ее группы ресурсов и группу ресурсов, чтобы просмотреть свои виртуальные машины.
Выберите виртуальную машину пересылки журналов, на которую вы хотите установить AMA. Поле проверка отображается рядом с именем виртуальной машины при наведении на него указателя мыши.
Просмотрите изменения и нажмите кнопку "Далее: Собрать >".

Выбор объектов и серьезности

Помните, что использование одного и того же объекта для сообщений Системного журнала и CEF может привести к дублированию данных. Дополнительные сведения см. в разделе "Предотвращение дублирования данных".

На вкладке "Сбор" выберите минимальный уровень журнала для каждого объекта. При выборе уровня журнала Microsoft Sentinel собирает журналы для выбранного уровня и других уровней с более высоким уровнем серьезности. Например, если выбрать LOG_ERR, Microsoft Sentinel собирает журналы для уровней LOG_ERR, LOG_CRIT, LOG_ALERT и LOG_EMERG.
Просмотрите выбранные варианты и нажмите кнопку "Далее: просмотр и создание".

Проверка и создание правила

После завершения всех вкладок просмотрите введенные и создайте правило сбора данных.

На вкладке "Рецензирование" и "Создать " нажмите кнопку "Создать".

Соединитель устанавливает агент Azure Monitor на компьютерах, выбранных при создании DCR.
Проверьте уведомления на портале портал Azure или Microsoft Defender, чтобы узнать, когда создается DCR и установлен агент.
Выберите "Обновить" на странице соединителя, чтобы увидеть DCR, отображаемый в списке.

Установка агента Azure Monitor

Следуйте соответствующим инструкциям из документации по Azure Monitor, чтобы установить агент Azure Monitor на сервере пересылки журналов. Не забудьте использовать инструкции для Linux, а не для Windows.

Правила сбора данных (DCR) можно создать с помощью API приема журналов Azure Monitor. Дополнительные сведения см. в разделе "Правила сбора данных" в Azure Monitor.

Создание правила сбора данных

Создайте JSON-файл для правила сбора данных, создайте запрос API и отправьте запрос.

Подготовка файла DCR в формате JSON. Содержимое этого файла — это текст запроса в запросе API.

Пример см. в тексте запроса на создание syslog/CEF DCR. Сведения о сборе сообщений Syslog и CEF в одном правиле сбора данных см. в примерах потоков Syslog и CEF в одном DCR.
- Убедитесь, что streams поле задано Microsoft-Syslog для сообщений системного журнала или Microsoft-CommonSecurityLog для сообщений CEF.
- Добавьте уровни журнала фильтра и объекта в facilityNames параметры.logLevels См . примеры разделов объектов и уровней журналов.
Создайте запрос API в клиенте REST API выбранного объекта.
1. Для URL-адреса запроса и заголовка скопируйте следующий URL-адрес запроса и заголовок.
```
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
```
  - Замените соответствующие значения для {subscriptionId} заполнителей и {resourceGroupName} заполнителей.
  - Введите имя выбранного {dataCollectionRuleName} объекта DCR вместо заполнителя.
2. Для текста запроса скопируйте и вставьте содержимое созданного JSON-файла DCR (на шаге 1 выше) в текст запроса.
Отправьте запрос.

Пример ответа, который необходимо получить, см . в ответе на создание syslog/CEF DCR.

Связывание DCR с сервером пересылки журналов

Теперь необходимо создать ассоциацию DCR (DCRA), которая связывает DCR с ресурсом виртуальной машины, на котором размещен сервер пересылки журналов.

Создайте запрос API в клиенте REST API выбранного объекта.
Для URL-адреса запроса и заголовка скопируйте следующий URL-адрес запроса и заголовок.
```
PUT 
https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
```
- Замените соответствующие значения для {subscriptionId}{resourceGroupName}заполнителей и {virtualMachineName} заполнителей.
- Введите имя выбранного {dataCollectionRuleAssociationName} объекта DCR вместо заполнителя.
Для текста запроса скопируйте следующий текст запроса.
```
{
  "properties": {
    "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
  }
}
```
- Замените соответствующие значения для {subscriptionId} заполнителей и {resourceGroupName} заполнителей.
- Введите имя выбранного {dataCollectionRuleName} объекта DCR вместо заполнителя.
Отправьте запрос.

Примеры разделов объектов и уровней журналов

Просмотрите эти примеры параметров объектов и уровней журналов. Поле name содержит имя фильтра.

Для приема сообщений CEF значение "streams" должно быть "Microsoft-CommonSecurityLog" вместо "Microsoft-Syslog".

В этом примере собираются события из cronобъектов , local0daemonlocal3 и uucp объектов с AlertWarningErrorCriticalEmergency уровнями журнала , а также уровнями журналов:

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Потоки системного журнала и CEF в одном DCR

В этом примере показано, как собирать сообщения системного журнала и CEF в одном DCR.

DCR собирает сообщения о событиях CEF для:

И authpriv объекты с Infoуровнями журнала , WarningEmergencyNoticeErrorCriticalAlertmark
Объект daemon с уровнями журналов, а ErrorEmergencyAlertCriticalтакже уровнями журнала Warning

Он собирает сообщения о событиях системного журнала для:

kern, local0local5и news объекты с CriticalAlertуровнями журнала и Emergency
Объекты mail и uucp объекты с Emergency уровнем журнала

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Запуск скрипта "установка"

Если вы используете средство пересылки журналов, настройте управляющей программе Syslog прослушивание сообщений с других компьютеров и откройте необходимые локальные порты.

На странице соединителя скопируйте командную строку, которая отображается в разделе Выполнить следующую команду, чтобы установить и применить сборщик CEF:

Или скопируйте его здесь:
```
sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
```
Войдите на компьютер пересылки журналов, где вы только что установили AMA.
Вставьте команду, скопированную на последнем шаге, чтобы запустить скрипт установки.
Скрипт настраивает rsyslog управляющая syslog-ng программа для использования требуемого протокола и перезапускает управляющая программа. Скрипт открывает порт 514 для прослушивания входящих сообщений в протоколах UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы Системного журнала в соответствии с типом управляющей программы, запущенным на компьютере:
- rsyslog: /etc/rsyslog.conf;
- syslog-ng: /etc/syslog-ng/syslog-ng.conf.
Примечание.

Чтобы избежать сценариев полного диска, в которых агент не может функционировать, рекомендуется установить или rsyslog настроить syslog-ng конфигурацию, чтобы не хранить ненужные журналы. Сценарий полного диска нарушает функцию установленной AMA. Дополнительные сведения см. в статье RSyslog или Syslog-ng.

Тестирование соединителя

Убедитесь, что журналы сообщений с компьютера linux или устройств безопасности и (модуль) передаются в Microsoft Sentinel.

Чтобы проверить, запущена ли управляющая программа системного журнала на порту UDP и прослушивается ли AMA, выполните следующую команду:
```
netstat -lnptv
```
Вы увидите rsyslog управляющую программу, syslog-ng прослушивающую порт 514.
Чтобы записать сообщения, отправленные из средства ведения журнала или подключенного устройства, выполните следующую команду в фоновом режиме:
```
tcpdump -i any port 514 -A -vv &
```
После завершения проверки рекомендуется остановить tcpdump: введите fg и нажмите клавиши CTRL+C.
Чтобы отправить демонстрационные сообщения, выполните следующие действия:
- Используйте служебную программу netcat. В этом примере служебная программа считывает данные, размещенные по команде echo , с отключенным параметром новой строки. Затем программа записывает данные в порт 514 UDP в localhost без времени ожидания. Чтобы выполнить служебную программу netcat, может потребоваться установить другой пакет.
```
echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
```
- Используйте средство ведения журнала. В этом примере сообщение записывается в local 4 объект на уровне Warningсерьезности, в порт 514на локальном узле в формате RFC CEF. --rfc3164 Флаги -t используются для соответствия ожидаемому формату RFC.
```
logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
```

Чтобы убедиться, что соединитель установлен правильно, запустите скрипт устранения неполадок с помощью одной из следующих команд:

Для журналов CEF выполните следующую команду:

 sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef

Для журналов адаптивного устройства безопасности Cisco (ASA) выполните следующую команду:

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa

Для журналов Cisco Firepower Threat Defense (FTD) выполните следующую команду:

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd

Поделиться через

Прием сообщений системного журнала и CEF в Microsoft Sentinel с помощью агента Azure Monitor

Необходимые компоненты

Предварительные требования для Microsoft Sentinel

Предварительные требования для пересылки журналов

Предварительные требования для обеспечения безопасности компьютера

Настройка соединителя данных

Создать правило сбора данных

Определение ресурсов виртуальной машины

Выбор объектов и серьезности

Проверка и создание правила

Установка агента Azure Monitor

Создание правила сбора данных

Связывание DCR с сервером пересылки журналов

Примеры разделов объектов и уровней журналов

Потоки системного журнала и CEF в одном DCR

Запуск скрипта "установка"

Тестирование соединителя

Дополнительные ресурсы

Поделиться через

Прием сообщений системного журнала и CEF в Microsoft Sentinel с помощью агента Azure Monitor

Необходимые компоненты

Предварительные требования для Microsoft Sentinel

Предварительные требования для пересылки журналов

Предварительные требования для обеспечения безопасности компьютера

Настройка соединителя данных

Создать правило сбора данных

Определение ресурсов виртуальной машины

Выбор объектов и серьезности

Проверка и создание правила

Запуск скрипта "установка"

Тестирование соединителя

Связанный контент

Дополнительные ресурсы