Сбор журналов из текстовых файлов с помощью агента Azure Monitor и приема в Microsoft Sentinel

• Применяется к:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

В этой статье описывается, как использовать пользовательские журналы через соединитель AMA для быстрого фильтрации и приема журналов в текстовом формате из сетевых или приложений безопасности, установленных на компьютерах Windows или Linux.

Многие приложения записывают данные в текстовые файлы вместо стандартных служб журналирования, таких как журнал событий Windows или системный журнал. Агент Azure Monitor (AMA) можно использовать для сбора данных в текстовых файлах нестандартных форматов с компьютеров Windows и Linux. AMA также может влиять на преобразования данных во время сбора, чтобы проанализировать их в разных полях.

Дополнительные сведения о приложениях, для которых Microsoft Sentinel имеет решения для поддержки сбора журналов, см. в статье "Пользовательские журналы через соединитель данных AMA" — настройка приема данных в Microsoft Sentinel из конкретных приложений.

Дополнительные сведения о приеме пользовательских журналов из текстовых файлов см. в статье Сбор журналов из текстового файла с помощью агента Azure Monitor.

Внимание

• Пользовательские журналы через соединитель данных AMA в настоящее время находятся в предварительной версии. Дополнительные юридические условия, применимые к функциям Azure, которые предоставляются в бета-версии, предварительной версии или еще не выпущены в общедоступной версии по другим причинам, см. на странице Дополнительные условия использования Azure для предварительных версий в Microsoft Azure.

• Microsoft Sentinel теперь общедоступен на платформе унифицированных операций безопасности Майкрософт на портале Microsoft Defender. Дополнительные сведения см . на портале Microsoft Defender в Microsoft Sentinel.

Необходимые компоненты

Перед началом работы необходимо настроить ресурсы и соответствующие разрешения, как описано в этом разделе.

Предварительные требования для Microsoft Sentinel

• Установите решение Microsoft Sentinel, соответствующее приложению, и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье. Эти решения можно найти в центре содержимого в Microsoft Sentinel, и все они включают пользовательские журналы через соединитель AMA.

  Список приложений с решениями в концентраторе контента см . в конкретных инструкциях для каждого приложения. Если для приложения нет решения, установите пользовательские журналы с помощью решения AMA .

  Дополнительные сведения см. в статье "Обнаружение и управление содержимым Microsoft Sentinel вне поля".

• У вас есть учетная запись Azure со следующими ролями управления доступом на основе ролей Azure (Azure RBAC):

  Встроенная роль	Область	Причина
  - Участник виртуальной машины - Подключенный компьютер Azure    Администратор ресурсов	Виртуальные машины Масштабируемые наборы виртуальных машин Серверы с поддержкой Azure Arc	Развертывание агента
  Любая роль, которая включает действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
  Monitoring Contributor (Участник мониторинга)	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для пересылки журналов

Некоторые пользовательские приложения размещаются на закрытых устройствах, которые требуют отправки журналов во внешний сборщик или пересылку журналов. В таком сценарии к серверу пересылки журналов применяются следующие предварительные требования:

• Для сбора журналов необходимо назначить виртуальную машину Linux в качестве средства пересылки журналов.

  • Создайте виртуальную машину Linux в портал Azure.
  • Поддерживаемые операционные системы Linux для агента Azure Monitor.

• Если сервер пересылки журналов не является виртуальной машиной Azure, он должен установить на него агент подключенной машины Azure Arc.

• Виртуальная машина пересылки журналов Linux должна быть установлена на Python 2.7 или 3. Для проверки используйте команду python --version или python3 --version. Если вы используете Python 3, убедитесь, что оно задано в качестве команды по умолчанию на компьютере или запустите скрипты с помощью команды Python3 вместо python.

• Средство пересылки журналов должно включать syslog-ng управляющая программа или rsyslog управляющая программа.

• Сведения о требованиях к пространству для сервера пересылки журналов см. в справочнике по производительности агента Azure Monitor. Вы также можете просмотреть эту запись блога, включающую проекты для масштабируемого приема.

• Источники журналов, устройства безопасности и устройства должны быть настроены для отправки сообщений журнала в управляющей программе syslog средства пересылки журналов вместо локальной управляющей программы системного журнала.

Предварительные требования для обеспечения безопасности компьютера

Настройте безопасность компьютера пересылки журналов в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе, чтобы соответствовать вашим требованиям. Чтобы улучшить конфигурацию безопасности компьютера, защитить виртуальную машину в Azure или ознакомьтесь с этими рекомендациями по обеспечению безопасности сети.

Если устройства отправляют журналы по протоколу TLS, так как, например, сервер пересылки журналов находится в облаке, необходимо настроить управляющая программа системного журнала (rsyslog или syslog-ng) для обмена данными в TLS. Дополнительные сведения см. в разделе:

• Шифрование трафика системного журнала с помощью TLS — rsyslog
• Шифрование сообщений журнала с помощью TLS — syslog-ng

Настройка соединителя данных

Процесс установки пользовательских журналов через соединитель данных AMA включает следующие действия.

1. Создайте целевую таблицу в Log Analytics (или расширенную охоту, если вы находитесь на портале Defender).

   Имя таблицы должно заканчиваться _CL и должно состоять только из следующих двух полей:

   • TimeGenerated (тип DateTime): метка времени создания сообщения журнала.
   • RawData (типа String): сообщение журнала в целом.
     (Если вы собираете журналы из средства пересылки журналов, а не непосредственно с устройства, на котором размещено приложение, назовите это поле. Сообщение вместо RawData.)

2. Установите агент Azure Monitor и создайте правило сбора данных (DCR) с помощью любого из следующих методов:

   • Портал Azure или Defender
   • Шаблон Azure Resource Manager

3. Если вы собираете журналы с помощью средства пересылки журналов, настройте управляющую программу системного журнала на этом компьютере для прослушивания сообщений из других источников и откройте необходимые локальные порты. Дополнительные сведения см. в разделе "Настройка средства пересылки журналов для приема журналов".

Выберите соответствующую вкладку для инструкций.

Портал Azure или Defender

Создание правила сбора данных (DCR)

Чтобы приступить к работе, откройте пользовательские журналы через соединитель данных AMA в Microsoft Sentinel и создайте правило сбора данных (DCR).

1. Для Microsoft Sentinel в портал Azure в разделе "Конфигурация" выберите соединители данных.
   Для Microsoft Sentinel на портале Defender выберите соединители данных конфигурации>Microsoft Sentinel>.

2. Введите настраиваемый в поле поиска. В результатах выберите настраиваемые журналы через соединитель AMA .

3. На панели сведений выберите страницу "Открыть соединитель".

   

4. В области конфигурации выберите пункт +Создать правило сбора данных.

   

5. На вкладке "Базовый " :

   • Введите имя DCR.
   • Выберите свою подписку.
   • Выберите группу ресурсов, в которой нужно найти DCR.

   

6. Выберите Далее: Ресурс >.

Определение ресурсов виртуальной машины

На вкладке "Ресурсы" выберите компьютеры, из которых требуется собрать журналы. Это компьютеры, на которых установлено приложение, или компьютеры пересылки журналов. Если нужный компьютер не отображается в списке, это может быть виртуальная машина Azure с установленным агентом подключенного компьютера Azure.

1. Используйте доступные фильтры или поле поиска, чтобы найти нужный компьютер. Разверните подписку в списке, чтобы просмотреть ее группы ресурсов и группу ресурсов, чтобы просмотреть свои виртуальные машины.

2. Выберите компьютер, из которого требуется собирать журналы. Флажок отображается рядом с именем виртуальной машины при наведении на него указателя мыши.

   

   Если выбранные компьютеры еще не установлены в агенте Azure Monitor, агент устанавливается при создании и развертывании DCR.

3. Просмотрите изменения и нажмите кнопку "Далее: Собрать >".

Настройка DCR для приложения

1. На вкладке "Сбор " выберите приложение или тип устройства в раскрывающемся списке "Выбор типа устройства ( необязательно) или оставьте его как настраиваемую новую таблицу , если приложение или устройство не указано.

2. Если выбрано одно из перечисленных приложений или устройств, поле "Имя таблицы" автоматически заполняется правильным именем таблицы. Если вы выбрали пользовательскую новую таблицу, введите имя таблицы в поле "Имя таблицы". Имя должно заканчиваться суффиксом _CL .

3. В поле шаблона файла введите путь и имя файла для сбора файлов текстовых журналов. Сведения о том, как найти имена и пути по умолчанию для каждого приложения или типа устройства, см . в конкретных инструкциях для каждого типа приложения. Вам не нужно использовать имена файлов или пути по умолчанию, а в имени файла можно использовать подстановочные знаки.

4. В поле преобразования, если вы выбрали пользовательскую таблицу на шаге 1, введите запрос Kusto, который применяет преобразование выбранного значения к данным.

   Если вы выбрали одно из перечисленных приложений или устройств на шаге 1, это поле автоматически заполняется соответствующим преобразованием. Не редактируйте преобразование, которое отображается там. В зависимости от выбранного типа это значение должно иметь одно из следующих значений:

   • source (значение по умолчанию — без преобразования)
   • source | project-rename Message=RawData (для устройств, отправляющих журналы в средство пересылки)

5. Просмотрите выбранные варианты и нажмите кнопку "Далее: просмотр и создание".

Проверка и создание правила

После завершения всех вкладок просмотрите введенные и создайте правило сбора данных.

1. На вкладке "Рецензирование" и "Создать " нажмите кнопку "Создать".

   

   Соединитель устанавливает агент Azure Monitor на компьютерах, выбранных при создании DCR.

2. Проверьте уведомления на портале портал Azure или Microsoft Defender, чтобы узнать, когда создается DCR и установлен агент.

3. Выберите "Обновить" на странице соединителя, чтобы увидеть DCR, отображаемый в списке.

Шаблон Resource Manager

Установка агента Azure Monitor

Следуйте соответствующим инструкциям из документации По Azure Monitor, чтобы установить агент Azure Monitor на компьютере, на котором размещено приложение, или на сервере пересылки журналов. Используйте инструкции для Windows или Linux в соответствии с соответствующими параметрами.

• Установка AMA с помощью PowerShell
• Установка AMA с помощью Azure CLI
• Установка AMA с помощью шаблона Azure Resource Manager

Создайте правила сбора данных (DCR) с помощью API приема журналов Azure Monitor. Дополнительные сведения см. в разделе "Правила сбора данных" в Azure Monitor.

Создание правила сбора данных

Используйте следующий шаблон ARM для создания или изменения DCR для сбора текстовых файлов журнала:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Замените значения {PLACE_HOLDER} следующими значениями:

Заполнитель	Значение
{DCR_NAME}	Имя, выбранное для правила сбора данных. Он должен быть уникальным в рабочей области.
{DCR_LOCATION}	Регион, в котором находится группа ресурсов, содержащая DCR.
{TABLE_NAME}	Имя целевой таблицы в Log Analytics. Должен заканчиваться _CLс .
{LOCAL_PATH_FILE_1} (обязательно), {LOCAL_PATH_FILE_2} (необязательно)	Пути и имена файлов текстовых файлов, содержащих журналы, которые требуется собрать. Они должны находиться на компьютере, на котором установлен агент Azure Monitor.
{WORKSPACE_RESOURCE_PATH}	Путь к ресурсу Azure рабочей области Microsoft Sentinel.
{WORKSPACE_ID}	GUID рабочей области Microsoft Sentinel.

Связывание DCR с агентом Azure Monitor

При создании DCR с помощью шаблона ARM необходимо связать DCR с агентами, которые будут использовать его. Вы можете изменить DCR в портал Azure и выбрать агенты, как описано в разделе "Определение ресурсов виртуальной машины".

Настройка средства пересылки журналов для приема журналов

Если вы собираете журналы с устройства с помощью средства пересылки журналов, настройте управляю системного журнала в средстве пересылки журналов для прослушивания сообщений с других компьютеров и откройте необходимые локальные порты.

1. Скопируйте следующую командную строку:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Войдите на компьютер пересылки журналов, где вы только что установили AMA.

3. Вставьте команду, скопированную на последнем шаге, чтобы запустить скрипт установки.
   Скрипт настраивает rsyslog управляющая syslog-ng программа для использования требуемого протокола и перезапускает управляющая программа. Скрипт открывает порт 514 для прослушивания входящих сообщений в протоколах UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы системного журнала в соответствии с типом управляющей программы, запущенным на компьютере:

   • rsyslog: /etc/rsyslog.conf;
   • syslog-ng: /etc/syslog-ng/syslog-ng.conf.

   Если вы используете Python 3, и оно не задано как команда по умолчанию на компьютере, замените python3 python в вставленной команде. См . предварительные требования для пересылки журналов.

   Примечание.

   Чтобы избежать сценариев полного диска, в которых агент не может функционировать, рекомендуется установить или rsyslog настроить syslog-ng конфигурацию, чтобы не хранить ненужные журналы. Сценарий полного диска нарушает функцию установленной AMA. Дополнительные сведения см. в статье RSyslog или Syslog-ng.

Настройка устройства безопасности или устройства

Инструкции по настройке приложения безопасности или устройства см. в разделе "Пользовательские журналы" с помощью соединителя данных AMA. Настройка приема данных в Microsoft Sentinel из определенных приложений

Обратитесь к поставщику решений, чтобы получить дополнительные сведения или где информация недоступна для устройства или устройства.

Связанный контент

• Правила сбора данных в Azure Monitor
• Сбор журналов из текстового файла с помощью агента Azure Monitor