Получение данных из источников на основе Linux с помощью системного журнала Syslog

  • Статья

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, который приближается к состоянию конца жизни (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

Примечание.

Сведения о доступности функций в облаках для государственных организаций США см. в таблицах Microsoft Sentinel в статье Доступность функций для клиентов облаков для государственных организаций США.

Системный журнал Syslog — это протокол ведения журнала событий, который обычно используется в Linux. Вы можете использовать управляющую программу Syslog, встроенную в устройства Linux, для получения локальных событий указанных типов, чтобы затем отправлять эти события в Microsoft Sentinel с помощью агента Log Analytics для Linux (прежнее название — агент OMS).

В этой статье описывается, как подключить источники данных к Microsoft Sentinel с помощью Syslog. Дополнительные сведения о поддерживаемых соединителях для этого метода см. в справочных материалах по соединителям данных.

Узнайте, как собирать системный журнал с помощью агента Azure Monitor, включая настройку системного журнала и создание DCR.

Внимание

Агент Log Analytics будет снят с учета 31 августа 2024 г.. Если вы используете агент Log Analytics в развертывании Microsoft Sentinel, рекомендуем начать планирование перехода на AMA. Дополнительные сведения см. в статье Переход на AMA для Microsoft Sentinel.

Сведения о развертывании журналов системного журнала с помощью агента Azure Monitor см . в параметрах потоковой передачи журналов в формате CEF и Syslog в Microsoft Sentinel.

Архитектура

Если на виртуальной машине или устройстве установлен агент Log Analytics, то сценарий установки настраивает локальную управляющую программу Syslog для пересылки сообщений в этот агент через UDP-порт 25224. Получив сообщения, агент отправляет их в рабочую область Log Analytics по протоколу HTTPS, где они принимаются в таблицу Syslog (Microsoft Sentinel > Журналы).

Дополнительные сведения см. в статье об источниках данных Syslog в Azure Monitor.

На этой схеме показан поток данных из источников системного журнала в рабочую область Microsoft Sentinel, где агент Log Analytics устанавливается непосредственно на устройстве источника данных.

Для некоторых типов устройств, которые не поддерживают локальную установку агента Log Analytics, агент можно установить на выделенном сервере пересылки журналов на основе Linux. Исходное устройство должно быть настроено для отправки событий Syslog в управляющую программу Syslog на этом сервере пересылки, а не в локальную управляющую программу. Управляющая программа Syslog на сервере пересылки отправляет события в агент Log Analytics по протоколу UDP. Если предполагается, что этот сервер пересылки Linux будет собирать большое количество событий Syslog, то его управляющая программа должна отправлять события агенту по протоколу TCP. В любом случае агент отправляет события оттуда в рабочую область Log Analytics в Microsoft Sentinel.

На этой схеме показан поток данных из источников системного журнала в рабочую область Microsoft Sentinel, где агент Log Analytics установлен на отдельном устройстве пересылки журналов.

Примечание.

  • Если устройство поддерживает общий формат событий (CEF) на базе Syslog, собирается более полный набор данных, которые анализируются на этапе сбора. Выберите этот параметр и следуйте инструкциям в разделе Получение журналов в формате CEF со своего устройства в Microsoft Sentinel.

  • Log Analytics поддерживает сбор сообщений, отправленных управляющими программами rsyslog или syslog-ng, где значение по умолчанию — rsyslog. Управляющая программа Syslog по умолчанию не поддерживается для сбора событий Syslog в Red Hat Enterprise Linux (RHEL) версии 5, CentOS и Oracle Linux (sysklog). Чтобы собирать данные системного журнала из дистрибутивов этих версий, требуется установить и настроить управляющую программу rsyslog , которая заменит sysklog.

Настройка сбора Syslog включает в себя три шага:

  • Настройте компьютер или устройство Linux. Это устройство, на котором будет установлен агент Log Analytics. Это может быть устройство, которое является источником событий, или сборщик журналов, который будет пересылать их.

  • Настройте параметры ведения журнала приложения в соответствии с расположением управляющей программы Syslog, которая будет отправлять события в агент.

  • Настройте агент Log Analytics. Это осуществляется в Microsoft Sentinel, а конфигурация отправляется во все установленные агенты.

Необходимые компоненты

Прежде чем начать, установите решение для системного журнала из Центра содержимого в Microsoft Sentinel. Дополнительные сведения см. в статье "Обнаружение и управление содержимым Microsoft Sentinel вне поля".

Настройка компьютера или устройства Linux

  1. В меню навигации Microsoft Sentinel выберите Соединители данных.

  2. В коллекции соединителей данных выберите Syslog, а затем щелкните Open connector page (Открыть страницу соединителя).

    Если тип устройства указан в коллекции соединителей данных Microsoft Sentinel, выберите соединитель для своего устройства, а не универсальный соединитель Syslog. Если для типа устройства имеются дополнительные или специальные инструкции, вы увидите их вместе с пользовательским содержимым, например книгами и шаблонами правил аналитики, на странице соединителя для вашего устройства.

  3. Установите агент Linux. В разделе выбора места установки агента выполните указанные ниже действия.

    Тип компьютера Instructions
    Для виртуальной машины Linux 1. Разверните узел Install agent on Azure Linux virtual machine (Установить агент на виртуальной машине Linux Azure).

    2. Выберите ссылку "Скачать и установить агент для виртуальных машин > Azure Linux".

    3. В колонке Виртуальные машины выберите виртуальную машину для установки агента, после чего выберите Подключить. Повторите этот шаг для каждой виртуальной машины, которую вы хотите подключить.
    Для любой другой виртуальной машины Linux 1. Разверните узел Install agent on a non-Azure Linux Machine (Установить агент на компьютере Linux, не относящемся к Azure).

    2. Выберите агент загрузки и установки для компьютеров, отличных > от Azure Linux.

    3. В колонке Agents management (Управление агентами) выберите вкладку Linux servers (Серверы Linux), затем скопируйте команду в разделе Download and onboard agent for Linux (Скачать и встроить агент для Linux) и выполните ее на своем компьютере Linux.

    Если вы хотите сохранить локальную копию установочного файла агента Linux, выберите ссылку Загрузить агент Linux над командой "Загрузить и установить агент".

    Примечание.

    Настройте параметры безопасности этих устройств в соответствии с политикой безопасности своей организации. Например, вы можете настроить сеть в соответствии с корпоративной политикой безопасности сети, изменив порты и протоколы в управляющей программе согласно своим требованиям.

Использование одного компьютера для пересылки обычных сообщений Системного журнала и CEF

Для накопления и пересылки журналов из простых источников Syslog можно использовать имеющийся компьютер сервера пересылки журналов CEF. Однако для того, чтобы избежать отправки событий в Microsoft Sentinel в обоих форматах (это приведет к дублированию событий), необходимо выполнить указанные ниже действия.

После настройки сбора данных из источников CEF и настройки агента Log Analytics:

  1. на каждом компьютере, который отправляет журналы в формате CEF, необходимо удалить из файла конфигурации системного журнала устройства, используемые для отправки сообщений CEF. Таким образом, средства, отправляемые в CEF, не будут отправляться в системный журнал. Подробные инструкции по выполнению этой задачи см. в разделе Настройка системного журнала на агенте Linux.

  2. На этих компьютерах необходимо выполнить приведенную ниже команду, чтобы отключить синхронизацию агента с конфигурацией системного журнала в Microsoft Sentinel. Выполнив эту команду, вы сможете быть уверены, что изменение конфигурации, выполненное на предыдущем шаге, не будет перезаписано.

    sudo -u omsagent python /opt/microsoft/omsconfig/Scripts/OMS_MetaConfigHelper.py --disable

Настройка параметров ведения журнала устройства

Многие типы устройств имеют собственные соединители данных, которые отображаются в коллекции соединителей данных. Для некоторых из этих соединителей для правильной настройки сбора журналов в Microsoft Sentinel требуется наличие специальных дополнительных инструкций. Эти инструкции могут включать реализацию средства синтаксического анализа на основе функции Kusto.

Все соединители, перечисленные в коллекции, сопровождаются специальными инструкциями на соответствующих страницах соединителей на портале, а также в соответствующих разделах статьи Найдите нужный соединитель данных Microsoft Sentinel.

Если инструкции на странице соединителя данных в Microsoft Sentinel указывают на то, что функции Kusto развернуты как средства синтаксического анализа для расширенной информационной модели безопасности (ASIM), убедитесь, что в рабочей области развернуты анализаторы ASIM.

Используйте ссылку на странице соединителя данных для развертывания средств синтаксического анализа или следуйте инструкциям в репозитории Microsoft Sentinel GitHub.

Дополнительные сведения см. в статье Средства синтаксического анализа для информационной модели повышенной безопасности (ASIM).

Настройка агента Log Analytics

  1. В нижней части колонки соединителя Syslog щелкните ссылку Open your workspace agents configuration > (Открыть конфигурацию агентов рабочей области).

  2. На странице управления устаревшими агентами добавьте средства для сбора соединителя. Выберите Добавить устройство и выберите нужный вариант из раскрывающегося списка устройств.

    • Добавьте устройства, которые ваше устройство Syslog добавляет в заголовки своих журналов.

    • Если вы хотите применить функции аномального обнаружения входа SSH к собираемым данным, добавьте auth и authpriv. Дополнительные сведения см. в следующем разделе.

  3. После добавления всех средств, которые требуется отслеживать, снимите флажки для всех уровней серьезности, которые вы не хотите собирать. По умолчанию все они выбраны.

  4. Выберите Применить.

  5. На виртуальной машине или устройстве убедитесь, что отправляются выбранные вами устройства.

Поиск данных

  1. Чтобы отправить запрос к данным Syslog в журналах,введите Syslog в окне запроса.

    Некоторые соединители, использующие механизм системного журнала, могут хранить свои данные в таблицах, отличных от Syslog (см. раздел для своего соединителя на справочной странице соединителей данных Microsoft Sentinel).

  2. Для анализа сообщений системного журнала можно использовать параметры запроса, описанные в разделе Использование функций в запросах журналов Azure Monitor. Затем можно сохранить запрос как новую функцию Log Analytics и использовать ее в качестве нового типа данных.

Настройка соединителя Syslog для обнаружения аномальных входов SSH

Внимание

Обнаружение аномального входа в систему по протоколу SSH в настоящее время находится на этапе предварительной версии. Дополнительные юридические условия, применимые к функциям Azure, которые предоставляются в бета-версии, предварительной версии или еще не выпущены в общедоступной версии по другим причинам, см. на странице Дополнительные условия использования Azure для предварительных версий в Microsoft Azure.

Microsoft Sentinel может с помощью машинного обучения обнаруживать в данных системного журнала аномальные действия входа SSH (Secure Shell). Поддерживаются следующие сценарии:

  • Неосуществимое перемещение — два успешных события входа происходят из двух расположений, которые недостижимы одно из другого в течение периода между двумя событиями входа.

  • Неожиданное расположение — расположение, из которого произошло успешное событие входа, является подозрительным. Например, за последнее время вход из этого места не наблюдался.

Для такого обнаружения требуется определенным образом настроить соединитель данных Syslog.

  1. Для шага 2 в разделе Настройка агента Log Analytics в качестве отслеживаемых устройств выберите auth и authpriv со всеми уровнями серьезности.

  2. Для сбора данных системного журнала требуется определенное время. Затем перейдите в раздел Microsoft Sentinel — журналы, скопируйте и вставьте следующий запрос:

    Syslog
| where Facility in ("authpriv","auth")
| extend c = extract( "Accepted\\s(publickey|password|keyboard-interactive/pam)\\sfor ([^\\s]+)",1,SyslogMessage)
| where isnotempty(c)
| count

    При необходимости измените диапазон времени и выберите Выполнить.

    Если полученное значение счетчика равно нулю, проверьте конфигурацию соединителя и убедитесь, что на отслеживаемых компьютерах происходил вход в течение указанного в запросе периода.

    Если полученное число больше нуля, данные системного журнала можно использовать для обнаружения аномальных входов по протоколу SSH. Включить эту функцию можно в разделе Аналитика>Шаблоны правил>(предварительная версия) Обнаружение аномального входа SSH.

Следующие шаги

Из этого документа вы узнали, как подключить локальные устройства Syslog к Microsoft Sentinel. Ознакомьтесь с дополнительными сведениями о Microsoft Sentinel в следующих статьях: