Настройка автоматической отправки журналов с помощью Docker в Azure

В этой статье описывается настройка автоматической отправки журналов для непрерывных отчетов в приложениях Defender для облака с помощью Docker в Ubuntu или CentOS в Azure.

Необходимые компоненты

Перед началом работы убедитесь, что среда соответствует следующим требованиям:

Требование	Description
ОС	Одно из следующих элементов: — Ubuntu 14.04, 16.04, 18.04 и 20.04 — CentOS 7.2 или более поздней версии
Место на диске	250 ГБ
Ядра ЦП	2
Архитектура ЦП	Intel 64 и AMD 64
ОЗУ	4 ГБ
Настройка брандмауэра	Как определено в требованиях к сети

Планирование сборщиков журналов по производительности

Каждый сборщик журналов может успешно обрабатывать емкость журнала до 50 ГБ в час, состоящий из до 10 источников данных. Основными узкими местами в процессе сбора журналов являются:

• Пропускная способность сети — определяет скорость отправки журналов.

• Производительность ввода-вывода виртуальной машины — определяет скорость записи журналов на диск сборщика журналов. Сборщик журналируемых данных снабжен встроенным защитным механизмом, который контролирует скорость поступления журналов и сравнивает ее со скоростью передачи. В случае перегрузки сборщик начинает удалять файлы журнала. Если настройка обычно превышает 50 ГБ в час, рекомендуется разделить трафик между несколькими сборщиками журналов.

Если требуется более 10 источников данных, рекомендуется разделить источники данных между несколькими сборщиками журналов.

Определение источников данных

1. На портале Microsoft Defender выберите параметры автоматической отправки журналов > Cloud Apps > Cloud Discovery>.

2. На вкладке "Источники данных" создайте соответствующий источник данных для каждого брандмауэра или прокси-сервера, из которого требуется отправить журналы:

   1. Выберите Добавить источник данных.

   2. В диалоговом окне "Добавление источника данных" введите имя источника данных, а затем выберите тип источника и приемника.

      Перед выбором источника выберите пример ожидаемого файла журнала и сравните журнал с ожидаемым форматом. Если формат файла журнала не соответствует этому примеру, добавьте источник данных в качестве другого.

      Чтобы работать с сетевым устройством, которое не указано, выберите формат журнала других > клиентов или другие (только вручную). Дополнительные сведения см. в статье "Работа с пользовательским средство синтаксического анализа журналов".

   Примечание.

   Для интеграции с протоколами безопасной передачи (FTPS и Syslog — TLS) часто требуются дополнительные параметры, брандмауэр или прокси-сервер.

Повторите эту процедуру для каждого брандмауэра и прокси-сервера, журналы которых можно использовать для обнаружения трафика в сети.

Рекомендуется настроить выделенный источник данных на каждое сетевое устройство, что позволяет отслеживать состояние каждого устройства отдельно для исследования и изучать теневое обнаружение ИТ-специалистов на каждое устройство, если каждое устройство используется другим сегментом пользователя.

Создание сборщика журналов

1. На портале Microsoft Defender выберите параметры автоматической отправки журналов > Cloud Apps > Cloud Discovery>.

2. На вкладке "Сборщики журналов" выберите "Добавить сборщик журналов".

3. В диалоговом окне создания сборщика журналов введите следующие сведения:

   • Имя сборщика журналов
   • IP-адрес узла, который является частным IP-адресом компьютера, который будет использоваться для развертывания Docker. IP-адрес узла также можно заменить именем компьютера, если dns-сервер или эквивалентно разрешению имени узла.

   Затем выберите поле источника данных, чтобы выбрать источники данных, которые требуется подключить к сборщику, и нажмите кнопку "Обновить ", чтобы сохранить изменения. Каждый сборщик журналов может обрабатывать несколько источников данных.

   В диалоговом окне создания сборщика журналов отображаются дополнительные сведения о развертывании, включая команду для импорта конфигурации сборщика. Например:

   

4. Щелкните значок копирования рядом с командой, чтобы скопировать ее в буфер обмена.

   Сведения, отображаемые в диалоговом окне создания сборщика журналов, отличаются в зависимости от выбранных типов источников и получателей. Например, если выбран системный журнал, диалоговое окно содержит сведения о том, какой порт прослушиватель системного журнала прослушивает.

   Скопируйте содержимое экрана и сохраните их локально, так как вам потребуется при настройке сборщика журналов для взаимодействия с Defender для облака Приложениями.

5. Выберите "Экспорт", чтобы экспортировать исходную конфигурацию в объект . CSV-файл, описывающий настройку экспорта журналов на устройствах.

Совет

Для пользователей, отправляющих данные журнала через FTP в первый раз, рекомендуется изменить пароль для пользователя FTP. Дополнительные сведения см. в разделе "Изменение пароля FTP".

Развертывание компьютера в Azure

В этой процедуре описывается развертывание компьютера с помощью Ubuntu. Действия по развертыванию на других платформах немного отличаются.

1. Создайте новую виртуальную машину под управлением Ubuntu в среде Azure.

2. После запуска компьютера откройте порты:

   1. В представлении виртуальной машины щелкните Сеть и выберите соответствующий интерфейс, дважды щелкнув его.

   2. Щелкните Группа безопасности сети и выберите соответствующую группу безопасности.

   3. Перейдите к правилам безопасности для входящего трафика и нажмите кнопку "Добавить".

   4. Добавьте следующие правила (в режиме Расширенный):

      Имя.	Диапазоны портов назначения	Протокол	Источник	Назначение
      caslogcollector_ftp	21	TCP	Your appliance's IP address's subnet	Любое
      caslogcollector_ftp_passive	20 000–20 099	TCP	Your appliance's IP address's subnet	Любое
      caslogcollector_syslogs_tcp	601–700	TCP	Your appliance's IP address's subnet	Любое
      caslogcollector_syslogs_udp	514–600	UDP	Your appliance's IP address's subnet	Любое

   Дополнительные сведения см. в статье "Работа с правилами безопасности".

3. На виртуальной машине щелкните Connect (Подключиться), чтобы открыть терминал.

4. Переключитесь на привилегированного пользователя с помощью команды sudo -i.

5. Если вы принимаете условия лицензионного соглашения на программное обеспечение, удалите старые версии и установите Docker CE, выполнив команды, соответствующие вашей среде:

   CentOS

   1. Удалите старые версии Docker: yum erase docker docker-engine docker.io

   2. Установите предварительные требования для подсистемы Docker: yum install -y yum-utils

   3. Добавьте репозиторий Docker:

      yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
      yum makecache
      

   4. Установите подсистему Docker: yum -y install docker-ce

   5. Запуск Docker

      systemctl start docker
      systemctl enable docker
      

   6. Проверка установки Docker: docker run hello-world

   Ubuntu

   1. Удалите старые версии Docker: apt-get remove docker docker-engine docker.io

   2. Если вы устанавливаете на Ubuntu 14.04, установите дополнительный пакет linux-image-extra.

      apt-get update -y
      apt-get install -y linux-image-extra-$(uname -r) linux-image-extra-virtual
      

   3. Установите предварительные требования для подсистемы Docker:

      apt-get update -y
      (apt-get install -y apt-transport-https ca-certificates curl software-properties-common && curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add - )
      

   4. Убедитесь, что идентификатор пользовательского интерфейса apt-отпечаток ключа:docker@docker.comapt-key fingerprint | grep uid

   5. Установите подсистему Docker:

      add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
      apt-get update -y
      apt-get install -y docker-ce
      

   6. Проверка установки Docker: docker run hello-world

6. Выполните команду, скопированную ранее из диалогового окна создания сборщика журналов . Например:

   (echo db3a7c73eb7e91a0db53566c50bab7ed3a755607d90bb348c875825a7d1b2fce) | docker run --name MyLogCollector -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='192.168.1.1'" -e "PROXY=192.168.10.1:8080" -e "CONSOLE=mod244533.us.portal.cloudappsecurity.com" -e "COLLECTOR=MyLogCollector" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

7. Убедитесь, что сборщик работает без ошибок, выполнив команду Docker logs <collector_name>. Вы должны увидеть сообщение Finished successfully! (Завершено успешно).

Настройка локальных параметров сетевого устройства

Настройте сетевые брандмауэры и прокси-серверы для периодического экспорта журналов на выделенный порт Syslog каталога FTP согласно указаниям в диалоговом окне. Например:

BlueCoat_HQ - Destination path: \<<machine_name>>\BlueCoat_HQ\

Проверка развертывания в приложениях Defender для облака

Проверьте состояние сборщика в таблице Сборщик журналов и убедитесь, что оно имеет значение Подключен. Если состояние — Создан, возможно, подключение и анализ сборщика журналируемых данных не завершены.

Например:

Вы также можете убедиться, что журналы периодически отправляются на портал, воспользовавшись журналом управления.

Кроме того, можно проверить состояние сборщика журналов из контейнера Docker с помощью следующих команд:

1. Войдите в контейнер с помощью этой команды: docker exec -it <Container Name> bash
2. Проверьте состояние сборщика журналов с помощью следующей команды: collector_status -p

Если у вас возникли проблемы во время развертывания, ознакомьтесь с разделом "Устранение неполадок в облаке".

Дополнительно — создание настраиваемых непрерывных отчетов

Убедитесь, что журналы отправляются в приложения Defender для облака и создаются отчеты. После этого вы можете создать настраиваемые отчеты. Пользовательские отчеты обнаружения можно создавать на основе групп пользователей Microsoft Entra. Например, если нужно просмотреть сведения об использовании облачных приложений отделом маркетинга, импортируйте соответствующую группу с помощью функции импорта группы пользователей. Затем создайте для нее пользовательский отчет. Можно также настроить отчет на основе тега IP-адреса или диапазонов IP-адресов.

1. На портале Microsoft Defender выберите параметры. Затем выберите "Облачные приложения".

2. В разделе Cloud Discovery выберите непрерывные отчеты.

3. Нажмите кнопку Создать отчет и заполните поля.

4. В разделе Фильтры можно выполнить фильтрацию по источнику данных, импортированной группе пользователей либо тегам и диапазонам IP-адресов.

   Примечание.

   При применении фильтров к непрерывным отчетам выбор будет включен, а не исключен. Например, если применить фильтр к определенной группе пользователей, в отчет будет включена только эта группа пользователей.

   

Удаление сборщика журналов

Если у вас есть сборщик журналов и вы хотите удалить его перед его развертыванием еще раз или просто хотите удалить его, выполните следующие команды:

docker stop <collector_name>
docker rm <collector_name>

Следующие шаги

Изменение конфигурации FTP сборщика журналов

Если у вас возникли проблемы, мы здесь, чтобы помочь. Чтобы получить помощь или поддержку проблемы с продуктом, откройте запрос в службу поддержки.