Бөлісу құралы:

Потоковая передача данных мониторинга Azure в концентратор событий и внешний партнер

  • Мақала

Эффективный способ потоковой передачи данных из Azure Monitor во внешние средства осуществляется с помощью Центры событий Azure. В этой статье описано, как передавать данные в Центры событий и перечислять некоторые партнеры, которые могут использовать эти данные из концентратора. Некоторые партнеры интегрируются с Azure Monitor и имеют размещенные в Azure службы.

Создание пространства имен в Центрах событий Azure

Перед настройкой потоковой передачи для источника данных необходимо создать пространство имен Центров событий и концентратор событий. Они являются местом назначения всех ваших данных мониторинга. Пространство имен Центров событий — это логическая группировка центров событий, которые используют ту же политику доступа, как и учетная запись хранения, имеет отдельные контейнеры для больших двоичных объектов в учетной записи хранения. Рассмотрим следующие сведения о пространстве имен Центров событий и центрах событий, используемых для потокового мониторинга данных:

  • Добавив единицы пропускной способности, можно увеличить ее масштаб для концентраторов событий. Как правило, необходима только одна единица пропускной способности. Если нужно увеличить масштаб, когда растет объем использования журнала, вы можете вручную добавить единицы пропускной способности для пространства имен или включить автоматическое расширение.
  • Добавив разделы, вы можете распараллелить потребление по нескольким клиентам. Один раздел позволяет пропускать до 20 Мбит/с или приблизительно 20 000 сообщений в секунду. В зависимости от средства, используюющего данные, он может или не поддерживать использование из нескольких секций. Если вы не знаете, какое количество разделов настроить, рекомендуем начать с четырех.
  • Задайте для концентратора событий по крайней мере семь дней хранения сообщений. В таком случае, если средство, использующее данные, выйдет из строя более чем на один день, можно будет возобновить его работу с момента остановки (для событий, которые произошли не более 7 дней назад).
  • Используйте группу потребителей по умолчанию для концентратора событий. Не нужно создавать другие группы объектов-получателей или использовать отдельную группу объектов-получателей, если вы не планируете задействовать два разных средства, которые будут использовать одни и те же данные в одном концентраторе событий.
  • Для журнала действий Azure при выборе пространства имен Центров событий Azure Monitor создает концентратор событий в этом пространстве insights-logs-operational-logsимен. Для других типов журналов можно выбрать существующий концентратор событий или создать концентратор событий для каждой категории журналов при помощи Azure Monitor.
  • Исходящий порт 5671 и 5672 должен быть открыт на компьютере или виртуальной сети, использующей данные из концентратора событий.

Методы потоковой передачи

Данные можно отправлять в Центры событий с помощью следующих методов в Azure Monitor:

  • Правила сбора данных
    Правила сбора данных используются для потоковой передачи журналов и метрик в Центры событий, рабочие области Log Analytics и служба хранилища Azure. Сведения о настройке правил сбора данных см . в правилах сбора данных в Azure Monitor и создании и изменении правил сбора данных.

  • Параметры диагностики
    Используйте параметр диагностика для потоковой передачи журналов и метрик в Центры событий. Сведения о настройке параметров диагностики см. в разделе "Создание параметров диагностики".

  • Потоковая передача вручную с помощью Logic Apps
    Для данных, которые нельзя напрямую передавать в концентратор событий, можно записать в служба хранилища Azure, а затем использовать приложение логики с активацией времени, которое извлекает данные из Хранилище BLOB-объектов Azure и отправляет его в качестве сообщения в концентратор событий. Дополнительные сведения см. в статье "Подключение к концентратору событий" из рабочих процессов в Azure Logic Apps.

Форматы данных

Ниже приведен пример данных метрик, отправленных в концентратор событий:

[
  {
    "records": [
      {
        "count": 2,
        "total": 0.217,
        "minimum": 0.042,
        "maximum": 0.175,
        "average": 0.1085,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 2,
        "total": 0.284,
        "minimum": 0.053,
        "maximum": 0.231,
        "average": 0.142,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:04:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 1,
        "total": 1,
        "minimum": 1,
        "maximum": 1,
        "average": 1,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "Requests",
        "timeGrain": "PT1M"
      },
    ...
    ]
  }
]

Ниже приведен пример данных журнала, отправленных в концентратор событий:

[
  {
    "records": [
      {
        "time": "2023-04-18T09:39:56.5027358Z",
        "category": "AuditEvent",
        "operationName": "VaultGet",
        "resultType": "Success",
        "correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
        "callerIpAddress": "10.0.0.10",
        "identity": {
          "claim": {
            "http://schemas.microsoft.com/identity/claims/objectidentifier": "dddddddd-3333-4444-5555-eeeeeeeeeeee",
            "appid": "44445555-eeee-6666-ffff-7777aaaa8888"
          }
        },
        "properties": {
          "id": "https://mykeyvault.vault.azure.net/",
          "clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
          "requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
          "httpStatusCode": 200,
          "properties": {
            "sku": {
              "Family": "A",
              "Name": "Standard",
              "Capacity": null
            },
            "tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
            "networkAcls": null,
            "enabledForDeployment": 0,
            "enabledForDiskEncryption": 0,
            "enabledForTemplateDeployment": 0,
            "enableSoftDelete": 1,
            "softDeleteRetentionInDays": 90,
            "enableRbacAuthorization": 0,
            "enablePurgeProtection": null
          }
        },
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
        "operationVersion": "2023-02-01",
        "resultSignature": "OK",
        "durationMs": "16"
      }
    ],
    "EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
    "PartitionId": 1,
    "EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
  },
...

Средства партнеров с интеграцией с Azure Monitor

Маршрутизация данных мониторинга в концентратор событий с помощью Azure Monitor обеспечивает интеграцию с внешним решением SIEM и инструментами мониторинга. В следующей таблице перечислены примеры инструментов с интеграцией Azure Monitor.

Средство Размещено в Azure Description
IBM QRadar No Microsoft Azure DSM и протокол Центров событий Microsoft Azure доступны для загрузки на веб-сайте поддержки IBM.
Splunk No Надстройка Splunk для Microsoft Облачные службы — это проект с открытым исходным кодом, доступный в Splunkbase.

Если вы не можете установить надстройку в экземпляре Splunk и используете прокси-сервер или работаете в Splunk Cloud, вы можете перенаправить эти события в сборщик событий Splunk HTTP с помощью функции Azure для Splunk. Это средство активируется новыми сообщениями в концентраторе событий.
sumologic No Инструкции по настройке SumoLogic для использования данных из концентратора событий доступны в статье Сбор журналов для приложения аудита Azure из Центров событий.
ArcSight No Интеллектуальный соединитель ArcSight для Центров событий Azure доступен в составе коллекции интеллектуальных соединителей ArcSight.
Сервер системного журнала No Если вы хотите передавать данные Azure Monitor непосредственно на сервер системного журнала, можно использовать решение на основе функции Azure.
LogRhythm No Инструкции по настройке LogRhythm для сбора журналов из концентратора событий доступны на этом веб-сайте LogRhythm.
Logz.io Да Дополнительные сведения см. в статье "Начало работы с мониторингом и ведением журнала" с помощью Logz.io для приложений Java, работающих в Azure.

Следующие шаги