Потоковая передача данных мониторинга Azure в концентратор событий или решение внешнего партнера

В большинстве случаев наиболее эффективным способом потоковой передачи данных из Azure Monitor во внешние средства является использование Центры событий Azure. В этой статье содержится краткое описание действий по настройке потоковой передачи данных, а также перечислены некоторые партнерские решения, в которые можно отправить данные. Некоторые партнеры имеют специальную интеграцию с Azure Monitor и могут размещаться в Azure.

Создание пространства имен в Центрах событий Azure

Перед настройкой потоковой передачи для любого источника данных необходимо создать пространство имен Центров событий и концентратор событий. Они являются местом назначения всех ваших данных мониторинга. Пространство имен Центров событий — это логическое объединение концентраторов событий, которые совместно используют одну политику доступа. Применяется тот же принцип, что и для отдельных больших двоичных объектов в рамках одной учетной записи хранения. Рассмотрим следующие сведения о пространстве имен Центров событий и центрах событий, используемых для потокового мониторинга данных:

  • Добавив единицы пропускной способности, можно увеличить ее масштаб для концентраторов событий. Как правило, необходима только одна единица пропускной способности. Если нужно увеличить масштаб, когда растет объем использования журнала, вы можете вручную добавить единицы пропускной способности для пространства имен или включить автоматическое расширение.
  • Добавив разделы, вы можете распараллелить потребление по нескольким клиентам. Один раздел позволяет пропускать до 20 Мбит/с или приблизительно 20 000 сообщений в секунду. В зависимости от средства, используюющего данные, он может или не поддерживать использование из нескольких секций. Если вы не знаете, какое количество разделов настроить, рекомендуем начать с четырех.
  • Рекомендуем хранить сообщения в концентраторе в течение как минимум 7 дней. В таком случае, если средство, использующее данные, выйдет из строя более чем на один день, можно будет возобновить его работу с момента остановки (для событий, которые произошли не более 7 дней назад).
  • Для концентратора событий следует использовать группу потребителей по умолчанию. Не нужно создавать другие группы объектов-получателей или использовать отдельную группу объектов-получателей, если вы не планируете задействовать два разных средства, которые будут использовать одни и те же данные в одном концентраторе событий.
  • В журнале действий Azure вы выбираете пространство имен Центров событий, а Azure Monitor создает концентратор событий в этом пространстве имен, называемом insights-logs-operations-logs. Для других типов журналов можно выбрать существующий концентратор событий или создать концентратор событий для каждой категории журналов при помощи Azure Monitor.
  • Исходящий порт 5671 и 5672 обычно должен быть открыт на компьютере или виртуальной сети, использующей данные из концентратора событий.

Доступные данные мониторинга

Источники данных мониторинга для Azure Monitor и их методы сбора данных описывают различные типы данных, собранные Azure Monitor, и методы, используемые для их сбора. Ознакомьтесь с этой статьей для данных, которые можно передавать в концентратор событий и ссылки на сведения о конфигурации.

Потоковая передача данных диагностика

Используйте параметр диагностика для потоковой передачи журналов и метрик в Центры событий. Сведения о настройке параметров диагностики см. в разделе "Создание параметров диагностики"

Ниже приведен пример данных метрик, отправленных в концентратор событий:

[
  {
    "records": [
      {
        "count": 2,
        "total": 0.217,
        "minimum": 0.042,
        "maximum": 0.175,
        "average": 0.1085,
        "resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 2,
        "total": 0.284,
        "minimum": 0.053,
        "maximum": 0.231,
        "average": 0.142,
        "resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:04:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 1,
        "total": 1,
        "minimum": 1,
        "maximum": 1,
        "average": 1,
        "resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "Requests",
        "timeGrain": "PT1M"
      },
    ...
    ]
  }
]

Ниже приведен пример данных журнала, отправленных в концентратор событий:

[
  {
    "records": [
      {
        "time": "2023-04-18T09:39:56.5027358Z",
        "category": "AuditEvent",
        "operationName": "VaultGet",
        "resultType": "Success",
        "correlationId": "12345678-abc-4bc5-9f31-950eaf3bfcb4",
        "callerIpAddress": "10.0.0.10",
        "identity": {
          "claim": {
            "http://schemas.microsoft.com/identity/claims/objectidentifier": "123abc12-abcd-9876-cdef-123abc456def",
            "appid": "12345678-a1a1-b2b2-c3c3-9876543210ab"
          }
        },
        "properties": {
          "id": "https://mykeyvault.vault.azure.net/",
          "clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
          "requestUri": "https://northeurope.management.azure.com/subscriptions/ABCDEF12-3456-78AB-CD12-34567890ABCD/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
          "httpStatusCode": 200,
          "properties": {
            "sku": {
              "Family": "A",
              "Name": "Standard",
              "Capacity": null
            },
            "tenantId": "12345678-abcd-1234-abcd-1234567890ab",
            "networkAcls": null,
            "enabledForDeployment": 0,
            "enabledForDiskEncryption": 0,
            "enabledForTemplateDeployment": 0,
            "enableSoftDelete": 1,
            "softDeleteRetentionInDays": 90,
            "enableRbacAuthorization": 0,
            "enablePurgeProtection": null
          }
        },
        "resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
        "operationVersion": "2023-02-01",
        "resultSignature": "OK",
        "durationMs": "16"
      }
    ],
    "EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
    "PartitionId": 1,
    "EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
  },
...

Потоковая передача вручную с помощью приложения логики

Для данных, которые нельзя напрямую передавать в концентратор событий, можно записать в служба хранилища Azure, а затем использовать приложение логики с активацией времени, которое извлекает данные из Хранилище BLOB-объектов Azure и отправляет его в качестве сообщения в концентратор событий.

Средства партнеров с интеграцией с Azure Monitor

Маршрутизация данных мониторинга в концентратор событий с помощью Azure Monitor обеспечивает интеграцию с внешним решением SIEM и инструментами мониторинга. В следующей таблице перечислены примеры инструментов с интеграцией Azure Monitor.

Средство Размещено в Azure Description
IBM QRadar No Microsoft Azure DSM и протокол Центров событий Microsoft Azure доступны для загрузки на веб-сайте поддержки IBM.
Splunk No Надстройка Splunk для Microsoft Облачные службы — это проект с открытым исходным кодом, доступный в Splunkbase.

Если вы не можете установить надстройку в экземпляре Splunk и, например, используете прокси-сервер или работаете в Splunk Cloud, вы можете перенаправить эти события в сборщик событий HTTP Splunk с помощью функции Azure для Splunk. Это средство активируется новыми сообщениями в концентраторе событий.
sumologic No Инструкции по настройке SumoLogic для использования данных из концентратора событий доступны в статье Сбор журналов для приложения аудита Azure из Центров событий.
ArcSight No Интеллектуальный соединитель ArcSight для Центров событий Azure доступен в составе коллекции интеллектуальных соединителей ArcSight.
Сервер системного журнала No Если вы хотите передавать данные Azure Monitor непосредственно на сервер системного журнала, можно использовать решение на основе функции Azure.
LogRhythm No Инструкции по настройке LogRhythm для сбора журналов из концентратора событий доступны на этом веб-сайте LogRhythm.
Logz.io Да Дополнительные сведения см. в статье "Начало работы с мониторингом и ведением журнала" с помощью Logz.io для приложений Java, работающих в Azure.

Следующие шаги