Мониторинг данных Azure Cosmos DB с помощью параметров диагностики в Azure

Статья
10/30/2023

Область применения: Nosql Mongodb Кассандра Гремлин Таблица

Параметры диагностики в Azure используются для сбора журналов ресурсов. Ресурсы выдают журналы ресурсов Azure и предоставляют широкие, частые данные об операции этого ресурса. Эти журналы записываются для каждого запроса, и они также называются "журналами плоскости данных". Некоторые примеры операций плоскости данных включают удаление, вставку и чтение. Содержимое этих журналов зависит от типа ресурса.

Метрики платформы и журналы действий собираются автоматически, но для сбора журналов ресурсов или их отправки за пределы Azure Monitor необходимо создать параметр диагностики. Вы можете включить параметр диагностики для учетных записей Azure Cosmos DB и отправлять журналы ресурсов в следующие источники:

Рабочие области Log Analytics
- Данные, отправленные в Log Analytics, можно записывать в таблицы диагностики Azure (устарело) или таблицы для конкретных ресурсов (предварительная версия).
концентратор событий;
Учетная запись хранения

Примечание.

Мы рекомендуем создать параметр диагностики в режиме конкретного ресурса (для всех API, кроме API для таблицы), следуя нашим инструкциям по созданию параметра диагностика через REST API. Этот вариант обеспечивает дополнительную оптимизацию затрат и улучшенное представление для обработки данных.

Необходимые компоненты

Существующая учетная запись Azure Cosmos DB.
- Если у вас есть подписка Azure, создайте новую учетную запись.
- Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
- Кроме того, перед фиксацией можно воспользоваться бесплатной службой Azure Cosmos DB.

Создание параметров диагностики

Здесь мы рассмотрим процесс создания параметров диагностики для вашей учетной записи.

Войдите на портал Azure.
Перейдите к своей учетной записи Azure Cosmos DB. Откройте область параметров диагностики в разделе "Мониторинг" и выберите параметр "Добавить параметр диагностики".

Важно!

Может появиться запрос "Включить полнотекстовый запрос [...] для более подробного ведения журнала", если функция полнотекстового запроса не включена в вашей учетной записи. Это предупреждение можно игнорировать, если вы не хотите включить эту функцию. Дополнительные сведения см. в разделе "Включение полнотекстового запроса".

На панели Параметры диагностики заполните форму, выбрав нужные категории. Ниже приведен список категорий журналов.

Категория	API	Определение	Ключевые свойства
DataPlaneRequests	Рекомендуется для API для NoSQL	Записывает внутренние запросы в виде операций плоскости данных, которые выполняются для создания, обновления, удаления или извлечения данных в учетной записи.	`Requestcharge`, , `statusCodeclientIPaddress`, `partitionIDresourceTokenPermissionIdresourceTokenPermissionMode`
MongoRequests	API для MongoDB	Регистрирует запросы, инициированные пользователем, из внешнего интерфейса для обслуживания запросов к Azure Cosmos DB для MongoDB. Если вы включите эту категорию, обязательно отключите категорию DataPlaneRequests.	`Requestcharge`, , `opCoderetryCountpiiCommandText`
CassandraRequests	API для Apache Cassandra	Регистрирует запросы, инициированные пользователем, из внешнего интерфейса для обслуживания запросов в Azure Cosmos DB для Cassandra.	`operationName`, , `requestChargepiiCommandText`
GremlinRequests	API для Apache Gremlin	Регистрирует запросы, инициированные пользователем, из внешнего интерфейса для обслуживания запросов в Azure Cosmos DB для Gremlin.	`operationName`, , `requestChargepiiCommandTextretriedDueToRateLimiting`
QueryRuntimeStatistics	API для NoSQL	Эта таблица содержит сведения о операциях запроса, выполняемых для учетной записи API для NoSQL. По умолчанию текст запроса и его параметры скрываются, чтобы избежать ведения журнала данных persona l с полным текстовым ведением журнала запросов, доступных по запросу.	`databasename`, , `partitionkeyrangeidquerytext`
PartitionKeyStatistics	Все API	Записывает в журнал статистику ключей логических разделов, представляя предполагаемый размер хранилища (в КБ) для ключей секций. Эта таблица полезна для устранении неполадок, связанных с неравномерным распределением данных в хранилище. Этот журнал PartitionKeyStatistics создается только в том случае, если заданы следующие условия: 1. По крайней мере 1 % документов в физической секции имеют одинаковый ключ логической секции. 2. Из всех ключей в физической секции журнал PartitionKeyStatistics записывает первые три ключа с наибольшим размером хранилища. Если предыдущие условия не выполнены, данные статистики ключа секции недоступны. Это нормально, если указанные выше условия не соответствуют вашей учетной записи, что обычно означает, что у вас нет логического хранилища секций. Примечание. Предполагаемый размер ключей секции вычисляется с помощью подхода выборки, который предполагает, что документы в физической секции примерно одинаковы. Если размеры документа не одинаковы в физической секции, предполагаемый размер ключа секции может быть не точным.	`subscriptionId`, , `regionNamepartitionKeysizeKB`
PartitionKeyRUConsumption	API для NoSQL или API для Apache Gremlin	Записывает в журнал агрегированное количество потребленных ЕЗ/с для ключей секций. Эта таблица полезна для устранения неполадок, связанных с "горячими" секциями. В настоящее время Azure Cosmos DB сообщает ключи секций для учетных записей API для Учетных записей NoSQL, а также для операций чтения и записи, запросов и хранимых процедур.	`subscriptionId`, , `regionNamepartitionKey`, `requestChargepartitionKeyRangeId`
ControlPlaneRequests	Все API	Журналы сведений об операциях плоскости управления, включая создание учетной записи, добавление или удаление региона, обновление параметров реплика и т. д.	`operationName`, , `httpstatusCodehttpMethodregion`
TableApiRequests	API для таблицы	Регистрирует запросы, инициированные пользователем, из внешнего интерфейса для обслуживания запросов в Azure Cosmos DB для таблицы.	`operationName`, , `requestChargepiiCommandText`

После выбора сведений о категориях отправьте свои журналы в желаемое место назначения. Если вы отправляете журналы в рабочую область Log Analytics, обязательно выберите в качестве целевой таблицы таблицу для конкретных ресурсов.

Чтобы создать параметр диагностики с помощью Azure CLI, используйте команду az monitor diagnostic-settings create. Описание параметров команды см. в документации о ней.

Примечание.

Если вы используете API для NoSQL, рекомендуется задать для свойства export-to-resource значениеtrue.

Создание переменных оболочки для subscriptionId, diagnosticSettingNameworkspaceName и resourceGroupName.

# Variable for subscription id
subscriptionId="<subscription-id>"

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for workspace name
workspaceName="<workspace-name>"

# Variable for diagnostic setting name
diagnosticSettingName="<diagnostic-setting-name>"

Используется az monitor diagnostic-settings create для создания параметра.

az monitor diagnostic-settings create \
    --resource "/subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.DocumentDb/databaseAccounts/" \
    --name $diagnosticSettingName \
    --export-to-resource-specific true \
    --logs '[{"category": "QueryRuntimeStatistics","categoryGroup": null,"enabled": true,"retentionPolicy": {"enabled": false,"days": 0}}]' \
    --workspace "/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName/providers/microsoft.operationalinsights/workspaces/$workspaceName"

Для создания параметра диагностики через интерактивную консоль используйте REST API Azure Monitor.

Примечание.

Мы рекомендуем задать для свойства logAnalyticsDestinationType значение Dedicated, чтобы включить создание таблиц для конкретных ресурсов.

Создайте HTTP-запрос PUT .

PUT
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

Используйте эти заголовки с запросом.

Параметры и заголовки	Значение и описание
name	Имя параметра диагностики.
resourceUri	URI субресурса Майкрософт Аналитика для учетной записи Azure Cosmos DB.
api-version	`2017-05-01-preview`
Content-Type	`application/json`

Примечание.

Универсальный код ресурса (URI) для подресурса Microsoft Аналитика представлен в следующем формате: subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME} Дополнительные сведения об URI ресурсах Azure Cosmos DB см . в синтаксисе URI ресурсов для REST API Azure Cosmos DB.

Задайте текст запроса для этой полезных данных JSON.

{
    "id": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME}",
    "type": "Microsoft.Insights/diagnosticSettings",
    "name": "name",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": null,
        "serviceBusRuleId": null,
        "workspaceId": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "logs": [
            {
                "category": "DataPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "QueryRuntimeStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyRUConsumption",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ControlPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ],
        "logAnalyticsDestinationType": "Dedicated"
    },
    "identity": null
}

Здесь используйте шаблон Azure Resource Manager (ARM) для создания параметра диагностики.

Примечание.

Задайте для свойства logAnalyticsDestinationType значение "Выделенный", чтобы включить таблицы, относящиеся к ресурсам.

Создайте следующий файл шаблона JSON для развертывания параметров диагностики для ресурса Azure Cosmos DB.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "type": "string",
      "metadata": {
        "description": "The name of the diagnostic setting."
      }
    },
    "dbName": {
      "type": "string",
      "metadata": {
        "description": "The name of the database."
      }
    },
    "workspaceId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the workspace."
      }
    },
    "storageAccountId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the storage account."
      }
    },
    "eventHubAuthorizationRuleId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the event hub authorization rule."
      }
    },
    "eventHubName": {
      "type": "string",
      "metadata": {
        "description": "The name of the event hub."
      }
    }
  },
  "resources": [
    {
      "type": "Microsoft.Insights/diagnosticSettings",
      "apiVersion": "2021-05-01-preview",
      "scope": "[format('Microsoft.DocumentDB/databaseAccounts/{0}', parameters('dbName'))]",
      "name": "[parameters('settingName')]",
      "properties": {
        "workspaceId": "[parameters('workspaceId')]",
        "storageAccountId": "[parameters('storageAccountId')]",
        "eventHubAuthorizationRuleId": "[parameters('eventHubAuthorizationRuleId')]",
        "eventHubName": "[parameters('eventHubName')]",
        "logAnalyticsDestinationType": "[parameters('logAnalyticsDestinationType')]",
        "logs": [
          {
            "category": "DataPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "MongoRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "QueryRuntimeStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyRUConsumption",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "ControlPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "CassandraRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "GremlinRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "TableApiRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          }
        ],
        "metrics": [
          {
            "timeGrain": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            },
            "category": "Requests"
          }
        ]
      }
    }
  ]
}

Создайте следующий файл параметров JSON с параметрами, подходящими для ресурса Azure Cosmos DB.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "value": "{DIAGNOSTIC_SETTING_NAME}"
    },
    "dbName": {
      "value": "{ACCOUNT_NAME}"
    },
    "workspaceId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}"
    },
    "storageAccountId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/{STORAGE_ACCOUNT_NAME}"
    },
    "eventHubAuthorizationRuleId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups{RESOURCE_GROUP}/providers/Microsoft.EventHub/namespaces/{EVENTHUB_NAMESPACE}/authorizationrules/{EVENTHUB_POLICY_NAME}"
    },
    "eventHubName": {
      "value": "{EVENTHUB_NAME}"
    },
    "logAnalyticsDestinationType": {
      "value": "Dedicated"
    }
  }
}

Развертывание шаблона с помощью az deployment group create.

az deployment group create \
    --resource-group <resource-group-name> \
    --template-file <path-to-template>.json \
    --parameters @<parameters-file-name>.json

Включение полнотекстовых запросов для журналов

Примечание.

Включение этой функции может привести к дополнительным затратам на ведение журнала. Сведения о ценах см. на странице цен на Azure Monitor. Рекомендуется отключить эту функцию после устранения неполадок.

Azure Cosmos DB поддерживает расширенные функции ведения журнала для подробного устранения неполадок. Включив полнотекстовый запрос, вы можете просмотреть деобфускированный запрос для всех запросов в учетной записи Azure Cosmos DB. Вы также предоставляете разрешение azure Cosmos DB для доступа к этим данным и их поверхности в журналах.

Портал Azure
Azure CLI / REST API / шаблон ARM

Чтобы включить эту функцию, перейдите на Features страницу в учетной записи Azure Cosmos DB.
Выберите Enable. Этот параметр применяется в течение нескольких минут. Все только что приеманные журналы имеют полный текст или текст PIICommand для каждого запроса.

Убедитесь, что вы вошли в Azure CLI. Дополнительные сведения см. в статье о входе с помощью Azure CLI. При необходимости убедитесь, что вы настроили активную подписку для интерфейса командной строки. Дополнительные сведения см. в статье об изменении активной подписки Azure CLI.

Создание переменных оболочки для accountName и resourceGroupName.

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for account name
accountName="<account-name>"

Получите уникальный идентификатор существующей учетной записи с помощью az show.
```
az cosmosdb show \
    --resource-group $resourceGroupName \
    --name $accountName \
    --query id
```
Сохраните уникальный идентификатор в переменной оболочки с именем $uri.
```
uri=$(
    az cosmosdb show \
        --resource-group $resourceGroupName \
        --name $accountName \
        --query id \
        --output tsv
)
```
Запросите ресурс с помощью REST API и az rest с http-командойGET, чтобы проверка, если полнотекстовый запрос уже включен.
```
az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"
```
Если полнотекстовый запрос не включен, выходные данные будут похожи на этот пример.
```
{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "None"
  }
}
```
Если полнотекстовый запрос еще не включен, включите его повторно с az rest http-командой PATCH и полезными данными JSON.
```
az rest \
    --method PATCH \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --body '{"properties": {"diagnosticLogSettings": {"enableFullTextQuery": "True"}}}'
```
Примечание.

Если вы используете Azure CLI в командной строке PowerShell, вам потребуется экранировать двойные кавычки с помощью символа обратной косой черты (\).

Подождите несколько минут, пока операция завершится. Снова проверьте состояние полнотекстового запроса az rest .

az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"

Выходные данные должны быть похожи на этот пример.

{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "True"
  }
}

Запрос данных

Чтобы узнать, как запрашивать эти новые функции, см. следующие сведения:

Следующие шаги

Справочник по данным мониторинга Azure Cosmos DB

Мониторинг данных Azure Cosmos DB с помощью параметров диагностики в Azure

Необходимые компоненты

Создание параметров диагностики

Включение полнотекстовых запросов для журналов

Запрос данных

Следующие шаги

Дополнительные ресурсы