Azure Cosmos DB-adatok monitorozása az Azure diagnosztikai beállításainak használatával

Cikk
02/13/2024

A KÖVETKEZŐKRE VONATKOZIK: Nosql MongoDB Cassandra Gremlin Táblázat

Az Azure-ban a diagnosztikai beállítások az erőforrásnaplók gyűjtésére szolgálnak. Az erőforrások Azure-erőforrásnaplókat bocsátanak ki, és gazdag, gyakori adatokat szolgáltatnak az adott erőforrás működéséről. Ezek a naplók kérésenként vannak rögzítve, és "adatsík-naplóknak" is nevezik őket. Néhány példa az adatsík műveleteire: törlés, beszúrás és readFeed. Ezeknek a naplóknak a tartalma erőforrástípusonként változik.

A platformmetrikákat és a tevékenységnaplókat a rendszer automatikusan gyűjti, míg az erőforrásnaplók gyűjtéséhez vagy az Azure Monitoron kívüli továbbításhoz létre kell hoznia egy diagnosztikai beállítást. Bekapcsolhatja az Azure Cosmos DB-fiókok diagnosztikai beállításait, és erőforrásnaplókat küldhet a következő forrásoknak:

Log Analytics-munkaterületek
- A Log Analyticsnek küldött adatok az Azure Diagnostics (örökölt) vagy az erőforrás-specifikus (előzetes verzió) táblákba írhatók
Eseményközpont
Tárfiók

Feljegyzés

Javasoljuk, hogy a diagnosztikai beállítást erőforrás-specifikus módban hozza létre (a Table API kivételével minden API-hoz) a diagnosztikai beállítás REST API-n keresztüli létrehozásának utasításait követve. Ez a lehetőség további költségoptimalizációkat biztosít, és továbbfejlesztett nézetet biztosít az adatok kezeléséhez.

Előfeltételek

Egy meglévő Azure Cosmos DB-fiók.
- Ha Rendelkezik Azure-előfizetéssel, hozzon létre egy új fiókot.
- Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.
- Másik lehetőségként a véglegesítés előtt ingyenesen kipróbálhatja az Azure Cosmos DB-t.

Diagnosztikai beállítások létrehozása

Itt végigvezetjük a fiók diagnosztikai beállításainak létrehozásának folyamatán.

Jelentkezzen be az Azure Portalra.
Lépjen az Azure Cosmos DB-fiókjához. Nyissa meg a Diagnosztikai beállítások panelt a Figyelés szakaszban , majd válassza a Diagnosztikai beállítás hozzáadása lehetőséget.

Fontos

Előfordulhat, hogy megjelenik egy "teljes szöveges lekérdezés engedélyezése [...] részletesebb naplózáshoz", ha a teljes szöveges lekérdezési funkció nincs engedélyezve a fiókjában. Ha nem szeretné engedélyezni ezt a funkciót, nyugodtan figyelmen kívül hagyhatja ezt a figyelmeztetést. További információ: Teljes szöveges lekérdezés engedélyezése.

A Diagnosztikai beállítások panelen töltse ki az űrlapot az előnyben részesített kategóriákkal. Itt találja a naplókategóriák listáját.

Kategória	API	Definíció	Kulcstulajdonságok
DataPlaneRequests	A NoSQL-hez készült API-hoz ajánlott	Adatsík-műveletekként naplózza a háttérbeli kéréseket, amelyek a fiókon belüli adatok létrehozására, frissítésére, törlésére vagy lekérésére irányuló kérések.	`Requestcharge`, `statusCode`, `clientIPaddress`, `partitionIDresourceTokenPermissionIdresourceTokenPermissionMode`
MongoRequests	API a MongoDB-hez	Naplózza a felhasználó által kezdeményezett kéréseket az előtérből a MongoDB-hez készült Azure Cosmos DB-hez érkező kérések kiszolgálásához. Ha engedélyezi ezt a kategóriát, tiltsa le a DataPlaneRequestst.	`Requestcharge`, `opCode`, `retryCountpiiCommandText`
CassandraRequests	API az Apache Cassandra-hoz	Naplózza a felhasználó által kezdeményezett kéréseket az előtérből, hogy a cassandrai Azure Cosmos DB-nek kézbesítse a kéréseket.	`operationName`, , `requestChargepiiCommandText`
GremlinRequests	API az Apache Gremlinhez	Naplózza a felhasználó által kezdeményezett kéréseket az előtérből az Azure Cosmos DB for Gremlin felé irányuló kérések kiszolgálásához.	`operationName`, `requestCharge`, `piiCommandTextretriedDueToRateLimiting`
QueryRuntimeStatistics	API a NoSQL-hez	Ez a táblázat a NoSQL-fiókhoz tartozó API-n végrehajtott lekérdezési műveleteket ismerteti. Alapértelmezés szerint a lekérdezés szövege és paraméterei el vannak rejtve, hogy elkerülje a persona l adatok naplózását, és teljes szöveges lekérdezésnaplózás érhető el kérés szerint.	`databasename`, , `partitionkeyrangeidquerytext`
PartitionKeyStatistics	Minden API	Naplózza a logikai partíciókulcsok statisztikáit a partíciókulcsok becsült tárolási méretének (KB) megadásával. Ez a táblázat hasznos a tárterület-eltérésekkel kapcsolatos hibák elhárítása során. Ez a PartitionKeyStatistics-napló csak akkor lesz kibocsátva, ha a következő feltételek teljesülnek: 1. A fizikai partícióban lévő dokumentumok legalább 1%-ának ugyanaz a logikai partíciókulcsa van. 2. A fizikai partíció összes kulcsából a PartitionKeyStatistics napló rögzíti a legnagyobb méretű három kulcsot. Ha a korábbi feltételek nem teljesülnek, a partíciókulcs statisztikái nem érhetők el. Nem baj, ha a fenti feltételek nem teljesülnek a fiókjához, ami általában azt jelzi, hogy nincs logikai partíciótároló-eltérés. Megjegyzés: A partíciókulcsok becsült méretét mintavételezési módszerrel számítjuk ki, amely feltételezi, hogy a fizikai partíció dokumentumai nagyjából azonos méretűek. Ha a dokumentum méretei nem egységesek a fizikai partícióban, előfordulhat, hogy a partíciókulcs becsült mérete nem pontos.	`subscriptionId`, `regionName`, `partitionKeysizeKB`
PartitionKeyRUConsumption	API for NoSQL vagy API for Apache Gremlin	Naplózza a partíciókulcsok másodpercenkénti összesített ru/s használatát. Ez a táblázat hasznos a gyakori elérésű partíciók hibaelhárításához. Az Azure Cosmos DB jelenleg csak NoSQL-fiókokhoz, valamint pontolvasási/írási, lekérdezési és tárolt eljárásműveletekhez jelenti az API partíciókulcsait.	`subscriptionId`, `regionName`, `partitionKey`, `requestChargepartitionKeyRangeId`
ControlPlaneRequests	Minden API	Naplózza a vezérlősík műveleteinek részleteit, például fiók létrehozását, régió hozzáadását vagy eltávolítását, a fiókreplikációs beállítások frissítését stb.	`operationName`, `httpstatusCode`, `httpMethodregion`
TableApiRequests	API for Table	Naplózza a felhasználó által kezdeményezett kéréseket az előtérből az Azure Cosmos DB for Table kéréseinek kiszolgálásához.	`operationName`, , `requestChargepiiCommandText`

Miután kiválasztotta a Kategóriák adatait, küldje el a naplókat a kívánt célhelyre. Ha Naplókat küld egy Log Analytics-munkaterületre, győződjön meg arról, hogy a céltáblaként megadott erőforrást választja.

Az az monitor diagnosztikai beállítások létrehozási parancsával hozzon létre diagnosztikai beállítást az Azure CLI-vel. A parancs paramétereinek leírását a parancs dokumentációjában találja.

Feljegyzés

Ha a NoSQL-hez készült API-t használja, javasoljuk, hogy az exportálás erőforrás-specifikus tulajdonságát igaz értékre állítsa.

Rendszerhéjváltozók létrehozása a , diagnosticSettingNameworkspaceName és resourceGroupName.subscriptionId

# Variable for subscription id
subscriptionId="<subscription-id>"

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for workspace name
workspaceName="<workspace-name>"

# Variable for diagnostic setting name
diagnosticSettingName="<diagnostic-setting-name>"

A beállítás létrehozásához használható az monitor diagnostic-settings create .

az monitor diagnostic-settings create \
    --resource "/subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.DocumentDb/databaseAccounts/" \
    --name $diagnosticSettingName \
    --export-to-resource-specific true \
    --logs '[{"category": "QueryRuntimeStatistics","categoryGroup": null,"enabled": true,"retentionPolicy": {"enabled": false,"days": 0}}]' \
    --workspace "/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName/providers/microsoft.operationalinsights/workspaces/$workspaceName"

Az Azure Monitor REST API használatával diagnosztikai beállításokat hozhat létre az interaktív konzolon keresztül.

Feljegyzés

Javasoljuk, hogy a logAnalyticsDestinationType tulajdonságot dedikált értékre állítsa az erőforrás-specifikus táblák engedélyezéséhez.

HTTP-kérés PUT létrehozása.

PUT
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

Használja ezeket a fejléceket a kéréshez.

Paraméterek/fejlécek	Érték/Leírás
név	A diagnosztikai beállítás neve.
resourceUri	A Microsoft Elemzések azure Cosmos DB-fiókhoz tartozó URI-t.
api-verzió	`2017-05-01-preview`
Tartalomtípus	`application/json`

Feljegyzés

A Microsoft Elemzések alforrás URI-ja a következő formátumban érhető el: subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME}. Az Azure Cosmos DB erőforrás-URI-kkal kapcsolatos további információkért tekintse meg az Azure Cosmos DB REST API erőforrás-URI-szintaxisát.

Állítsa a kérelem törzsét erre a JSON hasznos adatra.

{
    "id": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME}",
    "type": "Microsoft.Insights/diagnosticSettings",
    "name": "name",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": null,
        "serviceBusRuleId": null,
        "workspaceId": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "logs": [
            {
                "category": "DataPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "QueryRuntimeStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyRUConsumption",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ControlPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ],
        "logAnalyticsDestinationType": "Dedicated"
    },
    "identity": null
}

Itt egy Azure Resource Manager-sablont (ARM) használva hozhat létre diagnosztikai beállítást.

Feljegyzés

Állítsa a logAnalyticsDestinationType tulajdonságot dedikáltra az erőforrás-specifikus táblák engedélyezéséhez.

Hozza létre a következő JSON-sablonfájlt az Azure Cosmos DB-erőforrás diagnosztikai beállításainak üzembe helyezéséhez.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "type": "string",
      "metadata": {
        "description": "The name of the diagnostic setting."
      }
    },
    "dbName": {
      "type": "string",
      "metadata": {
        "description": "The name of the database."
      }
    },
    "workspaceId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the workspace."
      }
    },
    "storageAccountId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the storage account."
      }
    },
    "eventHubAuthorizationRuleId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the event hub authorization rule."
      }
    },
    "eventHubName": {
      "type": "string",
      "metadata": {
        "description": "The name of the event hub."
      }
    }
  },
  "resources": [
    {
      "type": "Microsoft.Insights/diagnosticSettings",
      "apiVersion": "2021-05-01-preview",
      "scope": "[format('Microsoft.DocumentDB/databaseAccounts/{0}', parameters('dbName'))]",
      "name": "[parameters('settingName')]",
      "properties": {
        "workspaceId": "[parameters('workspaceId')]",
        "storageAccountId": "[parameters('storageAccountId')]",
        "eventHubAuthorizationRuleId": "[parameters('eventHubAuthorizationRuleId')]",
        "eventHubName": "[parameters('eventHubName')]",
        "logAnalyticsDestinationType": "[parameters('logAnalyticsDestinationType')]",
        "logs": [
          {
            "category": "DataPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "MongoRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "QueryRuntimeStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyRUConsumption",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "ControlPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "CassandraRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "GremlinRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "TableApiRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          }
        ],
        "metrics": [
          {
            "timeGrain": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            },
            "category": "Requests"
          }
        ]
      }
    }
  ]
}

Hozza létre a következő JSON-paraméterfájlt az Azure Cosmos DB-erőforrásnak megfelelő beállításokkal.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "value": "{DIAGNOSTIC_SETTING_NAME}"
    },
    "dbName": {
      "value": "{ACCOUNT_NAME}"
    },
    "workspaceId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}"
    },
    "storageAccountId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/{STORAGE_ACCOUNT_NAME}"
    },
    "eventHubAuthorizationRuleId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups{RESOURCE_GROUP}/providers/Microsoft.EventHub/namespaces/{EVENTHUB_NAMESPACE}/authorizationrules/{EVENTHUB_POLICY_NAME}"
    },
    "eventHubName": {
      "value": "{EVENTHUB_NAME}"
    },
    "logAnalyticsDestinationType": {
      "value": "Dedicated"
    }
  }
}

A sablon üzembe helyezése a következővel az deployment group create: .

az deployment group create \
    --resource-group <resource-group-name> \
    --template-file <path-to-template>.json \
    --parameters @<parameters-file-name>.json

Teljes szöveges lekérdezés engedélyezése lekérdezésszöveg naplózásához

Feljegyzés

A funkció engedélyezése további naplózási költségeket eredményezhet, a díjszabás részleteiért látogasson el az Azure Monitor díjszabására. Javasoljuk, hogy a hibaelhárítás után tiltsa le ezt a funkciót.

Az Azure Cosmos DB speciális naplózást biztosít a részletes hibaelhárításhoz. A teljes szöveges lekérdezés engedélyezésével megtekintheti az Azure Cosmos DB-fiókban lévő összes kéréshez tartozó le nem szűrt lekérdezést. Engedélyt is ad az Azure Cosmos DB-nek az adatok elérésére és a naplókban való felszínre hozására.

Azure Portalra
Azure CLI / REST API/ ARM-sablon

A funkció engedélyezéséhez lépjen az Features Azure Cosmos DB-fiók lapjára.
Válassza ki Enable. Ezt a beállítást néhány percen belül alkalmazza a rendszer. Minden újonnan betöltött naplóhoz tartozik az egyes kérések teljes vagy PIICommand szövege.

Győződjön meg arról, hogy bejelentkezett az Azure CLI-be. További információ: bejelentkezés az Azure CLI-vel. Szükség esetén győződjön meg arról, hogy konfigurálta a parancssori felület aktív előfizetését. További információ: az aktív Azure CLI-előfizetés módosítása.

Rendszerhéjváltozók létrehozása a következőhöz accountName : és resourceGroupName.

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for account name
accountName="<account-name>"

A meglévő fiók egyedi azonosítójának lekérése a következő használatával az show: .

az cosmosdb show \
    --resource-group $resourceGroupName \
    --name $accountName \
    --query id

Tárolja az egyedi azonosítót egy névvel ellátott $urirendszerhéjváltozóban.

uri=$(
    az cosmosdb show \
        --resource-group $resourceGroupName \
        --name $accountName \
        --query id \
        --output tsv
)

Kérdezze le az erőforrást a REST API-val és az rest egy HTTP-paranccsal GET annak ellenőrzéséhez, hogy a teljes szöveges lekérdezés engedélyezve van-e.

az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"

Ha a teljes szöveges lekérdezés nincs engedélyezve, a kimenet hasonló lenne ehhez a példához.

{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "None"
  }
}

Ha a teljes szöveges lekérdezés még nincs engedélyezve, engedélyezze az rest ismét HTTP-paranccsal PATCH és egy JSON hasznos adattal.
```
az rest \
    --method PATCH \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --body '{"properties": {"diagnosticLogSettings": {"enableFullTextQuery": "True"}}}'
```
Feljegyzés

Ha az Azure CLI-t egy PowerShell-parancssorban használja, egy fordított perjel (\) karakterrel kell feloldania a dupla idézőjeleket.

Várjon néhány percet, amíg a művelet befejeződik. Ellenőrizze újra a teljes szöveges lekérdezés az rest állapotát.

az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"

A kimenetnek ehhez a példához hasonlónak kell lennie.

{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "True"
  }
}

Adatok lekérdezése

Ha tudni szeretné, hogyan kérdezhet le az újonnan engedélyezett funkciókkal, tekintse meg a következőt:

Következő lépések

Az Azure Cosmos DB-adatok referenciáinak figyelése

Azure Cosmos DB-adatok monitorozása az Azure diagnosztikai beállításainak használatával

Előfeltételek

Diagnosztikai beállítások létrehozása

Teljes szöveges lekérdezés engedélyezése lekérdezésszöveg naplózásához

Adatok lekérdezése

Következő lépések

További források