Memantau data DB Azure Cosmos dengan menggunakan pengaturan diagnostik di Azure

Artikel
02/13/2024

BERLAKU UNTUK: Nosql MongoDB Cassandra Gremlin Meja

Pengaturan diagnostik di Azure digunakan untuk mengumpulkan log sumber daya. Sumber daya memancarkan Log sumber daya Azure dan menyediakan data yang kaya dan sering tentang pengoperasian sumber daya tersebut. Log ini diambil per permintaan dan juga disebut sebagai "log data plane." Beberapa contoh operasi sarana data termasuk menghapus, menyisipkan, dan readFeed. Isi log ini bervariasi menurut jenis sumber daya.

Metrik platform dan Log aktivitas dikumpulkan secara otomatis, sedangkan Anda harus membuat pengaturan diagnostik untuk mengumpulkan log sumber daya atau meneruskannya di luar Azure Monitor. Anda dapat mengaktifkan pengaturan diagnostik untuk akun Azure Cosmos DB dan mengirim log sumber daya ke sumber berikut:

Ruang kerja Analitik Log
- Data yang dikirim ke Analitik Log dapat ditulis ke tabel Diagnostik Azure (warisan) atau Khusus sumber daya (pratinjau)
Pusat aktivitas
Akun Penyimpanan

Catatan

Sebaiknya buat pengaturan diagnostik dalam mode khusus sumber daya (untuk semua API kecuali API untuk Tabel) mengikuti instruksi kami untuk membuat pengaturan diagnostik melalui REST API. Opsi ini menyediakan pengoptimalan biaya tambahan dengan tampilan yang ditingkatkan untuk menangani data.

Prasyarat

Akun Azure Cosmos DB yang sudah ada.
- Jika Anda memiliki langganan Azure, buat akun baru.
- Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.
- Atau, Anda dapat mencoba Azure Cosmos DB gratis sebelum berkomitmen.

Membuat pengaturan diagnostik

Di sini, kami menelusuri proses pembuatan pengaturan diagnostik untuk akun Anda.

Masuk ke portal Azure.
Navigasikan ke akun Azure Cosmos DB Anda. Buka panel Pengaturan diagnostik di bawah bagian Pemantauan lalu pilih opsi Tambahkan pengaturan diagnostik.

Penting

Anda mungkin melihat perintah untuk "mengaktifkan kueri teks lengkap [...] untuk pengelogan yang lebih rinci" jika fitur kueri teks lengkap tidak diaktifkan di akun Anda. Anda dapat mengabaikan peringatan ini dengan aman jika Anda tidak ingin mengaktifkan fitur ini. Untuk informasi selengkapnya, lihat mengaktifkan kueri teks lengkap.

Di panel Pengaturan diagnostik, isi formulir dengan kategori pilihan Anda. Disertakan di sini adalah daftar kategori log.

Category	API	Definisi	Properti Utama
DataPlaneRequests	Direkomendasikan untuk API untuk NoSQL	Mencatat permintaan back-end sebagai operasi sarana data, yang merupakan permintaan yang dijalankan untuk membuat, memperbarui, menghapus, atau mengambil data dalam akun.	`Requestcharge`, , `statusCodeclientIPaddress`, , `partitionID`,`resourceTokenPermissionIdresourceTokenPermissionMode`
MongoRequests	API untuk MongoDB	Mencatat permintaan yang dimulai pengguna dari ujung depan untuk melayani permintaan ke Azure Cosmos DB untuk MongoDB. Saat Anda mengaktifkan kategori ini, pastikan untuk menonaktifkan DataPlaneRequests.	`Requestcharge`, , `opCoderetryCount`,`piiCommandText`
CassandraRequests	API untuk Apache Cassandra	Mencatat permintaan yang dimulai pengguna dari ujung depan untuk melayani permintaan ke Azure Cosmos DB untuk Cassandra.	`operationName`, , `requestChargepiiCommandText`
GremlinRequests	API untuk Apache Gremlin	Mencatat permintaan yang dimulai pengguna dari ujung depan untuk melayani permintaan ke Azure Cosmos DB untuk Gremlin.	`operationName`, , `requestChargepiiCommandText`,`retriedDueToRateLimiting`
QueryRuntimeStatistics	API untuk NoSQL	Tabel ini merinci operasi kueri yang dijalankan terhadap API untuk akun NoSQL. Secara default, teks kueri dan parameternya dikaburkan untuk menghindari pengelogan data persona l dengan pengelogan kueri teks lengkap yang tersedia berdasarkan permintaan.	`databasename`, , `partitionkeyrangeidquerytext`
PartitionKeyStatistics	Semua API	Catat statistik kunci partisi logis dengan mewakili perkiraan ukuran penyimpanan (KB) kunci partisi. Tabel ini berguna saat memecahkan masalah penyimpangan penyimpanan. Log PartitionKeyStatistics ini hanya dipancarkan jika kondisi berikut ini benar: 1. Setidaknya 1% dari dokumen di partisi fisik memiliki kunci partisi logis yang sama. 2. Dari semua kunci dalam partisi fisik, log PartitionKeyStatistics menangkap tiga kunci teratas dengan ukuran penyimpanan terbesar. Jika kondisi sebelumnya tidak terpenuhi, data statistik kunci partisi tidak tersedia. Tidak apa-apa jika kondisi di atas tidak terpenuhi untuk akun Anda, yang biasanya menunjukkan Bahwa Anda tidak memiliki penyimpangan penyimpanan partisi logis. Catatan: Perkiraan ukuran kunci partisi dihitung menggunakan pendekatan pengambilan sampel yang mengasumsikan dokumen dalam partisi fisik berukuran kira-kira sama. Jika ukuran dokumen tidak seragam dalam partisi fisik, perkiraan ukuran kunci partisi mungkin tidak akurat.	`subscriptionId`, , `regionNamepartitionKey`,`sizeKB`
PartitionKeyRUConsumption	API untuk NoSQL atau API untuk Apache Gremlin	Mencatat konsumsi kunci partisi agregat RU/dtk per detik. Tabel ini berguna untuk memecahkan masalah partisi hot. Saat ini, Azure Cosmos DB melaporkan kunci partisi untuk API hanya untuk akun NoSQL dan untuk operasi prosedur baca/tulis titik, kueri, dan prosedur tersimpan.	`subscriptionId`, , `regionNamepartitionKey`, , `requestCharge`,`partitionKeyRangeId`
ControlPlaneRequests	Semua API	Mencatat detail tentang operasi sarana kontrol, yang mencakup, membuat akun, menambahkan atau menghapus wilayah, memperbarui pengaturan replikasi akun, dll.	`operationName`, , `httpstatusCodehttpMethod`,`region`
TableApiRequests	API untuk Tabel	Mencatat permintaan yang dimulai pengguna dari ujung depan untuk melayani permintaan ke Azure Cosmos DB for Table.	`operationName`, , `requestChargepiiCommandText`

Setelah Anda memilih detail Kategori Anda, kemudian kirim Log Anda ke tujuan pilihan Anda. Jika Anda mengirim Log ke Ruang Kerja Analisis Log, pastikan untuk memilih Sumber daya khusus sebagai tabel Tujuan.

Gunakan perintah buat pengaturan diagnostik monitor az untuk membuat pengaturan diagnostik dengan Azure CLI. Lihat dokumentasi untuk perintah ini untuk deskripsi parameternya.

Catatan

Jika Anda menggunakan API untuk NoSQL, sebaiknya atur properti khusus ekspor ke sumber daya ke true.

Buat variabel shell untuk subscriptionId, diagnosticSettingName, workspaceName dan resourceGroupName.

# Variable for subscription id
subscriptionId="<subscription-id>"

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for workspace name
workspaceName="<workspace-name>"

# Variable for diagnostic setting name
diagnosticSettingName="<diagnostic-setting-name>"

Gunakan az monitor diagnostic-settings create untuk membuat pengaturan.

az monitor diagnostic-settings create \
    --resource "/subscriptions/$subscriptionId/resourceGroups/$resourceGroupName/providers/Microsoft.DocumentDb/databaseAccounts/" \
    --name $diagnosticSettingName \
    --export-to-resource-specific true \
    --logs '[{"category": "QueryRuntimeStatistics","categoryGroup": null,"enabled": true,"retentionPolicy": {"enabled": false,"days": 0}}]' \
    --workspace "/subscriptions/$subscriptionId/resourcegroups/$resourceGroupName/providers/microsoft.operationalinsights/workspaces/$workspaceName"

Gunakan Azure Monitor REST API untuk membuat pengaturan diagnostik melalui konsol interaktif.

Catatan

Sebaiknya Anda menggunakan pengaturan properti logAnalyticsDestinationType ke Dedicated untuk mengaktifkan tabel khusus sumber daya.

Buat permintaan HTTP PUT .

PUT
https://management.azure.com/{resource-id}/providers/microsoft.insights/diagnosticSettings/service?api-version={api-version}

Gunakan header ini dengan permintaan.

Parameter/Header	Nilai/Deskripsi
nama	Nama pengaturan diagnostik Anda.
resourceUri	URI sub sumber daya Microsoft Insights untuk akun Azure Cosmos DB.
versi api	`2017-05-01-preview`
Tipe-Konten	`application/json`

Catatan

URI untuk sub-sumber daya Microsoft Insights dalam format ini: subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME}. Untuk informasi selengkapnya tentang URI sumber daya Azure Cosmos DB, lihat sintaks URI sumber daya untuk Azure Cosmos DB REST API.

Atur isi permintaan ke payload JSON ini.

{
    "id": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.DocumentDb/databaseAccounts/{ACCOUNT_NAME}/providers/microsoft.insights/diagnosticSettings/{DIAGNOSTIC_SETTING_NAME}",
    "type": "Microsoft.Insights/diagnosticSettings",
    "name": "name",
    "location": null,
    "kind": null,
    "tags": null,
    "properties": {
        "storageAccountId": null,
        "serviceBusRuleId": null,
        "workspaceId": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}",
        "eventHubAuthorizationRuleId": null,
        "eventHubName": null,
        "logs": [
            {
                "category": "DataPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "QueryRuntimeStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyStatistics",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "PartitionKeyRUConsumption",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            },
            {
                "category": "ControlPlaneRequests",
                "categoryGroup": null,
                "enabled": true,
                "retentionPolicy": {
                    "enabled": false,
                    "days": 0
                }
            }
        ],
        "logAnalyticsDestinationType": "Dedicated"
    },
    "identity": null
}

Di sini, gunakan templat Azure Resource Manager (ARM) untuk membuat pengaturan diagnostik.

Catatan

Atur properti logAnalyticsDestinationType ke Khusus untuk mengaktifkan tabel khusus sumber daya.

Buat file templat JSON berikut untuk menyebarkan pengaturan diagnostik untuk sumber daya Azure Cosmos DB Anda.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "type": "string",
      "metadata": {
        "description": "The name of the diagnostic setting."
      }
    },
    "dbName": {
      "type": "string",
      "metadata": {
        "description": "The name of the database."
      }
    },
    "workspaceId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the workspace."
      }
    },
    "storageAccountId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the storage account."
      }
    },
    "eventHubAuthorizationRuleId": {
      "type": "string",
      "metadata": {
        "description": "The resource Id of the event hub authorization rule."
      }
    },
    "eventHubName": {
      "type": "string",
      "metadata": {
        "description": "The name of the event hub."
      }
    }
  },
  "resources": [
    {
      "type": "Microsoft.Insights/diagnosticSettings",
      "apiVersion": "2021-05-01-preview",
      "scope": "[format('Microsoft.DocumentDB/databaseAccounts/{0}', parameters('dbName'))]",
      "name": "[parameters('settingName')]",
      "properties": {
        "workspaceId": "[parameters('workspaceId')]",
        "storageAccountId": "[parameters('storageAccountId')]",
        "eventHubAuthorizationRuleId": "[parameters('eventHubAuthorizationRuleId')]",
        "eventHubName": "[parameters('eventHubName')]",
        "logAnalyticsDestinationType": "[parameters('logAnalyticsDestinationType')]",
        "logs": [
          {
            "category": "DataPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "MongoRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "QueryRuntimeStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyStatistics",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "PartitionKeyRUConsumption",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "ControlPlaneRequests",
            "categoryGroup": null,
            "enabled": true,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "CassandraRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "GremlinRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          },
          {
            "category": "TableApiRequests",
            "categoryGroup": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            }
          }
        ],
        "metrics": [
          {
            "timeGrain": null,
            "enabled": false,
            "retentionPolicy": {
              "days": 0,
              "enabled": false
            },
            "category": "Requests"
          }
        ]
      }
    }
  ]
}

Buat file parameter JSON berikut dengan pengaturan yang sesuai untuk sumber daya Azure Cosmos DB Anda.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "settingName": {
      "value": "{DIAGNOSTIC_SETTING_NAME}"
    },
    "dbName": {
      "value": "{ACCOUNT_NAME}"
    },
    "workspaceId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups/{RESOURCE_GROUP}/providers/microsoft.operationalinsights/workspaces/{WORKSPACE_NAME}"
    },
    "storageAccountId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourceGroups/{RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/{STORAGE_ACCOUNT_NAME}"
    },
    "eventHubAuthorizationRuleId": {
      "value": "/subscriptions/{SUBSCRIPTION_ID}/resourcegroups{RESOURCE_GROUP}/providers/Microsoft.EventHub/namespaces/{EVENTHUB_NAMESPACE}/authorizationrules/{EVENTHUB_POLICY_NAME}"
    },
    "eventHubName": {
      "value": "{EVENTHUB_NAME}"
    },
    "logAnalyticsDestinationType": {
      "value": "Dedicated"
    }
  }
}

Sebarkan templat menggunakan az deployment group create.

az deployment group create \
    --resource-group <resource-group-name> \
    --template-file <path-to-template>.json \
    --parameters @<parameters-file-name>.json

Mengaktifkan kueri teks lengkap untuk mencatat teks kueri

Catatan

Mengaktifkan fitur ini dapat menimbulkan biaya pengelogan tambahan, untuk rincian harga kunjungi harga Azure Monitor. Disarankan untuk menonaktifkan fitur ini setelah pemecahan masalah.

Azure Cosmos DB menyediakan logging lanjutan untuk pemecahan masalah terperinci. Dengan mengaktifkan kueri teks lengkap, Anda dapat menampilkan kueri deobfuscated untuk semua permintaan dalam akun Azure Cosmos DB Anda. Anda juga memberikan izin bagi Azure Cosmos DB untuk mengakses dan menampilkan data ini di log Anda.

Portal Azure
Templat Azure CLI / REST API / ARM

Untuk mengaktifkan fitur ini, navigasikan ke Features halaman di akun Azure Cosmos DB Anda.
Pilih Enable. Pengaturan ini diterapkan dalam beberapa menit. Semua log yang baru diserap memiliki teks lengkap atau teks PIICommand untuk setiap permintaan.

Pastikan Anda masuk ke Azure CLI. Untuk informasi selengkapnya, lihat masuk dengan Azure CLI. Secara opsional, pastikan Anda telah mengonfigurasi langganan aktif untuk CLI Anda. Untuk informasi selengkapnya, lihat mengubah langganan Azure CLI aktif.

Buat variabel shell untuk accountName dan resourceGroupName.

# Variable for resource group name
resourceGroupName="<resource-group-name>"

# Variable for account name
accountName="<account-name>"

Dapatkan pengidentifikasi unik untuk akun Anda yang sudah ada menggunakan az show.

az cosmosdb show \
    --resource-group $resourceGroupName \
    --name $accountName \
    --query id

Simpan pengidentifikasi unik dalam variabel shell bernama $uri.

uri=$(
    az cosmosdb show \
        --resource-group $resourceGroupName \
        --name $accountName \
        --query id \
        --output tsv
)

Kueri sumber daya menggunakan REST API dan az rest dengan kata kerja HTTP GET untuk memeriksa apakah kueri teks lengkap sudah diaktifkan.

az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"

Jika kueri teks lengkap tidak diaktifkan, outputnya akan mirip dengan contoh ini.

{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "None"
  }
}

Jika kueri teks lengkap belum diaktifkan, aktifkan menggunakannya az rest lagi dengan kata kerja HTTP PATCH dan payload JSON.
```
az rest \
    --method PATCH \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --body '{"properties": {"diagnosticLogSettings": {"enableFullTextQuery": "True"}}}'
```
Catatan

Jika Anda menggunakan Azure CLI dalam perintah PowerShell, Anda harus keluar dari tanda kutip ganda menggunakan karakter garis miring terbelakang (\).

Tunggu beberapa menit hingga operasi selesai. Periksa status kueri teks lengkap dengan menggunakan az rest lagi.

az rest \
    --method GET \
    --uri "https://management.azure.com/$uri/?api-version=2021-05-01-preview" \
    --query "{accountName:name,fullTextQuery:{state:properties.diagnosticLogSettings.enableFullTextQuery}}"

Output harus mirip dengan contoh ini.

{
  "accountName": "<account-name>",
  "fullTextQuery": {
    "state": "True"
  }
}

Mengkueri data

Untuk mempelajari cara mengkueri menggunakan fitur yang baru diaktifkan ini, lihat:

Langkah berikutnya

Memantau referensi data Azure Cosmos DB

Memantau data DB Azure Cosmos dengan menggunakan pengaturan diagnostik di Azure

Prasyarat

Membuat pengaturan diagnostik

Mengaktifkan kueri teks lengkap untuk mencatat teks kueri

Mengkueri data

Langkah berikutnya

Sumber Daya Tambahan: