Mengukur Azure Cosmos DB untuk performa NoSQL dengan kerangka kerja tolok ukur

Artikel
03/25/2023

Ada lebih banyak pilihan, sekarang dari sebelumnya, pada jenis database yang akan digunakan dengan beban kerja data Anda. Salah satu faktor utama untuk memilih database adalah performa database atau layanan, tetapi performa tolok ukur dapat rumit dan rawan kesalahan. Kerangka kerja tolok ukur untuk Azure Database menyederhanakan proses pengukuran performa dengan alat tolok ukur sumber terbuka populer dengan resep gesekan rendah yang menerapkan praktik terbaik umum. Di Azure Cosmos DB for NoSQL, kerangka kerja menerapkan praktik terbaik untuk Java SDK dan menggunakan alat YCSB sumber terbuka. Dalam panduan ini, Anda menggunakan kerangka kerja tolok ukur ini untuk mengimplementasikan beban kerja baca untuk membiasakan diri dengan kerangka kerja.

Prasyarat

Akun Azure dengan langganan aktif. Buat akun gratis.
Azure Cosmos DB untuk akun NoSQL. Buat API untuk akun NoSQL.
- Pastikan Anda mencatat URI titik akhir dan kunci primer untuk akun tersebut. API untuk kunci primer NoSQL.
Akun Azure Storage. Membuat akun Azure Storage.
- Pastikan Anda mencatat string koneksi untuk akun penyimpanan. String koneksi Vies Azure Storage.
Grup sumber daya kosong kedua. Membuat Grup Sumber Daya.
Azure Command-Line Interface (CLI).

Membuat sumber daya akun Azure Cosmos DB

Pertama, Anda membuat database dan kontainer di API yang ada untuk akun NoSQL.

Portal Azure
Azure CLI

Buka API yang ada untuk akun NoSQL di portal Azure.
Di menu sumber daya, pilih Data Explorer.
Pada halaman Data Explorer, pilih opsi Kontainer Baru di bilah perintah.
Dalam dialog Kontainer Baru , buat kontainer baru dengan pengaturan berikut:

Pengaturan Nilai

Id database ycsb

Jenis throughput database Manual

Jumlah throughput database 400

Id Kontainer usertable

Kunci partisi /id

Jika Anda belum melakukannya, masuk ke Azure CLI menggunakan perintah az login.

Buat variabel shell untuk nilai berikut:

Nama akun Azure Cosmos DB for NoSQL anda yang sudah ada bernama cosmosAccountName.
Nama grup sumber daya pertama Anda dengan sumber daya bernama sourceResourceGroupName.
Nama grup sumber daya kosong kedua Anda bernama targetResourceGroupName.
Azure Cosmos DB yang ada untuk URI titik akhir akun NoSQL bernama cosmosEndpoint
Kunci primer akun Azure Cosmos DB for NoSQL yang sudah ada bernama cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create Menggunakan perintah , buat database baru dengan pengaturan berikut:

Pengaturan Nilai

Id database ycsb

Jenis throughput database Manual

Jumlah throughput database 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

az cosmosdb sql container create Menggunakan perintah , buat kontainer baru dengan pengaturan berikut:

Pengaturan	Nilai
Id database	`ycsb`
Id Kontainer	`usertable`
Kunci partisi	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Menyebarkan kerangka kerja tolok ukur ke Azure

Sekarang, Anda menggunakan templat Azure Resource Manager untuk menyebarkan kerangka kerja tolok ukur ke Azure dengan resep baca default.

Portal Azure
Azure CLI

Sebarkan kerangka kerja tolok ukur menggunakan templat Azure Resource Manager yang tersedia di tautan ini.
Pada halaman Penyebaran Kustom, parameter berikut
Pilih Tinjau + buat lalu Buat untuk menyebarkan templat.
Tunggu hingga penerapan selesai.

Tip

Penyebaran dapat memakan waktu 5-10 menit untuk diselesaikan.

Gunakan az deployment group create untuk menyebarkan kerangka kerja tolok ukur menggunakan templat Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Tunggu hingga penerapan selesai.

Tip

Penyebaran dapat memakan waktu 5-10 menit untuk diselesaikan.

Melihat hasil tolok ukur

Sekarang, Anda dapat menggunakan akun Azure Storage yang ada untuk memeriksa status pekerjaan tolok ukur dan melihat hasil agregat. Status disimpan menggunakan tabel penyimpanan dan hasilnya dikumpulkan ke dalam blob penyimpanan menggunakan format CSV.

Portal Azure
Azure CLI

Navigasikan ke akun Azure Storage Anda yang sudah ada di portal Azure.
Navigasi ke tabel penyimpanan bernama ycsbbenchmarkingmetadata dan temukan entitas dengan kunci ycsb_sqlpartisi .
Amati JobStatus bidang entitas tabel. Awalnya, status pekerjaan adalah Started dan menyertakan tanda waktu di JobStartTime properti tetapi bukan JobFinishTime properti .
Tunggu hingga pekerjaan memiliki status Finished dan menyertakan tanda waktu di JobFinishTime properti .

Tip

Dibutuhkan sekitar 20-30 menit agar pekerjaan selesai.
Navigasikan ke kontainer penyimpanan di akun yang sama dengan awalan ycsbbenchmarking-*. Amati blob output dan diagnostik untuk alat ini.

Buka blob aggregation.csv dan amati kontennya. Anda sekarang harus memiliki himpunan data CSV dengan hasil agregat dari semua klien tolok ukur.

Cuplikan layar konten blob hasil agregasi.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Kueri rekaman pekerjaan dalam tabel penyimpanan bernama ycsbbenchmarkingmetadata menggunakan az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Amati hasil kueri ini. Hasilnya harus mengembalikan satu pekerjaan dengan JobStartTimeproperti , JobStatus, dan JobFinishTime . Awalnya, status pekerjaan adalah Started dan menyertakan tanda waktu di JobStartTime properti tetapi bukan JobFinishTime properti .

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Jika perlu, jalankan az storage entity query beberapa kali hingga pekerjaan memiliki status Finished dan menyertakan tanda waktu di JobFinishTime properti .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Tip

Dibutuhkan sekitar 20-30 menit agar pekerjaan selesai.

Temukan nama kontainer penyimpanan yang terakhir dimodifikasi dengan awalan ycsbbenchmarking-* penggunaan az storage container list dan kueri JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Simpan string kontainer dalam variabel bernama storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Gunakan [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) untuk mengkueri hasil pekerjaan dalam blob penyimpanan yang disimpan dalam kontainer yang terletak sebelumnya.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Amati hasil kueri ini. Anda sekarang harus memiliki himpunan data CSV dengan hasil agregat dari semua klien tolok ukur.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Resep

Kerangka kerja tolok ukur untuk Azure Database mencakup resep untuk merangkum definisi beban kerja yang diteruskan ke alat tolok ukur yang mendasarinya untuk pengalaman "1 Klik". Definisi beban kerja dirancang berdasarkan praktik terbaik yang diterbitkan oleh tim Azure Cosmos DB dan tim alat tolok ukur. Resep telah diuji dan divalidasi untuk hasil yang konsisten.

Anda dapat mengharapkan untuk melihat latensi berikut untuk semua resep baca dan tulis di repositori GitHub.

Latensi baca
Latensi tulis

Masalah umum

Bagian ini mencakup kesalahan umum yang mungkin terjadi saat menjalankan alat tolok ukur. Log kesalahan untuk alat ini biasanya tersedia dalam kontainer dalam akun Azure Storage.

Cuplikan layar kontainer dan blob di akun penyimpanan.

Jika log tidak tersedia di akun penyimpanan, masalah ini biasanya disebabkan oleh string koneksi penyimpanan yang salah atau hilang. Dalam hal ini, kesalahan ini tercantum dalam file agent.out dalam folder /home/benchmarking komputer virtual klien.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Kesalahan ini tercantum dalam file agent.out baik di VM klien maupun akun penyimpanan jika URI titik akhir Azure Cosmos DB salah atau tidak dapat dijangkau.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Kesalahan ini tercantum dalam file agent.out baik di VM klien maupun akun penyimpanan jika kunci Azure Cosmos DB salah.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Langkah berikutnya

Pelajari selengkapnya tentang alat tolok ukur dengan panduan Memulai.

Pengaturan	Nilai
Id database	`ycsb`
Jenis throughput database	Manual
Jumlah throughput database	`400`
Id Kontainer	`usertable`
Kunci partisi	`/id`