Karşılaştırma çerçevesiyle NoSQL için Azure Cosmos DB performansını ölçme

Makale
03/25/2023

Veri iş yükünüzle kullanılacak veritabanı türüne göre artık her zamankinden daha fazla seçenek vardır. Veritabanı seçmenin önemli faktörlerinden biri, veritabanının veya hizmetin performansıdır, ancak karşılaştırma performansı hantal ve hataya yatkın olabilir. Azure Veritabanları için kıyaslama çerçevesi, yaygın en iyi yöntemleri uygulayan düşük sürtünmeli tariflere sahip popüler açık kaynak karşılaştırma araçlarıyla performansı ölçme sürecini basitleştirir. NoSQL için Azure Cosmos DB'de çerçeve, Java SDK'sı için en iyi yöntemleri uygular ve açık kaynak YCSB aracını kullanır. Bu kılavuzda, bu karşılaştırma çerçevesini kullanarak çerçeveyi tanıyacak bir okuma iş yükü uygulayacaksınız.

Önkoşullar

Etkin aboneliği olan bir Azure hesabı. Ücretsiz bir hesap oluşturun.
NoSQL için Azure Cosmos DB hesabı. NoSQL hesabı için bir API oluşturun.
- Hesap için uç nokta URI'sini ve birincil anahtarı not edin. NoSQL birincil anahtarları için API.
Azure Depolama hesabı. Azure Depolama hesabı oluşturun.
- Depolama hesabının bağlantı dizesini not edin. Vies Azure Depolama bağlantı dizesi.
İkinci boş kaynak grubu. Bir kaynak grubu oluşturun.
Azure Command-Line Arabirimi (CLI).

Azure Cosmos DB hesap kaynakları oluşturma

İlk olarak, NoSQL hesabı için mevcut API'de bir veritabanı ve kapsayıcı oluşturursunuz.

Azure portalı
Azure CLI

Azure portal NoSQL için mevcut API'nize gidin.
Kaynak menüsünde Veri Gezgini'ı seçin.
Veri Gezgini sayfasında, komut çubuğundaKi Yeni Kapsayıcı seçeneğini belirleyin.
Yeni Kapsayıcı iletişim kutusunda aşağıdaki ayarlarla yeni bir kapsayıcı oluşturun:

Ayar Değer

Veritabanı kimliği ycsb

Veritabanı aktarım hızı türü El ile

Veritabanı aktarım hızı miktarı 400

Kapsayıcı kimliği usertable

Bölüm anahtarı /id

Henüz yapmadıysanız komutunu kullanarak az login Azure CLI'da oturum açın.

Aşağıdaki değerler için kabuk değişkenleri oluşturun:

Adlı NoSQL için mevcut Azure Cosmos DB hesabınızın adı cosmosAccountName.
adlı kaynakları içeren ilk kaynak grubunuzun adı sourceResourceGroupName.
adlı ikinci boş kaynak grubunuzun adı targetResourceGroupName.
NoSQL için mevcut Azure Cosmos DB hesap uç noktası URI'sinin adı cosmosEndpoint
NoSQL için mevcut Azure Cosmos DB hesabı birincil anahtarı adlı cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create komutunu kullanarak aşağıdaki ayarlarla yeni bir veritabanı oluşturun:

Ayar Değer

Veritabanı kimliği ycsb

Veritabanı aktarım hızı türü El ile

Veritabanı aktarım hızı miktarı 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

az cosmosdb sql container create komutunu kullanarak aşağıdaki ayarlarla yeni bir kapsayıcı oluşturun:

Ayar	Değer
Veritabanı kimliği	`ycsb`
Kapsayıcı kimliği	`usertable`
Bölüm anahtarı	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Karşılaştırma çerçevesini Azure'a dağıtma

Şimdi bir Azure Resource Manager şablonu kullanarak karşılaştırma çerçevesini varsayılan okuma tarifiyle Azure'a dağıtacaksınız.

Azure portalı
Azure CLI

Bu bağlantıda bulunan bir Azure Resource Manager şablonu kullanarak karşılaştırma çerçevesini dağıtın.
Özel Dağıtım sayfasında aşağıdaki parametreler
Şablonu dağıtmak için Gözden Geçir + oluştur'u ve ardından Oluştur'u seçin.
Dağıtımın tamamlanmasını bekleyin.

İpucu

Dağıtımın tamamlanması 5-10 dakika sürebilir.

Karşılaştırma çerçevesini azure Resource Manager şablonu kullanarak dağıtmak için kullanınaz deployment group create.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Dağıtımın tamamlanmasını bekleyin.

İpucu

Dağıtımın tamamlanması 5-10 dakika sürebilir.

Karşılaştırma sonuçlarını görüntüleme

Artık karşılaştırma işinin durumunu denetlemek ve toplanan sonuçları görüntülemek için mevcut Azure Depolama hesabını kullanabilirsiniz. Durum bir depolama tablosu kullanılarak depolanır ve sonuçlar CSV biçimi kullanılarak bir depolama blobu halinde toplanır.

Azure portalı
Azure CLI

Azure portal mevcut Azure Depolama hesabınıza gidin.
ycsbbenchmarkingmetadata adlı bir depolama tablosuna gidin ve bölüm anahtarına ycsb_sqlsahip varlığı bulun.
JobStatus Tablo varlığının alanını gözlemleyin. Başlangıçta işin durumudur Started ve özelliğinde JobStartTime bir zaman damgası içerir ancak özelliği içermez JobFinishTime .
İşin durumu Finished ve özelliğine bir zaman damgası içerene JobFinishTime kadar bekleyin.

İpucu

İşin tamamlanması yaklaşık 20-30 dakika sürebilir.
ycsbbenchmarking-* ön ekiyle aynı hesaptaki depolama kapsayıcısına gidin. Araç için çıkış ve tanılama bloblarını gözlemleyin.
aggregation.csv blobunu açın ve içeriği gözlemleyin. Artık tüm karşılaştırma istemcilerinden toplanan sonuçları içeren bir CSV veri kümeniz olmalıdır.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

kullanarak adlı ycsbbenchmarkingmetadata bir depolama tablosunda iş kaydını sorgular az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Bu sorgunun sonuçlarını gözlemleyin. Sonuçlar, , JobStatusve JobFinishTime özellikleriyle JobStartTimetek bir iş döndürmelidir. Başlangıçta işin durumudur Started ve özelliğinde JobStartTime bir zaman damgası içerir ancak özelliği içermez JobFinishTime .

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Gerekirse, işin durumu Finished olan ve özelliğine bir zaman damgası JobFinishTime içerene kadar birden çok kez çalıştırınaz storage entity query.
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
İpucu

İşin tamamlanması yaklaşık 20-30 dakika sürebilir.

En son değiştirilen depolama kapsayıcısının adını ve bir JMESPath sorgusunun az storage container list ön ekini ycsbbenchmarking-* bulun.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Kapsayıcı dizesini adlı storageConnectionStringbir değişkende depolayın.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

az storage blob query[]/cli/azure/storage/blob#az-storage-blob-query) kullanarak iş sonuçlarını önceden bulunan kapsayıcıda depolanan bir depolama blobunda sorgular.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Bu sorgunun sonuçlarını gözlemleyin. Artık tüm karşılaştırma istemcilerinden toplanan sonuçları içeren bir CSV veri kümeniz olmalıdır.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Tarifler

Azure Veritabanları için kıyaslama çerçevesi, "1 tıklama" deneyimi için temel alınan karşılaştırma aracına geçirilen iş yükü tanımlarını kapsüllemek için tarifler içerir. İş yükü tanımları, Azure Cosmos DB ekibi ve karşılaştırma aracının ekibi tarafından yayımlanan en iyi yöntemlere göre tasarlanmıştır. Tarifler test edildi ve tutarlı sonuçlar için doğrulandı.

GitHub deposundaki tüm okuma ve yazma tarifleri için aşağıdaki gecikme sürelerini görmeyi bekleyebilirsiniz.

Okuma gecikmesi
Yazma gecikme süresi

Genel sorunlar

Bu bölüm, karşılaştırma aracını çalıştırırken oluşabilecek yaygın hataları içerir. Aracın hata günlükleri genellikle Azure Depolama hesabındaki bir kapsayıcıda kullanılabilir.

Depolama hesabındaki kapsayıcı ve blobların ekran görüntüsü.

Günlükler depolama hesabında kullanılamıyorsa, bu sorun genellikle yanlış veya eksik bir depolama bağlantı dizesinden kaynaklanır. Bu durumda, bu hata istemci sanal makinesinin /home/benchmarking klasöründeki agent.out dosyasında listelenir.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Azure Cosmos DB uç nokta URI'sinin yanlış veya ulaşılamaz olması durumunda bu hata hem istemci VM'sinde hem de depolama hesabında agent.out dosyasında listelenir.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Bu hata, Azure Cosmos DB anahtarı yanlışsa hem istemci VM'sinde hem de depolama hesabında agent.out dosyasında listelenir.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Sonraki adımlar

Başlarken kılavuzuyla karşılaştırma aracı hakkında daha fazla bilgi edinin.

Ayar	Değer
Veritabanı kimliği	`ycsb`
Veritabanı aktarım hızı türü	El ile
Veritabanı aktarım hızı miktarı	`400`
Kapsayıcı kimliği	`usertable`
Bölüm anahtarı	`/id`