Karşılaştırma çerçevesiyle NoSQL için Azure Cosmos DB performansını ölçme

Makale
08/15/2024

Veri iş yükünüzle kullanılacak veritabanı türüyle ilgili şu anda her zamankinden daha fazla seçenek vardır. Veritabanı seçmenin önemli faktörlerinden biri, veritabanının veya hizmetin performansıdır, ancak karşılaştırma performansı hantal ve hataya açık olabilir. Azure Veritabanları için kıyaslama çerçevesi, yaygın en iyi yöntemleri uygulayan düşük sürtünmeli tariflerle popüler açık kaynak karşılaştırma araçlarıyla performansı ölçme sürecini basitleştirir. NoSQL için Azure Cosmos DB'de çerçeve Java SDK'sı için en iyi yöntemleri uygular ve açık kaynak YCSB aracını kullanır. Bu kılavuzda, bu karşılaştırma çerçevesini kullanarak çerçeveyi tanımaya yönelik bir okuma iş yükü uygulayacaksınız.

Önkoşullar

Etkin aboneliği olan bir Azure hesabı. Ücretsiz hesap oluşturun.
NoSQL için Azure Cosmos DB hesabı. NoSQL hesabı için bir API oluşturun.
- Hesap için uç nokta URI'sini ve birincil anahtarı not edin. NoSQL birincil anahtarları için API.
Azure Depolama hesabı. Bir Azure Depolama hesabı oluşturun.
- Depolama hesabının bağlantı dizesi not edin. Vies Azure Depolama bağlantı dizesi.
İkinci boş kaynak grubu. Bir kaynak grubu oluşturun.
Azure Komut Satırı Arabirimi (CLI).

Azure Cosmos DB hesap kaynakları oluşturma

İlk olarak, NoSQL hesabı için mevcut API'de bir veritabanı ve kapsayıcı oluşturursunuz.

Azure portalı
Azure CLI

Azure portalında mevcut NoSQL hesabı API'nize gidin.
Kaynak menüsünde Veri Gezgini'ı seçin.
Veri Gezgini sayfasında, komut çubuğundaKi Yeni Kapsayıcı seçeneğini belirleyin.
Yeni Kapsayıcı iletişim kutusunda aşağıdaki ayarlarla yeni bir kapsayıcı oluşturun:

Ayar Value

Veritabanı kimliği ycsb

Veritabanı aktarım hızı türü El ile

Veritabanı aktarım hızı miktarı 400

Kapsayıcı kimliği usertable

Bölüm anahtarı /id

Henüz yapmadıysanız komutunu kullanarak az login Azure CLI'da oturum açın.

Aşağıdaki değerler için kabuk değişkenleri oluşturun:

Adlı NoSQL için mevcut Azure Cosmos DB hesabınızın adı cosmosAccountName.
adlı kaynakları içeren ilk kaynak grubunuzun adı sourceResourceGroupName.
adlı ikinci boş kaynak grubunuzun adı targetResourceGroupName.
NoSQL için mevcut Azure Cosmos DB hesap uç noktası URI'sinin adı cosmosEndpoint
NoSQL için mevcut Azure Cosmos DB hesabı birincil anahtarı adlı cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create komutunu kullanarak aşağıdaki ayarlarla yeni bir veritabanı oluşturun:

Ayar Value

Veritabanı kimliği ycsb

Veritabanı aktarım hızı türü El ile

Veritabanı aktarım hızı miktarı 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

az cosmosdb sql container create komutunu kullanarak aşağıdaki ayarlarla yeni bir kapsayıcı oluşturun:

Ayar	Value
Veritabanı kimliği	`ycsb`
Kapsayıcı kimliği	`usertable`
Bölüm anahtarı	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Karşılaştırma çerçevesini Azure'a dağıtma

Şimdi bir Azure Resource Manager şablonu kullanarak karşılaştırma çerçevesini varsayılan okuma tarifiyle Azure'a dağıtacaksınız.

Azure portalı
Azure CLI

Bu bağlantıda bulunan bir Azure Resource Manager şablonu kullanarak karşılaştırma çerçevesini dağıtın.
Özel Dağıtım sayfasında aşağıdaki parametreler
Şablonu dağıtmak için Gözden geçir + oluştur'u ve ardından Oluştur'u seçin.
Dağıtımın tamamlanmasını bekleyin.

İpucu

Dağıtımın tamamlanması 5-10 dakika sürebilir.

Azure Resource Manager şablonu kullanarak karşılaştırma çerçevesini dağıtmak için kullanın az deployment group create .

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Dağıtımın tamamlanmasını bekleyin.

İpucu

Dağıtımın tamamlanması 5-10 dakika sürebilir.

Karşılaştırma sonuçlarını görüntüleme

Şimdi karşılaştırma işinin durumunu denetlemek ve toplanan sonuçları görüntülemek için mevcut Azure Depolama hesabını kullanabilirsiniz. Durum bir depolama tablosu kullanılarak depolanır ve sonuçlar CSV biçimi kullanılarak bir depolama blobuna toplanır.

Azure portalı
Azure CLI

Azure portalında mevcut Azure Depolama hesabınıza gidin.
ycsbbenchmarkingmetadata adlı bir depolama tablosuna gidin ve bölüm anahtarına ycsb_sqlsahip varlığı bulun.
JobStatus Tablo varlığının alanını gözlemleyin. Başlangıçta işin durumudur Started ve özelliğinde JobStartTime bir zaman damgası içerir ancak özelliği içermez JobFinishTime .
İşin durumu Finished ve özelliğine bir zaman damgası içerene JobFinishTime kadar bekleyin.

İpucu

İşin tamamlanması yaklaşık 20-30 dakika sürebilir.
ycsbbenchmarking-* ön ekiyle aynı hesaptaki depolama kapsayıcısına gidin. Aracın çıkış ve tanılama bloblarını inceleyin.
aggregation.csv blobunu açın ve içeriği gözlemleyin. Artık tüm karşılaştırma istemcilerinden toplanan sonuçları içeren bir CSV veri kümeniz olmalıdır.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

adlı ycsbbenchmarkingmetadata bir depolama tablosundaki iş kaydını kullanarak sorgula az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Bu sorgunun sonuçlarını gözlemleyin. Sonuçlar, , JobStatusve JobFinishTime özellikleriyle JobStartTimetek bir iş döndürmelidir. Başlangıçta işin durumudur Started ve özelliğinde JobStartTime bir zaman damgası içerir ancak özelliği içermez JobFinishTime .

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Gerekirse, işin durumu olana Finished ve özelliğine bir zaman damgası ekleyene JobFinishTime kadar birden çok kez çalıştırınaz storage entity query.
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
İpucu

İşin tamamlanması yaklaşık 20-30 dakika sürebilir.

En son değiştirilen depolama kapsayıcısının adını ve bir JMESPath sorgusunun az storage container list ön ekini ycsbbenchmarking-* bulun.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Kapsayıcı dizesini adlı storageConnectionStringbir değişkende depolayın.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

az storage blob query[]/cli/azure/storage/blob#az-storage-blob-query) kullanarak iş sonuçlarını daha önce bulunan kapsayıcıda depolanan bir depolama blobunda sorgular.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Bu sorgunun sonuçlarını gözlemleyin. Artık tüm karşılaştırma istemcilerinden toplanan sonuçları içeren bir CSV veri kümeniz olmalıdır.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Tarifler

Azure Veritabanları için karşılaştırma çerçevesi, "1 tıklama" deneyimi için temel alınan karşılaştırma aracına geçirilen iş yükü tanımlarını kapsülleyen tarifler içerir. İş yükü tanımları, Azure Cosmos DB ekibi ve karşılaştırma aracının ekibi tarafından yayımlanan en iyi yöntemlere göre tasarlanmıştır. Tarifler test edildi ve tutarlı sonuçlar için doğrulandı.

GitHub deposundaki tüm okuma ve yazma tarifleri için aşağıdaki gecikme sürelerini görmeyi bekleyebilirsiniz.

Okuma gecikmesi
Yazma gecikmesi

Genel sorunlar

Bu bölüm, karşılaştırma aracını çalıştırırken oluşabilecek yaygın hataları içerir. Aracın hata günlükleri genellikle Azure Depolama hesabındaki bir kapsayıcıda kullanılabilir.

Depolama hesabındaki kapsayıcı ve blobların ekran görüntüsü.

Günlükler depolama hesabında kullanılamıyorsa, bu sorun genellikle yanlış veya eksik bir depolama bağlantı dizesi kaynaklanır. Bu durumda, bu hata istemci sanal makinesinin /home/benchmarking klasöründeki agent.out dosyasında listelenir.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Bu hata, Azure Cosmos DB uç nokta URI'sinin yanlış olması veya ulaşılamaz olması durumunda hem istemci VM'sinde hem de depolama hesabında agent.out dosyasında listelenir.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Azure Cosmos DB anahtarı yanlışsa, bu hata hem istemci VM'sinde hem de depolama hesabında agent.out dosyasında listelenir.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Sonraki adımlar

Başlarken kılavuzuyla karşılaştırma aracı hakkında daha fazla bilgi edinin.

Aracılığıyla paylaş