Mesurer les performances d’Azure Cosmos DB for NoSQL avec un framework d’évaluation

Article
03/25/2023

Le choix de type de base de données à utiliser avec votre charge de travail de données n’a jamais été aussi grand. L’un des facteurs clés du choix d’une base de données est les performances de la base de données ou du service, mais les performances d’évaluation peuvent être fastidieuses et sujettes aux erreurs. L’infrastructure d’évaluation des bases de données Azure simplifie le processus de mesure des performances à l’aide d’outils d’évaluation en open source populaires avec des recettes à faible friction qui implémentent les meilleures pratiques courantes. Dans Azure Cosmos DB for NoSQL, l’infrastructure implémente les meilleures pratiques pour le kit de développement logiciel (SDK) Java et utilise l’outil YCSB en open source. Dans ce guide, vous utilisez cette infrastructure d’évaluation pour implémenter une charge de travail de lecture afin de vous familiariser avec l’infrastructure.

Prérequis

Compte Azure avec un abonnement actif. Créez un compte gratuitement.
Compte Azure Cosmos DB for NoSQL. Créer une API pour un compte NoSQL.
- Veillez à noter l’URI du point de terminaison et la clé primaire du compte. API pour les clés primaires NoSQL.
Compte Stockage Azure. Créer un compte de stockage Azure
- Assurez-vous de noter la chaîne de connexion du compte de stockage. Vies Chaîne de connexion Stockage Azure.
Second groupe de ressources vide. Créez un groupe de ressources.
Interface de ligne de commande Azure (CLI)

Créer des ressources de compte Azure Cosmos DB

Tout d’abord, vous créez une base de données et un conteneur dans le compte d’API pour NoSQL existant.

Azure portal
Azure CLI

Accédez à votre compte API for NoSQL sur le Portail Azure.
Dans le menu de la ressource, sélectionnez Explorateur de données.
Sur la page Data Explorer, sélectionnez l’option Nouveau conteneur dans la barre de commandes.
Dans la boîte de dialogue Nouveau conteneur, créez un conteneur en indiquant les paramètres suivants :

Paramètre Valeur

ID de base de données ycsb

Type de débit de la base de données Manuel

Valeur du débit de la base de données 400

ID de conteneur usertable

Clé de partition /id

Si vous ne l’avez pas déjà fait, connectez-vous à Azure CLI à l’aide de la commande az login.

Créez des variables d’interpréteur de commandes pour les valeurs suivantes :

Nom de votre compte Azure Cosmos DB for NoSQL existant nommé cosmosAccountName.
Nom de votre premier groupe de ressources avec des ressources nommées sourceResourceGroupName.
Nom de votre deuxième groupe de ressources vide nommé targetResourceGroupName.
URI de point de terminaison de compte Azure Cosmos DB for NoSQL existant nommé cosmosEndpoint
Clé primaire de compte Azure Cosmos DB for NoSQL existante nommée cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

À l’aide de la commande az cosmosdb sql database create, créez une base de données avec les paramètres suivants :

Paramètre Valeur

ID de base de données ycsb

Type de débit de la base de données Manuel

Valeur du débit de la base de données 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

À l’aide de la commande az cosmosdb sql container create, créez un conteneur avec les paramètres suivants :

Paramètre	Valeur
ID de base de données	`ycsb`
ID de conteneur	`usertable`
Clé de partition	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Déployer l’infrastructure d’analyse comparative sur Azure

À présent, vous utilisez un modèle Azure Resource Manager pour déployer l’infrastructure d’évaluation sur Azure avec la recette de lecture par défaut.

Azure portal
Azure CLI

Déployez l’infrastructure d’évaluation à l’aide d’un modèle Azure Resource Manager disponible via ce lien.
Dans la page Déploiement personnalisé, les paramètres suivants
Sélectionnez Vérifier + créer, puis Créer pour déployer le modèle.
Attendez la fin du déploiement.

Conseil

Le déploiement peut prendre de 5 à 10 minutes.

Utilisez az deployment group create pour déployer l’infrastructure d’évaluation à l’aide d’un modèle Azure Resource Manager disponible.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Attendez la fin du déploiement.

Conseil

Le déploiement peut prendre de 5 à 10 minutes.

Afficher les résultats de l’évaluation

À présent, vous pouvez utiliser le compte stockage Azure existant pour vérifier l’état du travail d’évaluation et afficher les résultats agrégés. L’état est stocké à l’aide d’une table de stockage et les résultats sont agrégés dans un objet blob de stockage au format CSV.

Azure portal
Azure CLI

Accédez à votre compte Stockage Azure existant sur le Portail Azure.
Accédez à une table de stockage nommée ycsbbenchmarkingmetadata et recherchez l’entité avec une clé de partition de ycsb_sql.
Observez le champ JobStatus de l’entité de table. Initialement, l’état du travail est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.
Attendez que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.

Conseil

La fin du travail peut prendre 20 à 30 minutes.
Accédez au conteneur de stockage dans le même compte avec le préfixe ycsbbenchmarking-*. Observez les objets blob de sortie et de diagnostic pour l’outil.
Ouvrez l’objet blob aggregation.csv et observez le contenu. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients d’évaluation.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Interrogez l’enregistrement de travail dans une table de stockage nommée ycsbbenchmarkingmetadata à l’aide de az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Observez les résultats de cette requête. Les résultats doivent retourner un seul travail avec les propriétés JobStartTime, JobStatus et JobFinishTime. Initialement, l’état du travail est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Si nécessaire, exécutez az storage entity query plusieurs fois jusqu’à ce que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Conseil

La fin du travail peut prendre 20 à 30 minutes.

Recherchez le nom du conteneur de stockage le plus récemment modifié avec le préfixe ycsbbenchmarking-* à l’aide de az storage container list et d’une requête JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Stockez la chaîne de conteneur dans une variable nommée storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Utilisez [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) pour interroger les résultats du travail dans un objet blob de stockage stocké dans le conteneur situé précédemment.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Observez les résultats de cette requête. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients d’évaluation.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Recettes

L’infrastructure d’évaluation des bases de données Azure comprend des recettes permettant d’encapsuler les définitions de charge de travail qui sont passées à l’outil d’évaluation sous-jacent pour une expérience « 1 clic ». Les définitions de charge de travail ont été conçues en fonction des meilleures pratiques publiées par l’équipe Azure Cosmos DB et l’équipe de l’outil d’évaluation. Les recettes ont été testées et validées pour obtenir des résultats cohérents.

Attendez-vous à rencontrer les latences suivantes pour toutes les recettes de lecture et d’écriture dans le dépôt GitHub.

Latence de lecture
Latence d’écriture

Problèmes courants

Cette section inclut les erreurs courantes qui peuvent se produire lors de l’exécution de l’outil d’évaluation. Les journaux d’erreur de l’outil sont généralement disponibles dans un conteneur au sein du compte de stockage Azure.

Capture d’écran du conteneur et des objets blob dans un compte de stockage.

Si les journaux ne sont pas disponibles dans le compte de stockage, ce problème est généralement dû à une chaîne de connexion de stockage incorrecte ou manquante. Dans ce cas, cette erreur est répertoriée dans le fichier agent.out dans le dossier /home/benchmarking de la machine virtuelle cliente.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Cette erreur est répertoriée dans le fichier agent.out, à la fois dans la machine virtuelle cliente et dans le compte de stockage si l’URI du point de terminaison Azure Cosmos DB est incorrect ou inaccessible.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Cette erreur est répertoriée dans le fichier agent.out, à la fois dans la machine virtuelle cliente et dans le compte de stockage si l’URI de la clé Azure Cosmos DB est incorrecte.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Étapes suivantes

Pour en savoir plus sur l’outil d’évaluation, consultez le guide Prise en main.

Paramètre	Valeur
ID de base de données	`ycsb`
Type de débit de la base de données	Manuel
Valeur du débit de la base de données	`400`
ID de conteneur	`usertable`
Clé de partition	`/id`