Mesurer les performances d’Azure Cosmos DB pour NoSQL avec un framework de référence

Il existe plus de choix que jamais sur le type de base de données à utiliser avec votre charge de travail de données. L’un des principaux facteurs de sélection d’une base de données est les performances de la base de données ou du service, mais les performances d’évaluation peuvent être fastidieuses et sujettes aux erreurs. Le framework d’analyse de référence pour Les bases de données Azure simplifie le processus de mesure des performances avec des outils d’évaluation open source populaires avec des recettes à faible friction qui implémentent les meilleures pratiques courantes. Dans Azure Cosmos DB pour NoSQL, l’infrastructure implémente les meilleures pratiques pour le Kit de développement logiciel (SDK) Java et utilise l’outil YCSB open source. Dans ce guide, vous utilisez cette infrastructure d’évaluation pour implémenter une charge de travail de lecture pour vous familiariser avec l’infrastructure.

Prerequisites

• Un compte Azure avec un abonnement actif. Créez un compte gratuitement.
• Compte Azure Cosmos DB for NoSQL. Créez une API pour un compte NoSQL.
  • Veillez à noter l’URI de point de terminaison et la clé primaire du compte.
• Compte Stockage Azure. Créer un compte de stockage Azure
  • Veillez à noter la chaîne de connexion du compte de stockage. Vies Chaîne de connexion Stockage Azure.
• Deuxième groupe de ressources vide. Créez un groupe de ressources.
• Interface en ligne de commande Azure (CLI).

Créer des ressources de compte Azure Cosmos DB

Tout d’abord, vous créez une base de données et un conteneur dans l’API existante pour le compte NoSQL.

portail Azure

1. Accédez à votre compte API existante pour NoSQL dans le portail Azure.

2. Dans le menu de la ressource, sélectionnez Explorateur de données.

   

3. Dans la page Explorateur de données , sélectionnez l’option Nouveau conteneur dans la barre de commandes.

   

4. Dans la boîte de dialogue Nouveau conteneur , créez un conteneur avec les paramètres suivants :

   Réglage	Valeur
   ID de base de données	ycsb
   Type de débit de base de données	Manuel
   Quantité de débit de base de données	400
   ID de conteneur	usertable
   Clé de partition	/id

   

Azure CLI

1. Si ce n’est déjà fait, connectez-vous à Azure CLI à l’aide de la az login commande.

2. Créez des variables shell pour les valeurs suivantes :

   • Nom de votre compte Azure Cosmos DB pour NoSQL existant nommé cosmosAccountName.
   • Nom de votre premier groupe de ressources avec les ressources nommées sourceResourceGroupName.
   • Nom de votre deuxième groupe de ressources vide nommé targetResourceGroupName.
   • URI de point de terminaison de compte Azure Cosmos DB for NoSQL existant nommé cosmosEndpoint
   • Clé primaire de compte Azure Cosmos DB for NoSQL existante nommée cosmosPrimaryKey

   # Variable for Azure Cosmos DB for NoSQL account name
   cosmosAccountName="<cosmos-db-nosql-account-name>"
   
   # Variable for resource group with Azure Cosmos DB and Azure Storage accounts
   sourceResourceGroupName="<first-resource-group-name>"
   
   # Variable for empty resource group
   targetResourceGroupName="<second-resource-group-name>"
   
   # Variable for API for NoSQL endpoint URI
   cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"
   
   # Variable for API for NoSQL primary key
   cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"
   
   # Variable for Azure Storage account name
   storageAccountName="<storage-account-name>"
   
   # Variable for storage account connection string
   storageConnectionString="<storage-connection-string>"
   

3. À l’aide de la az cosmosdb sql database create commande, créez une base de données avec les paramètres suivants :

   Réglage	Valeur
   ID de base de données	ycsb
   Type de débit de base de données	Manuel
   Quantité de débit de base de données	400

   az cosmosdb sql database create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --name "ycsb" \
       --throughput 400
   

4. À l’aide de la az cosmosdb sql container create commande, créez un conteneur avec les paramètres suivants :

   Réglage	Valeur
   ID de base de données	ycsb
   ID de conteneur	usertable
   Clé de partition	/id

   az cosmosdb sql container create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --database-name "ycsb" \
       --name "usertable" \
       --partition-key-path "/id"
   

Déployer une infrastructure de référence sur Azure

À présent, vous utilisez un modèle Azure Resource Manager pour déployer l’infrastructure de référence sur Azure avec la recette de lecture par défaut.

portail Azure

1. Déployez l’infrastructure de référence à l’aide d’un modèle Azure Resource Manager disponible dans ce lien.

   

2. Dans la page Déploiement personnalisé, les paramètres suivants

   

3. Sélectionnez Vérifier + créer , puis Créer pour déployer le modèle.

4. Attendez que le déploiement se termine.

   Conseil / Astuce

   Le déploiement peut prendre 5 à 10 minutes.

Azure CLI

1. Utilisez az deployment group create pour déployer le cadre de benchmark à l’aide d’un modèle Azure Resource Manager.

   # Variable for raw template JSON on GitHub
   templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"
   
   az deployment group create \
       --resource-group $targetResourceGroupName \
       --name "benchmarking-framework" \
       --template-uri $templateUri \
       --parameters \
           adminPassword='P@ssw.rd' \
           resultsStorageConnectionString=$storageConnectionString \
           cosmosURI=$cosmosEndpoint \
           cosmosKey=$cosmosPrimaryKey
   

2. Attendez que le déploiement se termine.

   Conseil / Astuce

   Le déploiement peut prendre 5 à 10 minutes.

Afficher les résultats du benchmark

À présent, vous pouvez utiliser le compte de stockage Azure existant pour vérifier l’état du travail de test et afficher les résultats agrégés. L’état est stocké à l’aide d’une table de stockage et les résultats sont agrégés dans un objet blob de stockage au format CSV.

portail Azure

1. Accédez à votre compte de stockage Azure existant dans le portail Azure.

2. Accédez à une table de stockage nommée ycsbbenchmarkingmetadata et recherchez l’entité avec une clé de partition de ycsb_sql.

   

3. Observez le JobStatus champ de l’entité de table. Initialement, l’état de la tâche est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

4. Attendez que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.

   Conseil / Astuce

   La fin du travail peut prendre environ 20 à 30 minutes.

5. Accédez au conteneur de stockage dans le même compte avec le préfixe ycsbbenchmarking-*. Observez les blobs de sortie et de diagnostic de l'outil.

   

6. Ouvrez l’objet blob aggregation.csv et observez le contenu. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients de référence.

   

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Azure CLI

1. Interroger l’enregistrement du travail dans une table de stockage nommée ycsbbenchmarkingmetadata à l’aide de az storage entity query.

   az storage entity query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --table-name ycsbbenchmarkingmetadata
   

2. Observez les résultats de cette requête. Les résultats doivent retourner une seule tâche avec JobStartTime, JobStatus et JobFinishTime comme propriétés. Initialement, l’état de la tâche est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Started",
         "NoOfClientsCompleted": "0",
         "NoOfClientsStarted": {
           "edm_type": "Edm.Int64",
           "value": 1
         },
         "PartitionKey": "ycsb_sql",
         ...
       }
     ],
     ...
   }
   

3. Si nécessaire, exécutez az storage entity query plusieurs fois jusqu’à ce que le travail ait le statut Finished et inclue un horodatage dans la propriété JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "2023-02-02T14:21:12Z",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Finished",
         ...
       }
     ],
     ...
   }
   

   Conseil / Astuce

   La fin du travail peut prendre environ 20 à 30 minutes.

4. Recherchez le nom du conteneur de stockage le plus récemment modifié avec un préfixe de ycsbbenchmarking-* en utilisant az storage container list et une requête JMESPath.

   az storage container list \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
       --output tsv
   

5. Stockez la chaîne de conteneur dans une variable nommée storageConnectionString.

   storageContainerName=$( \
       az storage container list \
           --account-name $storageAccountName \
           --connection-string $storageConnectionString \
           --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
           --output tsv \
   )
   

6. Utilisez [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) pour interroger les résultats du travail dans un objet blob de stockage stocké dans le conteneur situé précédemment.

   az storage blob query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --container-name $storageContainerName \
       --name aggregation.csv \
       --query-expression "SELECT * FROM BlobStorage"
   

7. Observez les résultats de cette requête. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients de référence.

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Recettes

L’infrastructure de référence pour Les bases de données Azure inclut des recettes permettant d’encapsuler les définitions de charge de travail passées à l’outil de référence sous-jacent pour une expérience « 1 clic ». Les définitions de charge de travail ont été conçues en fonction des meilleures pratiques publiées par l’équipe Azure Cosmos DB et de l’équipe de l’outil d’évaluation. Les recettes ont été testées et validées pour obtenir des résultats cohérents.

Vous pouvez vous attendre à voir les latences suivantes pour toutes les recettes de lecture et d’écriture dans le dépôt GitHub.

• Latence de lecture

  

• Latence d’écriture

  

Problèmes courants

Cette section inclut les erreurs courantes qui peuvent se produire lors de l’exécution de l’outil d’évaluation. Les journaux d’erreur de l’outil sont généralement disponibles dans un conteneur dans le compte de stockage Azure.

• Si les journaux d’activité ne sont pas disponibles dans le compte de stockage, ce problème est généralement dû à une chaîne de connexion de stockage incorrecte ou manquante. Dans ce cas, cette erreur est répertoriée dans le fichier agent.out dans le dossier /home/benchmark de la machine virtuelle cliente.

  Error while accessing storage account, exiting from this machine in agent.out on the VM
  

• Cette erreur est répertoriée dans le fichier agent.out à la fois dans la machine virtuelle cliente et le compte de stockage si l’URI du point de terminaison Azure Cosmos DB est incorrect ou inaccessible.

  Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
  

• Cette erreur est répertoriée dans le fichier agent.out à la fois dans la machine virtuelle cliente et le compte de stockage si la clé Azure Cosmos DB est incorrecte.

  The input authorization token can't serve the request. The wrong key is being used….
  

Étapes suivantes

• En savoir plus sur l’outil d’évaluation avec le guide de prise en main.