Medir o desempenho do Azure Cosmos DB para NoSQL com uma estrutura de benchmarking

Há mais opções, agora do que nunca, no tipo de banco de dados a ser usado com sua carga de trabalho de dados. Um dos principais fatores para escolher um banco de dados é o desempenho do banco de dados ou serviço, mas o desempenho de benchmarking pode ser complicado e propenso a erros. A estrutura de benchmarking para Bancos de Dados do Azure simplifica o processo de medição do desempenho com ferramentas populares de benchmarking de software livre com receitas de baixo atrito que implementam práticas recomendadas comuns. No Azure Cosmos DB para NoSQL, a estrutura implementa as práticas recomendadas para o SDK do Java e usa a ferramenta YCSB de software livre. Neste guia, você usa esta estrutura de parâmetro de comparação para implementar uma carga de trabalho de leitura para se familiarizar com a estrutura.

Pré-requisitos

• Uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.
• Conta do Azure Cosmos DB for NoSQL. Crie uma conta de API para NoSQL.
  • Certifique-se de anotar a URI do ponto de extremidade e a chave primária da conta.
• Conta de Armazenamento do Azure. Criar uma conta de Armazenamento do Microsoft Azure.
  • Certifique-se de anotar a cadeia de conexão da conta de armazenamento. Cadeia de conexão do Armazenamento do Azure Visual.
• Segundo grupo de recursos vazio. Crie um grupo de recursos.
• CLI (Interface de Command-Line do Azure).

Criar recursos de conta do Azure Cosmos DB

Primeiro, você cria um banco de dados e um contêiner na conta da API existente para NoSQL.

Portal do Azure

1. Navegue até sua conta existente da API para NoSQL no portal do Azure.

2. No menu de recursos, selecione Data Explorer.

   

3. Na página do Data Explorer , selecione a opção Novo Contêiner na barra de comandos.

   

4. Na caixa de diálogo Novo Contêiner , crie um novo contêiner com as seguintes configurações:

   Configurações	Value
   ID do banco de dados	ycsb
   Tipo de taxa de transferência de banco de dados	Manual
   Valor da taxa de transferência do banco de dados	400
   ID do contêiner	usertable
   Chave de partição	/id

   

Azure CLI

1. Caso ainda não tenha feito isso, entre na CLI do Azure usando o az login comando.

2. Crie variáveis de shell para os seguintes valores:

   • Nome da sua conta existente do Azure Cosmos DB para NoSQL chamada cosmosAccountName.
   • Nome do seu primeiro grupo de recursos com recursos nomeados sourceResourceGroupName.
   • Nome do segundo grupo de recursos vazio chamado targetResourceGroupName.
   • URI de ponto de extremidade da conta existente do Azure Cosmos DB for NoSQL denominada cosmosEndpoint
   • Chave primária da conta existente do Azure Cosmos DB for NoSQL denominada cosmosPrimaryKey

   # Variable for Azure Cosmos DB for NoSQL account name
   cosmosAccountName="<cosmos-db-nosql-account-name>"
   
   # Variable for resource group with Azure Cosmos DB and Azure Storage accounts
   sourceResourceGroupName="<first-resource-group-name>"
   
   # Variable for empty resource group
   targetResourceGroupName="<second-resource-group-name>"
   
   # Variable for API for NoSQL endpoint URI
   cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"
   
   # Variable for API for NoSQL primary key
   cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"
   
   # Variable for Azure Storage account name
   storageAccountName="<storage-account-name>"
   
   # Variable for storage account connection string
   storageConnectionString="<storage-connection-string>"
   

3. Usando o az cosmosdb sql database create comando, crie um novo banco de dados com as seguintes configurações:

   Configurações	Value
   ID do banco de dados	ycsb
   Tipo de taxa de transferência de banco de dados	Manual
   Valor da taxa de transferência do banco de dados	400

   az cosmosdb sql database create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --name "ycsb" \
       --throughput 400
   

4. Usando o az cosmosdb sql container create comando, crie um novo contêiner com as seguintes configurações:

   Configurações	Value
   ID do banco de dados	ycsb
   ID do contêiner	usertable
   Chave de partição	/id

   az cosmosdb sql container create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --database-name "ycsb" \
       --name "usertable" \
       --partition-key-path "/id"
   

Implantar a estrutura de benchmarking no Azure

Agora, você usa um modelo do Azure Resource Manager para implantar a estrutura de benchmarking no Azure com a receita de leitura padrão.

Portal do Azure

1. Implante a estrutura de benchmarking usando um modelo do Azure Resource Manager disponível neste link.

   

2. Na página Implantação Personalizada, os seguintes parâmetros

   

3. Selecione Revisar + Criar e, em seguida, Criar para implantar o modelo.

4. Aguarde até que a implantação seja concluída.

   Dica

   A implantação pode levar de 5 a 10 minutos para ser concluída.

Azure CLI

1. Use az deployment group create para implantar a estrutura de benchmarking usando um modelo do Azure Resource Manager.

   # Variable for raw template JSON on GitHub
   templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"
   
   az deployment group create \
       --resource-group $targetResourceGroupName \
       --name "benchmarking-framework" \
       --template-uri $templateUri \
       --parameters \
           adminPassword='P@ssw.rd' \
           resultsStorageConnectionString=$storageConnectionString \
           cosmosURI=$cosmosEndpoint \
           cosmosKey=$cosmosPrimaryKey
   

2. Aguarde até que a implantação seja concluída.

   Dica

   A implantação pode levar de 5 a 10 minutos para ser concluída.

Exibir os resultados do parâmetro de comparação

Agora, você pode usar a conta de Armazenamento do Azure existente para verificar o status do trabalho de parâmetro de comparação e exibir os resultados agregados. O status é armazenado usando uma tabela de armazenamento e os resultados são agregados em um blob de armazenamento usando o formato CSV.

Portal do Azure

1. Navegue até sua conta de Armazenamento do Azure existente no portal do Azure.

2. Navegue até uma tabela de armazenamento chamada ycsbbenchmarkingmetadata e localize a entidade com uma chave de partição de ycsb_sql.

   

3. Observe o JobStatus campo da entidade da tabela. Inicialmente, o status do trabalho é Started e inclui um carimbo de data/hora na propriedade JobStartTime, mas não na propriedade JobFinishTime.

4. Aguarde até que o trabalho tenha um status de Finished e inclua um carimbo de data/hora na propriedade JobFinishTime.

   Dica

   Pode levar aproximadamente de 20 a 30 minutos para que o trabalho seja concluído.

5. Navegue até o contêiner de armazenamento na mesma conta com um prefixo de ycsbbenchmarking-*. Observe os blobs de saída e diagnóstico da ferramenta.

   

6. Abra o blob aggregation.csv e observe o conteúdo. Agora você deve ter um conjunto de dados CSV com resultados agregados de todos os clientes de parâmetro de comparação.

   

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Azure CLI

1. Consultar o registro de trabalho em uma tabela de armazenamento chamada ycsbbenchmarkingmetadata usando az storage entity query.

   az storage entity query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --table-name ycsbbenchmarkingmetadata
   

2. Observe os resultados dessa consulta. Os resultados devem retornar um único trabalho com as propriedades JobStartTime, JobStatus e JobFinishTime. Inicialmente, o status do trabalho é Started e inclui um carimbo de data/hora na propriedade JobStartTime, mas não na propriedade JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Started",
         "NoOfClientsCompleted": "0",
         "NoOfClientsStarted": {
           "edm_type": "Edm.Int64",
           "value": 1
         },
         "PartitionKey": "ycsb_sql",
         ...
       }
     ],
     ...
   }
   

3. Se necessário, executar az storage entity query várias vezes até que o trabalho tenha um status de Finished e inclua um carimbo de data/hora na propriedade JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "2023-02-02T14:21:12Z",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Finished",
         ...
       }
     ],
     ...
   }
   

   Dica

   Pode levar aproximadamente de 20 a 30 minutos para que o trabalho seja concluído.

4. Localize o nome do contêiner de armazenamento modificado mais recentemente com um prefixo de ycsbbenchmarking-* usando az storage container list e uma consulta JMESPath.

   az storage container list \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
       --output tsv
   

5. Armazene a cadeia de caracteres de contêiner em uma variável chamada storageConnectionString.

   storageContainerName=$( \
       az storage container list \
           --account-name $storageAccountName \
           --connection-string $storageConnectionString \
           --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
           --output tsv \
   )
   

6. Use [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) para consultar os resultados do trabalho em um blob de armazenamento armazenado no contêiner previamente localizado.

   az storage blob query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --container-name $storageContainerName \
       --name aggregation.csv \
       --query-expression "SELECT * FROM BlobStorage"
   

7. Observe os resultados dessa consulta. Agora você deve ter um conjunto de dados CSV com resultados agregados de todos os clientes de parâmetro de comparação.

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Receitas

A estrutura de benchmarking dos Bancos de Dados do Azure inclui receitas para encapsular as definições de carga de trabalho que são passadas para a ferramenta de benchmarking subjacente para uma experiência de "1 clique". As definições de carga de trabalho foram projetadas com base nas práticas recomendadas publicadas pela equipe do Azure Cosmos DB e pela equipe da ferramenta de benchmarking. As receitas foram testadas e validadas para resultados consistentes.

Você pode esperar ver as seguintes latências para todas os métodos de leitura e gravação no repositório GitHub.

• Latência de leitura

  

• Latência de gravação

  

Problemas comuns

Esta seção inclui os erros comuns que podem ocorrer ao executar a ferramenta de benchmarking. Os logs de erro da ferramenta normalmente estão disponíveis em um contêiner dentro da conta de Armazenamento do Azure.

• Se os logs não estiverem disponíveis na conta de armazenamento, esse problema normalmente será causado por uma cadeia de conexão de armazenamento incorreta ou ausente. Nesse caso, esse erro é listado no arquivo agent.out dentro da pasta /home/benchmarking da máquina virtual cliente.

  Error while accessing storage account, exiting from this machine in agent.out on the VM
  

• Esse erro é listado no arquivo agent.out na VM do cliente e na conta de armazenamento se o URI do ponto de extremidade do Azure Cosmos DB estiver incorreto ou inacessível.

  Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
  

• Esse erro é listado no arquivo agent.out na VM do cliente e na conta de armazenamento se a chave do Azure Cosmos DB estiver incorreta.

  The input authorization token can't serve the request. The wrong key is being used….
  

Próximas etapas

• Saiba mais sobre a ferramenta de benchmarking com o guia introdução.