Mäta Prestanda för Azure Cosmos DB för NoSQL med ett ramverk för benchmarking

Artikel
03/25/2023

Det finns fler alternativ än någonsin för vilken typ av databas som ska användas med din dataarbetsbelastning. En av de viktigaste faktorerna för att välja en databas är databasens eller tjänstens prestanda, men prestanda för benchmarking kan vara besvärligt och felbenäget. Benchmarking-ramverket för Azure Databases förenklar processen för att mäta prestanda med populära benchmarkingverktyg med öppen källkod med recept med låg friktion som implementerar vanliga metodtips. I Azure Cosmos DB för NoSQL implementerar ramverket metodtips för Java SDK och använder YCSB-verktyget med öppen källkod. I den här guiden använder du det här benchmarking-ramverket för att implementera en läsarbetsbelastning för att bekanta dig med ramverket.

Förutsättningar

Ett Azure-konto med en aktiv prenumeration. Skapa ett konto utan kostnad.
Azure Cosmos DB för NoSQL-konto. Skapa ett API för NoSQL-konto.
- Anteckna slutpunkts-URI:n och primärnyckeln för kontot. API för primära NoSQL-nycklar.
Azure Storage-konto. Skapa ett Azure Storage-konto.
- Anteckna anslutningssträngen för lagringskontot. Vies Azure Storage-anslutningssträng.
Den andra tomma resursgruppen. Skapa en resursgrupp.
Azure Command-Line Interface (CLI).

Skapa Azure Cosmos DB-kontoresurser

Först skapar du en databas och container i det befintliga API:et för NoSQL-kontot.

Azure-portalen
Azure CLI

Gå till ditt befintliga API för NoSQL-konto i Azure Portal.
I resursmenyn väljer du Data Explorer.
På sidan Data Explorer väljer du alternativet Ny container i kommandofältet.
I dialogrutan Ny container skapar du en ny container med följande inställningar:

Inställningen Värde

Databas-ID ycsb

Databasdataflödestyp Manuell

Databasdataflödesmängd 400

Container-ID usertable

Partitionsnyckel /id

Om du inte redan har gjort det loggar du in på Azure CLI med kommandot az login .

Skapa gränssnittsvariabler för följande värden:

Namnet på ditt befintliga Azure Cosmos DB för NoSQL-konto med namnet cosmosAccountName.
Namnet på din första resursgrupp med resurser med namnet sourceResourceGroupName.
Namnet på den andra tomma resursgruppen med namnet targetResourceGroupName.
Befintlig Azure Cosmos DB för NoSQL-kontoslutpunkts-URI med namnet cosmosEndpoint
Befintlig primärnyckel för Azure Cosmos DB för NoSQL-konto med namnet cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

Skapa en ny databas med följande inställningar med hjälp av az cosmosdb sql database create kommandot:

Inställning Värde

Databas-ID ycsb

Databasdataflödestyp Manuell

Databasdataflödesmängd 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

Med kommandot az cosmosdb sql container create skapar du en ny container med följande inställningar:

Inställning	Värde
Databas-ID	`ycsb`
Container-ID	`usertable`
Partitionsnyckel	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Distribuera ramverk för benchmarking till Azure

Nu använder du en Azure Resource Manager-mall för att distribuera benchmarking-ramverket till Azure med standardreceptet för läsning.

Azure-portalen
Azure CLI

Distribuera benchmarking-ramverket med hjälp av en Azure Resource Manager-mall som är tillgänglig på den här länken.
På sidan Anpassad distribution visas följande parametrar
Välj Granska + skapa och sedan Skapa för att distribuera mallen.
Vänta tills distributionen har slutförts.

Tips

Distributionen kan ta 5–10 minuter att slutföra.

Använd az deployment group create för att distribuera benchmarking-ramverket med hjälp av en Azure Resource Manager-mall.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Vänta tills distributionen har slutförts.

Tips

Distributionen kan ta 5–10 minuter att slutföra.

Visa resultat av benchmark

Nu kan du använda det befintliga Azure Storage-kontot för att kontrollera status för benchmark-jobbet och visa de aggregerade resultaten. Statusen lagras med hjälp av en lagringstabell och resultaten aggregeras till en lagringsblob med CSV-format.

Azure-portalen
Azure CLI

Gå till ditt befintliga Azure Storage-konto i Azure Portal.
Navigera till en lagringstabell med namnet ycsbbenchmarkingmetadata och leta upp entiteten med partitionsnyckeln ycsb_sql.
Observera fältet för JobStatus tabellentiteten. Inledningsvis är Started statusen för jobbet och den innehåller en tidsstämpel i JobStartTime egenskapen men inte egenskapen JobFinishTime .
Vänta tills jobbet har statusen Finished och innehåller en tidsstämpel i egenskapen JobFinishTime .

Tips

Det kan ta cirka 20–30 minuter för jobbet att slutföras.
Navigera till lagringscontainern i samma konto med prefixet ycsbbenchmarking-*. Observera utdata och diagnostikblobar för verktyget.

Öppna aggregation.csv blob och observera innehållet. Nu bör du ha en CSV-datauppsättning med aggregerade resultat från alla benchmark-klienter.

Skärmbild av innehållet i aggregeringsresultatbloben.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Fråga jobbposten i en lagringstabell med namnet ycsbbenchmarkingmetadata med .az storage entity query

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Observera resultatet av den här frågan. Resultatet ska returnera ett enda jobb med JobStartTimeegenskaperna , JobStatusoch JobFinishTime . Inledningsvis är Started statusen för jobbet och den innehåller en tidsstämpel i JobStartTime egenskapen men inte egenskapen JobFinishTime .

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Om det behövs kör az storage entity query du flera gånger tills jobbet har statusen Finished och innehåller en tidsstämpel i JobFinishTime egenskapen .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Tips

Det kan ta cirka 20–30 minuter för jobbet att slutföras.

Hitta namnet på den senast ändrade lagringscontainern med prefixet ycsbbenchmarking-* using az storage container list och en JMESPath-fråga.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Lagra containersträngen i en variabel med namnet storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Använd [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) för att köra frågor mot jobbresultaten i en lagringsblob som lagrats i den tidigare placerade containern.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Observera resultatet av den här frågan. Nu bör du ha en CSV-datauppsättning med aggregerade resultat från alla benchmark-klienter.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Recept

Benchmarking-ramverket för Azure Databases innehåller recept för att kapsla in de arbetsbelastningsdefinitioner som skickas till det underliggande benchmarking-verktyget för en "1-klick"-upplevelse. Arbetsbelastningsdefinitionerna utformades baserat på metodtips som publicerats av Azure Cosmos DB-teamet och benchmarkingverktygets team. Recepten har testats och verifierats för konsekventa resultat.

Du kan förvänta dig att se följande svarstider för alla läs- och skrivrecept på GitHub-lagringsplatsen.

Lässvarstid
Skrivsvarstid

Vanliga problem

Det här avsnittet innehåller vanliga fel som kan uppstå när du kör benchmarking-verktyget. Felloggarna för verktyget är vanligtvis tillgängliga i en container i Azure Storage-kontot.

Skärmbild av container och blobar i ett lagringskonto.

Om loggarna inte är tillgängliga i lagringskontot orsakas det här problemet vanligtvis av en felaktig eller saknad lagringsanslutningssträng. I det här fallet visas det här felet i filen agent.out i mappen /home/benchmarking på den virtuella klientdatorn.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Det här felet visas i filen agent.out både på den virtuella klientdatorn och lagringskontot om Azure Cosmos DB-slutpunkts-URI:n är felaktig eller inte kan nås.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Det här felet visas i filen agent.out både på den virtuella klientdatorn och lagringskontot om Azure Cosmos DB-nyckeln är felaktig.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Nästa steg

Läs mer om benchmarking-verktyget med Komma igång guide.

Inställningen	Värde
Databas-ID	`ycsb`
Databasdataflödestyp	Manuell
Databasdataflödesmängd	`400`
Container-ID	`usertable`
Partitionsnyckel	`/id`