Az Azure Cosmos DB for NoSQL teljesítményének mérése teljesítménymérési keretrendszerrel

Most minden eddiginél több lehetőség közül választhat az adatterheléshez használandó adatbázis típusával kapcsolatban. Az adatbázis kiválasztásának egyik fő tényezője az adatbázis vagy szolgáltatás teljesítménye, de a teljesítményértékelés nehézkes és hibalehetőséget jelenthet. Az Azure Databases teljesítménymérési keretrendszere leegyszerűsíti a teljesítmény mérésének folyamatát népszerű nyílt forráskódú teljesítményértékelési eszközökkel, alacsony súrlódású receptekkel, amelyek általános ajánlott eljárásokat vezetnek be. Az Azure Cosmos DB for NoSQL-ben a keretrendszer a Java SDK ajánlott eljárásait valósítja meg, és a nyílt forráskódú YCSB-eszközt használja. Ebben az útmutatóban ezt a teljesítményértékelési keretrendszert használja egy olvasási számítási feladat implementálásához, hogy megismerje a keretrendszert.

Előfeltételek

• Egy Azure-fiók, aktív előfizetéssel. Hozzon létre egy fiókot ingyenesen.
• Azure Cosmos DB for NoSQL-fiók. Hozzon létre egy API-t a NoSQL-fiókhoz.
  • Ügyeljen arra, hogy jegyezze fel a fiók végponti URI-jának és elsődleges kulcsának adatait.
• Egy Azure Storage-fiók. Hozzon létre egy Azure Storage-fiókot.
  • Jegyezze fel a tárfiókhoz tartozó kapcsolati sztringet. Azure Storage kapcsolati sztring megtekintése.
• Második üres erőforráscsoport. Hozzon létre egy erőforráscsoportot.
• Azure Command-Line Interface (CLI).

Azure Cosmos DB-fiókerőforrások létrehozása

Először hozzon létre egy adatbázist és egy tárolót a noSQL-fiókhoz tartozó meglévő API-ban.

Azure Portál

1. Navigáljon a meglévő NoSQL-fiókhoz tartozó API-hoz az Azure Portalon.

2. Az erőforrásmenüben válassza az Adatkezelő lehetőséget.

   

3. Az Adatkezelő lapon válassza az Új tároló lehetőséget a parancssávon.

   

4. Az Új tároló párbeszédpanelen hozzon létre egy új tárolót a következő beállításokkal:

   Setting	Érték
   Adatbázis azonosítója	ycsb
   Adatbázis átviteli sebességének típusa	Kézikönyv
   Adatbázis átviteli sebességének mennyisége	400
   Tároló azonosítója	usertable
   Partíciókulcs	/id

   

Azure CLI

1. Ha még nem tette meg, jelentkezzen be az Azure CLI-be a az login paranccsal.

2. Hozzon létre rendszerhéjváltozókat a következő értékekhez:

   • A meglévő Azure Cosmos DB for NoSQL-fiók neve cosmosAccountName.
   • Az első erőforráscsoport neve olyan erőforrásokkal, amelyek sourceResourceGroupName névvel vannak ellátva.
   • A második üres erőforráscsoport, amelynek neve targetResourceGroupName.
   • Létező Azure Cosmos DB NoSQL-fiókvégpont URI neve cosmosEndpoint
   • Az Azure Cosmos DB for NoSQL-fiók meglévő elsődleges kulcsa cosmosPrimaryKey néven van.

   # Variable for Azure Cosmos DB for NoSQL account name
   cosmosAccountName="<cosmos-db-nosql-account-name>"
   
   # Variable for resource group with Azure Cosmos DB and Azure Storage accounts
   sourceResourceGroupName="<first-resource-group-name>"
   
   # Variable for empty resource group
   targetResourceGroupName="<second-resource-group-name>"
   
   # Variable for API for NoSQL endpoint URI
   cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"
   
   # Variable for API for NoSQL primary key
   cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"
   
   # Variable for Azure Storage account name
   storageAccountName="<storage-account-name>"
   
   # Variable for storage account connection string
   storageConnectionString="<storage-connection-string>"
   

3. az cosmosdb sql database create A parancs használatával hozzon létre egy új adatbázist a következő beállításokkal:

   Setting	Érték
   Adatbázis azonosítója	ycsb
   Adatbázis átviteli sebességének típusa	Kézikönyv
   Adatbázis átviteli sebességének mennyisége	400

   az cosmosdb sql database create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --name "ycsb" \
       --throughput 400
   

4. az cosmosdb sql container create A parancs használatával hozzon létre egy új tárolót a következő beállításokkal:

   Setting	Érték
   Adatbázis azonosítója	ycsb
   Tároló azonosítója	usertable
   Partíciókulcs	/id

   az cosmosdb sql container create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --database-name "ycsb" \
       --name "usertable" \
       --partition-key-path "/id"
   

Teljesítményértékelési keretrendszer üzembe helyezése az Azure-ban

Most egy Azure Resource Manager-sablonnal üzembe helyezheti a teljesítményértékelési keretrendszert az Azure-ban az alapértelmezett olvasási recepttel.

Azure Portál

1. A teljesítményértékelési keretrendszer üzembe helyezése a hivatkozáson elérhető Azure Resource Manager-sablonnal.

   

2. Az Egyéni üzembe helyezés lapon az alábbi paraméterek

   

3. A sablon üzembe helyezéséhez válassza a Véleményezés + létrehozás , majd a Létrehozás lehetőséget.

4. Várjon, amíg az üzembe helyezés befejeződik.

   Jótanács

   Az üzembe helyezés 5–10 percet is igénybe vehet.

Azure CLI

1. A az deployment group create teljesítményteszt-keretrendszer üzembe helyezéséhez használjon Azure Resource Manager-sablont.

   # Variable for raw template JSON on GitHub
   templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"
   
   az deployment group create \
       --resource-group $targetResourceGroupName \
       --name "benchmarking-framework" \
       --template-uri $templateUri \
       --parameters \
           adminPassword='P@ssw.rd' \
           resultsStorageConnectionString=$storageConnectionString \
           cosmosURI=$cosmosEndpoint \
           cosmosKey=$cosmosPrimaryKey
   

2. Várjon, amíg az üzembe helyezés befejeződik.

   Jótanács

   Az üzembe helyezés 5–10 percet is igénybe vehet.

A teljesítményteszt eredményeinek megtekintése

Most a meglévő Azure Storage-fiókkal ellenőrizheti a teljesítményteszt-feladat állapotát, és megtekintheti az összesített eredményeket. Az állapot tárolása egy tárolótáblával történik, és az eredmények CSV formátumban összesítve lesznek egy tárolóblobban.

Azure Portál

1. Lépjen a meglévő Azure Storage-fiókjára az Azure Portalon.

2. Lépjen egy ycsbbenchmarkingmetadata nevű tárolótáblára, és keresse meg az entitást a következő partíciókulcsmal ycsb_sql: .

   

3. Figyelje meg a JobStatus táblaentitás mezőjét. Kezdetben a feladat állapota Started és az JobStartTime tulajdonság tartalmaz egy időbélyeget, de a JobFinishTime tulajdonság nem.

4. Várjon, amíg a feladat állapota Finished, és a JobFinishTime tulajdonság tartalmaz egy időbélyeget.

   Jótanács

   A feladat befejezése körülbelül 20-30 percet vehet igénybe.

5. Lépjen az ycsbbenchmarking-* előtaggal rendelkező tárolókonténerre ugyanabban a felhasználói fiókban. Figyelje meg az eszköz kimenetét és diagnosztikai blobokat.

   

6. Nyissa meg a aggregation.csv blobot, és figyelje meg a tartalmat. Most már rendelkeznie kell egy CSV-adatkészlettel az összes referencia-ügyfél összesített eredményeivel.

   

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Azure CLI

1. Lekérdezi a feladatrekordot egy ycsbbenchmarkingmetadata nevű tárolótáblában a az storage entity query segítségével.

   az storage entity query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --table-name ycsbbenchmarkingmetadata
   

2. Figyelje meg a lekérdezés eredményeit. Az eredménynek egyetlen feladatot kell visszaadnia JobStartTime tulajdonságokkal, JobStatus, és JobFinishTime. Kezdetben a feladat állapota az Started, és az JobStartTime tulajdonságban időbélyeget tartalmaz, azonban a JobFinishTime tulajdonságban nem.

   {
     "items": [
       {
         "JobFinishTime": "",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Started",
         "NoOfClientsCompleted": "0",
         "NoOfClientsStarted": {
           "edm_type": "Edm.Int64",
           "value": 1
         },
         "PartitionKey": "ycsb_sql",
         ...
       }
     ],
     ...
   }
   

3. Ha szükséges, futtassa a az storage entity query többször, amíg a feladat állapota Finished nem lesz, és a JobFinishTime tulajdonság tartalmazza az időbélyeget.

   {
     "items": [
       {
         "JobFinishTime": "2023-02-02T14:21:12Z",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Finished",
         ...
       }
     ],
     ...
   }
   

   Jótanács

   A feladat befejezése körülbelül 20-30 percet vehet igénybe.

4. Keresse elő a legutóbb módosított tárolóegységek nevét, amelyek a ycsbbenchmarking-* előtaggal rendelkeznek, a az storage container list és egy JMESPath-lekérdezés használatával.

   az storage container list \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
       --output tsv
   

5. Tárolja a tárolósztringet egy nevű storageConnectionStringváltozóban.

   storageContainerName=$( \
       az storage container list \
           --account-name $storageAccountName \
           --connection-string $storageConnectionString \
           --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
           --output tsv \
   )
   

6. A feladat lekérdezéséhez használja a [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) parancsot, amely egy olyan tárolóblobot eredményez, amely a korábban található tárolóban van tárolva.

   az storage blob query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --container-name $storageContainerName \
       --name aggregation.csv \
       --query-expression "SELECT * FROM BlobStorage"
   

7. Figyelje meg a lekérdezés eredményeit. Most már rendelkeznie kell egy CSV-adatkészlettel az összes referencia-ügyfél összesített eredményeivel.

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Receptek

Az Azure Databases teljesítményértékelési keretrendszere recepteket tartalmaz az alapul szolgáló teljesítménytesztelési eszköznek átadott számítási feladatok definícióinak beágyazására az "1 kattintásos" felhasználói élmény érdekében. A számítási feladatok definíciói az Azure Cosmos DB csapata és a teljesítményértékelési eszköz csapata által közzétett ajánlott eljárások alapján lettek kialakítva. A recepteket tesztelték és ellenőrizték a konzisztens eredmények érdekében.

A GitHub-adattárban található összes olvasási és írási recept esetében az alábbi késések várhatók.

• Olvasási késés

  

• Írási késés

  

Gyakori problémák

Ez a szakasz azokat a gyakori hibákat tartalmazza, amelyek a teljesítményértékelési eszköz futtatásakor fordulhatnak elő. Az eszköz hibanaplói általában az Azure Storage-fiókban lévő tárolóban érhetők el.

• Ha a naplók nem érhetők el a tárfiókban, ezt a problémát általában egy helytelen vagy hiányzó tárkapcsolati sztring okozza. Ebben az esetben ez a hiba szerepel az ügynök.out fájlban az ügyfél virtuális gép /home/benchmarking mappájában.

  Error while accessing storage account, exiting from this machine in agent.out on the VM
  

• Ez a hiba az ügynök.out fájlban szerepel az ügyfél virtuális gépében és a tárfiókban is, ha az Azure Cosmos DB-végpont URI-ja helytelen vagy nem érhető el.

  Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
  

• Ez a hiba szerepel az ügynök.out fájlban az ügyfél virtuális gépében és a tárfiókban is, ha az Azure Cosmos DB-kulcs helytelen.

  The input authorization token can't serve the request. The wrong key is being used….
  

Következő lépések

• További információ a teljesítményértékelési eszközről az első lépések útmutatójával.