Messen der Leistung von Azure Cosmos DB for NoSQL mit einem Benchmarking-Framework

Artikel
03/25/2023

Sie haben heute mehr denn je die Wahl, welchen Datenbanktyp Sie für Ihren Datenworkload verwenden möchten. Einer der wichtigsten Faktoren bei der Auswahl einer Datenbank ist die Leistung der Datenbank oder des Dienstes. Ein Leistungsvergleich kann jedoch umständlich und fehleranfällig sein. Das Benchmarking-Framework für Azure-Datenbanken vereinfacht den Prozess des Leistungsvergleichs mit beliebten Open-Source-Benchmarking-Tools mit reibungsarmen Rezepten, die gängige bewährte Methoden implementieren. In Azure Cosmos DB for NoSQL implementiert das Framework bewährte Methoden für das Java SDK und verwendet das Open-Source-Tool YCSB. In diesem Leitfaden verwenden Sie dieses Benchmarking-Framework, um eine Leseworkload zu implementieren und sich mit dem Framework vertraut zu machen.

Voraussetzungen

Ein Azure-Konto mit einem aktiven Abonnement. Sie können kostenlos ein Konto erstellen.
Azure Cosmos DB for NoSQL-Konto. Erstellen eines „API für NoSQL“-Kontos.
- Notieren Sie sich den Endpunkt-URI und den Primärschlüssel für das Konto. API for NoSQL-Primärschlüssel.
Azure Storage-Konto. Erstellen Sie ein Azure Storage-Konto.
- Notieren Sie sich die Verbindungszeichenfolge für das Speicherkonto. Anzeigen der Azure Storage-Verbindungszeichenfolge.
Zweite leere Ressourcengruppe. Erstellen Sie eine Ressourcengruppe.
Azure-Befehlszeilenschnittstelle (CLI)

Azure Cosmos DB-Konto erstellen

Zunächst erstellen Sie eine Datenbank und einen Container im vorhandenen API for NoSQL-Konto.

Azure portal
Azure-Befehlszeilenschnittstelle

Navigieren Sie im Azure-Portal zu Ihrem vorhandenen API für NoSQL-Konto.
Wählen Sie im Ressourcenmenü Data Explorer aus.
Wählen Sie auf der Seite Daten-Explorer in der Befehlsleiste die Option Neuer Container aus.
Erstellen Sie im Dialogfeld Neuer Container einen neuen Container mit den folgenden Einstellungen:

Einstellung Wert

Datenbank-ID ycsb

Typ des Datenbankdurchsatzes Manuell

Menge des Datenbankdurchsatzes 400

Container-ID usertable

Partitionsschlüssel /id

Wenn Sie das noch nicht getan haben, melden Sie sich mithilfe des Befehls az login bei der Azure CLI an.

Erstellen Sie Shellvariablen für die folgenden Werte:

Name Ihres vorhandenen Azure Cosmos DB for NoSQL-Kontos mit dem Namen cosmosAccountName.
Name Ihrer ersten Ressourcengruppe mit Ressourcen mit dem Namen sourceResourceGroupName.
Name Ihrer zweiten leeren Ressourcengruppe mit dem Namen targetResourceGroupName.
Vorhandener Azure Cosmos DB for NoSQL-Kontoendpunkt-URI mit dem Namen cosmosEndpoint
Vorhandener Primärschlüssel des Azure Cosmos DB for NoSQL-Kontos mit dem Namen cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

Erstellen Sie mit dem az cosmosdb sql database create-Befehl eine neue Datenbank mit den folgenden Einstellungen:

Einstellung Wert

Datenbank-ID ycsb

Typ des Datenbankdurchsatzes Manuell

Menge des Datenbankdurchsatzes 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

Erstellen Sie mit dem az cosmosdb sql container create-Befehl einen neuen Container mit den folgenden Einstellungen:

Einstellung	Wert
Datenbank-ID	`ycsb`
Container-ID	`usertable`
Partitionsschlüssel	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Bereitstellen eines Benchmarking-Frameworks in Azure

Verwenden Sie jetzt eine Azure Resource Manager-Vorlage, um das Benchmarking-Framework mit dem Standardrezept für Lesevorgänge in Azure bereitzustellen.

Azure portal
Azure-Befehlszeilenschnittstelle

Stellen Sie das Benchmarking-Framework mithilfe einer Azure Resource Manager-Vorlage bereit, die unter dem folgenden Link verfügbar ist.
Passen Sie auf der Seite Benutzerdefinierte Bereitstellung die folgenden Parameter an:
Wählen Sie Überprüfen und erstellen und dann Erstellen aus, um die Vorlage bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist.

Tipp

Der Bereitstellungsvorgang kann 5 bis 10 Minuten dauern.

Verwenden Sie az deployment group create, um das Benchmarking-Framework mithilfe einer Azure Resource Manager-Vorlage bereitzustellen.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Warten Sie, bis die Bereitstellung abgeschlossen ist.

Tipp

Der Bereitstellungsvorgang kann 5 bis 10 Minuten dauern.

Ergebnisse des Vergleichstests ansehen

Sie können jetzt das vorhandene Azure Storage-Konto verwenden, um den Status des Vergleichstests zu überprüfen und sich die Gesamtergebnisse anzeigen lassen. Der Status wird mithilfe einer Speichertabelle gespeichert, und die Ergebnisse werden im CSV-Format zu einem Speicherblob aggregiert.

Azure portal
Azure-Befehlszeilenschnittstelle

Navigieren Sie im Azure-Portal zu Ihrem bestehenden Azure Storage-Konto.
Navigieren Sie zu einer Speichertabelle mit dem Namen ycsbbenchmarkingmetadata und suchen Sie die Entität mit dem Partitionsschlüssel ycsb_sql.
Sehen Sie sich das Feld JobStatus der Tabelleninstanz genauer an. Zunächst ist der Status des Auftrags Started und die Zeile enthält einen Zeitstempel bei der Eigenschaft JobStartTime, aber nicht bei der Eigenschaft JobFinishTime.
Warten Sie, bis der Auftrag den Status Finished hat und einen Zeitstempel bei der Eigenschaft JobFinishTime erhält.

Tipp

Es kann etwa 20 bis 30 Minuten dauern, bis der Auftrag abgeschlossen ist.
Navigieren Sie im gleichen Konto zum Speichercontainer mit dem Präfix ycsbbenchmarking-*. Sehen Sie sich die Ausgabe- und Diagnoseblobs für das Tool genauer an.
Öffnen Sie das Blob aggregation.csv und sehen Sie sich den Inhalt an. Sie sollten jetzt einen CSV-Datensatz mit aggregierten Ergebnissen von allen Benchmarkclients sehen.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Abfragen des Auftragsdatensatzes in einer Speichertabelle mit dem Namen ycsbbenchmarkingmetadata mit Hilfe von az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Sehen Sie sich die Ergebnisse dieser Abfrage an. Die Abfrage sollte einen einzelnen Auftrag mit den Eigenschaften JobStartTime, JobStatus, und JobFinishTime zurückgeben. Zunächst ist der Status des Auftrags Started und die Zeile enthält einen Zeitstempel bei der Eigenschaft JobStartTime, aber nicht bei der Eigenschaft JobFinishTime.
```
{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}
```
Führen Sie az storage entity query bei Bedarf mehrere Male aus, bis der Auftrag den Status Finished hat und bei Eigenschaft JobFinishTime ein Zeitstempel angezeigt wird.
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Tipp

Es kann etwa 20 bis 30 Minuten dauern, bis der Auftrag abgeschlossen ist.

Suchen Sie den Namen des zuletzt geänderten Speichercontainers mit dem Präfix ycsbbenchmarking-* mit Hilfe von az storage container list und einer JMESPath-Abfrage.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Speichern Sie die Containerzeichenfolge in einer Variablen mit dem Namen storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Verwenden Sie [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), um die Auftragsergebnisse eines Speicherblobs abzufragen, das im zuvor ausgewählten Container gespeichert ist.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Sehen Sie sich die Ergebnisse dieser Abfrage an. Sie sollten jetzt einen CSV-Datensatz mit aggregierten Ergebnissen von allen Benchmarkclients sehen.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Rezepte

Das Benchmarking-Framework für Azure-Datenbanken enthält Rezepte zum Kapseln der Workloaddefinitionen, die für eine „1-Klick“-Erfahrung an das zugrunde liegende Benchmarking-Tool übergeben werden. Die Workloaddefinitionen wurden basierend auf den bewährten Methoden entworfen, die vom Azure Cosmos DB-Team und dem Team des Benchmarking-Tools veröffentlicht wurden. Die Rezepte wurden getestet und ihre Ergebnisse auf Konsistenz überprüft.

Sie können erwarten, dass für alle Lese- und Schreibrezepte im GitHub-Repository die folgenden Wartezeiten angezeigt werden:

Wartezeit beim Lesen
Wartezeit beim Schreiben

Häufige Probleme

Dieser Abschnitt enthält die häufigsten Fehler, die beim Ausführen des Benchmarking-Tools auftreten können. Die Fehlerprotokolle für das Tool sind in der Regel in einem Container innerhalb des Azure Storage-Kontos verfügbar.

Screenshot: Container und Blobs in einem Speicherkonto.

Wenn die Protokolle nicht im Speicherkonto gespeichert sind, liegt die Ursache für dieses Problem in der Regel in einer falschen oder fehlenden Speicherverbindungszeichenfolge. Ist dies der Fall, wird dieser Fehler in der Datei agent.out im Ordner /home/benchmarking der Client-VM aufgeführt.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Wenn der Azure Cosmos DB-Endpunkt-URI falsch oder nicht erreichbar ist, wird dieser Fehler sowohl auf der Client-VM als auch im Speicherkonto in der Datei agent.out aufgeführt.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Wenn der Azure Cosmos DB-Schlüssel falsch ist, wird dieser Fehler sowohl auf der Client-VM als auch im Speicherkonto in der Datei agent.out aufgeführt.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Nächste Schritte

Weitere Informationen zum Benchmarking-Tool finden Sie im Leitfaden für Erste Schritte.

Einstellung	Wert
Datenbank-ID	`ycsb`
Typ des Datenbankdurchsatzes	Manuell
Menge des Datenbankdurchsatzes	`400`
Container-ID	`usertable`
Partitionsschlüssel	`/id`