Mierzenie wydajności usługi Azure Cosmos DB dla NoSQL za pomocą struktury testów porównawczych

Artykuł
03/25/2023

Istnieje więcej opcji, niż kiedykolwiek wcześniej, na typie bazy danych do użycia z obciążeniem danych. Jednym z kluczowych czynników do wyboru bazy danych jest wydajność bazy danych lub usługi, ale wydajność testów porównawczych może być kłopotliwa i podatna na błędy. Struktura testów porównawczych dla usługi Azure Databases upraszcza proces mierzenia wydajności za pomocą popularnych narzędzi do testów porównawczych typu open source z przepisami o niskim tarciu, które implementują typowe najlepsze rozwiązania. W usłudze Azure Cosmos DB for NoSQL platforma implementuje najlepsze rozwiązania dla zestawu JAVA SDK i używa narzędzia YCSB typu open source. W tym przewodniku użyjesz tej struktury testów porównawczych, aby zaimplementować obciążenie odczytu w celu zapoznania się z platformą.

Wymagania wstępne

Konto platformy Azure z aktywną subskrypcją. Utwórz bezpłatne konto.
Konto usługi Azure Cosmos DB for NoSQL. Utwórz interfejs API dla konta NoSQL.
- Pamiętaj, aby zanotować identyfikator URI punktu końcowego i klucz podstawowy dla konta. Interfejs API dla kluczy podstawowych NoSQL.
Konto usługi Azure Storage. Utwórz konto usługi Azure Storage.
- Pamiętaj, aby zanotować parametry połączenia dla konta magazynu. Parametry połączenia usługi Azure Storage w systemie Vies.
Druga pusta grupa zasobów. Utwórz grupę zasobów.
Interfejs azure Command-Line (CLI).

Tworzenie zasobów konta usługi Azure Cosmos DB

Najpierw należy utworzyć bazę danych i kontener w istniejącym interfejsie API dla konta NoSQL.

Witryna Azure Portal
Interfejs wiersza polecenia platformy Azure

Przejdź do istniejącego konta interfejsu API for NoSQL w Azure Portal.
W menu zasobów wybierz pozycję Data Explorer.
Na stronie Data Explorer wybierz opcję Nowy kontener na pasku poleceń.
W oknie dialogowym Nowy kontener utwórz nowy kontener z następującymi ustawieniami:

Ustawienie Wartość

Identyfikator bazy danych ycsb

Typ przepływności bazy danych Ręczne

Kwota przepływności bazy danych 400

Identyfikator kontenera usertable

Klucz partycji /id

Jeśli jeszcze tego nie zrobiono, zaloguj się do interfejsu az login wiersza polecenia platformy Azure przy użyciu polecenia .

Utwórz zmienne powłoki dla następujących wartości:

Nazwa istniejącego konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosAccountName.
Nazwa pierwszej grupy zasobów z zasobami o nazwie sourceResourceGroupName.
Nazwa drugiej pustej grupy zasobów o nazwie targetResourceGroupName.
Istniejący identyfikator URI punktu końcowego konta NoSQL dla usługi Azure Cosmos DB o nazwie cosmosEndpoint
Istniejący klucz podstawowy konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create Za pomocą polecenia utwórz nową bazę danych z następującymi ustawieniami:

Ustawienie Wartość

Identyfikator bazy danych ycsb

Typ przepływności bazy danych Ręczne

Kwota przepływności bazy danych 400
```
az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400
```

az cosmosdb sql container create Za pomocą polecenia utwórz nowy kontener z następującymi ustawieniami:

Ustawienie	Wartość
Identyfikator bazy danych	`ycsb`
Identyfikator kontenera	`usertable`
Klucz partycji	`/id`

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Wdrażanie platformy testów porównawczych na platformie Azure

Teraz użyjesz szablonu usługi Azure Resource Manager, aby wdrożyć strukturę testów porównawczych na platformie Azure z domyślnym przepisem na odczyt.

Witryna Azure Portal
Interfejs wiersza polecenia platformy Azure

Wdróż strukturę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager dostępnego pod tym linkiem.
Na stronie Wdrożenie niestandardowe następujące parametry
Wybierz pozycję Przejrzyj i utwórz , a następnie pozycję Utwórz , aby wdrożyć szablon.
Zaczekaj na zakończenie wdrażania.

Porada

Wdrożenie może potrwać od 5 do 10 minut.

Użyj polecenia az deployment group create , aby wdrożyć strukturę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Zaczekaj na zakończenie wdrażania.

Porada

Wdrożenie może potrwać od 5 do 10 minut.

Wyświetlanie wyników testu porównawczego

Teraz możesz użyć istniejącego konta usługi Azure Storage, aby sprawdzić stan zadania testu porównawczego i wyświetlić zagregowane wyniki. Stan jest przechowywany przy użyciu tabeli magazynu, a wyniki są agregowane do obiektu blob magazynu przy użyciu formatu CSV.

Witryna Azure Portal
Interfejs wiersza polecenia platformy Azure

Przejdź do istniejącego konta usługi Azure Storage w Azure Portal.
Przejdź do tabeli magazynu o nazwie ycsbbenchmarkingmetadata i znajdź jednostkę przy użyciu klucza ycsb_sqlpartycji .
Zwróć uwagę na JobStatus pole jednostki tabeli. Początkowo stan zadania to Started i zawiera znacznik czasu we JobStartTime właściwości, ale nie JobFinishTime właściwość .
Zaczekaj, aż zadanie ma stan Finished i zawiera znacznik czasu we JobFinishTime właściwości .

Porada

Ukończenie zadania może potrwać około 20–30 minut.
Przejdź do kontenera magazynu na tym samym koncie z prefiksem ycsbbenchmarking-*. Obserwuj dane wyjściowe i diagnostyczne obiekty blob dla narzędzia.
Otwórz aggregation.csv obiekt blob i obserwuj zawartość. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Wykonaj zapytanie dotyczące rekordu zadania w tabeli magazynu o nazwie ycsbbenchmarkingmetadata przy użyciu polecenia az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Obserwuj wyniki tego zapytania. Wyniki powinny zwracać pojedyncze zadanie z właściwościami JobStartTime, JobStatusi JobFinishTime . Początkowo stan zadania to Started i zawiera znacznik czasu we JobStartTime właściwości, ale nie JobFinishTime właściwość .

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

W razie potrzeby uruchom az storage entity query wiele razy, dopóki zadanie nie będzie mieć stanu Finished i zawiera znacznik czasu we JobFinishTime właściwości.
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Porada

Ukończenie zadania może potrwać około 20–30 minut.

Znajdź nazwę ostatnio zmodyfikowanego kontenera magazynu z prefiksem ycsbbenchmarking-* używanym az storage container list i zapytaniem JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Zapisz ciąg kontenera w zmiennej o nazwie storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Użyj polecenia [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), aby wykonać zapytanie dotyczące wyników zadania w obiekcie blob magazynu przechowywanym w wcześniej zlokalizowanym kontenerze.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Obserwuj wyniki tego zapytania. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Przepisy

Struktura testów porównawczych dla usługi Azure Databases zawiera przepisy na hermetyzowanie definicji obciążeń przekazywanych do bazowego narzędzia do porównywania porównawczego dla środowiska "1 kliknięcia". Definicje obciążeń zostały zaprojektowane na podstawie najlepszych rozwiązań opublikowanych przez zespół usługi Azure Cosmos DB i zespół narzędzia do testów porównawczych. Przepisy zostały przetestowane i zweryfikowane pod kątem spójnych wyników.

Możesz spodziewać się następujących opóźnień dla wszystkich przepisów odczytu i zapisu w repozytorium GitHub.

Opóźnienie odczytu
Opóźnienie zapisu

Typowe problemy

Ta sekcja zawiera typowe błędy, które mogą wystąpić podczas uruchamiania narzędzia do testów porównawczych. Dzienniki błędów narzędzia są zwykle dostępne w kontenerze na koncie usługi Azure Storage.

Zrzut ekranu przedstawiający kontener i obiekty blob na koncie magazynu.

Jeśli dzienniki nie są dostępne na koncie magazynu, ten problem jest zwykle spowodowany nieprawidłowymi lub brakującymi parametrami połączenia magazynu. W takim przypadku ten błąd jest wyświetlany w pliku agent.out w folderze /home/benchmarking maszyny wirtualnej klienta.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Ten błąd jest wyświetlany w pliku agent.out zarówno na maszynie wirtualnej klienta, jak i na koncie magazynu, jeśli identyfikator URI punktu końcowego usługi Azure Cosmos DB jest niepoprawny lub niedostępny.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Ten błąd jest wyświetlany w pliku agent.out zarówno na maszynie wirtualnej klienta, jak i na koncie magazynu, jeśli klucz usługi Azure Cosmos DB jest niepoprawny.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Następne kroki

Dowiedz się więcej o narzędziu do porównywania porównawczego za pomocą przewodnika Wprowadzenie.

Ustawienie	Wartość
Identyfikator bazy danych	`ycsb`
Typ przepływności bazy danych	Ręczne
Kwota przepływności bazy danych	`400`
Identyfikator kontenera	`usertable`
Klucz partycji	`/id`