Mierzenie wydajności usługi Azure Cosmos DB for NoSQL za pomocą struktury testów porównawczych

Istnieje więcej opcji, niż kiedykolwiek wcześniej, na typie bazy danych do użycia z obciążeniem danych. Jednym z kluczowych czynników do wybierania bazy danych jest wydajność bazy danych lub usługi, ale wydajność testów porównawczych może być uciążliwa i podatna na błędy. Struktura testów porównawczych dla baz danych platformy Azure upraszcza proces mierzenia wydajności za pomocą popularnych narzędzi do testów porównawczych typu open source z przepisami o niskim tarciu, które implementują typowe najlepsze rozwiązania. W usłudze Azure Cosmos DB for NoSQL platforma implementuje najlepsze rozwiązania dla zestawu JAVA SDK i używa narzędzia YCSB typu open source. W tym przewodniku użyjesz tej struktury testów porównawczych, aby zaimplementować obciążenie odczytu w celu zapoznania się ze strukturą.

Wymagania wstępne

• Konto platformy Azure z aktywną subskrypcją. Utwórz konto bezpłatnie.
• Konto usługi Azure Cosmos DB for NoSQL. Utwórz interfejs API dla konta NoSQL.
  • Pamiętaj, aby zanotować identyfikator URI punktu końcowego i klucz podstawowy dla konta.
• Konto usługi Azure Storage. Utwórz konto usługi Azure Storage.
  • Pamiętaj, aby zanotować parametry połączenia dla konta magazynu. Vies Azure Storage parametry połączenia.
• Druga pusta grupa zasobów. Utwórz grupę zasobów.
• Interfejs wiersza polecenia (CLI) platformy Azure.

Tworzenie zasobów konta usługi Azure Cosmos DB

Najpierw należy utworzyć bazę danych i kontener w istniejącym interfejsie API dla konta NoSQL.

Witryna Azure Portal

1. Przejdź do istniejącego konta interfejsu API dla noSQL w witrynie Azure Portal.

2. W menu zasobów wybierz pozycję Eksplorator danych.

   

3. Na stronie Eksplorator danych wybierz opcję Nowy kontener na pasku poleceń.

   

4. W oknie dialogowym Nowy kontener utwórz nowy kontener z następującymi ustawieniami:

   Ustawienie	Wartość
   Identyfikator bazy danych	ycsb
   Typ przepływności bazy danych	Ręczne
   Ilość przepływności bazy danych	400
   Identyfikator kontenera	usertable
   Klucz partycji	/id

   

Interfejs wiersza polecenia platformy Azure

1. Jeśli jeszcze tego nie zrobiono, zaloguj się do interfejsu az login wiersza polecenia platformy Azure przy użyciu polecenia .

2. Utwórz zmienne powłoki dla następujących wartości:

   • Nazwa istniejącego konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosAccountName.
   • Nazwa pierwszej grupy zasobów z zasobami o nazwie sourceResourceGroupName.
   • Nazwa drugiej pustej grupy zasobów o nazwie targetResourceGroupName.
   • Istniejący identyfikator URI punktu końcowego konta noSQL dla usługi Azure Cosmos DB o nazwie cosmosEndpoint
   • Istniejący klucz podstawowy konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosPrimaryKey

   # Variable for Azure Cosmos DB for NoSQL account name
   cosmosAccountName="<cosmos-db-nosql-account-name>"
   
   # Variable for resource group with Azure Cosmos DB and Azure Storage accounts
   sourceResourceGroupName="<first-resource-group-name>"
   
   # Variable for empty resource group
   targetResourceGroupName="<second-resource-group-name>"
   
   # Variable for API for NoSQL endpoint URI
   cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"
   
   # Variable for API for NoSQL primary key
   cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"
   
   # Variable for Azure Storage account name
   storageAccountName="<storage-account-name>"
   
   # Variable for storage account connection string
   storageConnectionString="<storage-connection-string>"
   

3. az cosmosdb sql database create Za pomocą polecenia utwórz nową bazę danych z następującymi ustawieniami:

   Ustawienie	Wartość
   Identyfikator bazy danych	ycsb
   Typ przepływności bazy danych	Ręczne
   Ilość przepływności bazy danych	400

   az cosmosdb sql database create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --name "ycsb" \
       --throughput 400
   

4. az cosmosdb sql container create Za pomocą polecenia utwórz nowy kontener z następującymi ustawieniami:

   Ustawienie	Wartość
   Identyfikator bazy danych	ycsb
   Identyfikator kontenera	usertable
   Klucz partycji	/id

   az cosmosdb sql container create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --database-name "ycsb" \
       --name "usertable" \
       --partition-key-path "/id"
   

Wdrażanie platformy testów porównawczych na platformie Azure

Teraz użyjesz szablonu usługi Azure Resource Manager, aby wdrożyć platformę testów porównawczych na platformie Azure przy użyciu domyślnego przepisu odczytu.

Witryna Azure Portal

1. Wdróż platformę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager dostępnego pod tym linkiem.

   

2. Na stronie Wdrożenie niestandardowe następujące parametry

   

3. Wybierz pozycję Przejrzyj i utwórz , a następnie pozycję Utwórz , aby wdrożyć szablon.

4. Zaczekaj na zakończenie wdrażania.

   Napiwek

   Ukończenie wdrożenia może potrwać od 5 do 10 minut.

Interfejs wiersza polecenia platformy Azure

1. Użyj az deployment group create polecenia , aby wdrożyć strukturę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager.

   # Variable for raw template JSON on GitHub
   templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"
   
   az deployment group create \
       --resource-group $targetResourceGroupName \
       --name "benchmarking-framework" \
       --template-uri $templateUri \
       --parameters \
           adminPassword='P@ssw.rd' \
           resultsStorageConnectionString=$storageConnectionString \
           cosmosURI=$cosmosEndpoint \
           cosmosKey=$cosmosPrimaryKey
   

2. Zaczekaj na zakończenie wdrażania.

   Napiwek

   Ukończenie wdrożenia może potrwać od 5 do 10 minut.

Wyświetlanie wyników testu porównawczego

Teraz możesz użyć istniejącego konta usługi Azure Storage, aby sprawdzić stan zadania testu porównawczego i wyświetlić zagregowane wyniki. Stan jest przechowywany przy użyciu tabeli magazynu, a wyniki są agregowane w obiekt blob magazynu przy użyciu formatu CSV.

Witryna Azure Portal

1. Przejdź do istniejącego konta usługi Azure Storage w witrynie Azure Portal.

2. Przejdź do tabeli magazynu o nazwie ycsbbenchmarkingmetadata i znajdź jednostkę przy użyciu klucza ycsb_sqlpartycji .

   

3. Zwróć uwagę na JobStatus pole jednostki tabeli. Początkowo stan zadania to Started i zawiera znacznik czasu we JobStartTime właściwości, ale nie JobFinishTime właściwość .

4. Poczekaj, aż zadanie ma stan Finished i zawiera znacznik czasu we JobFinishTime właściwości .

   Napiwek

   Ukończenie zadania może potrwać około 20–30 minut.

5. Przejdź do kontenera magazynu na tym samym koncie z prefiksem ycsbbenchmarking-*. Obserwuj dane wyjściowe i diagnostyczne obiekty blob dla narzędzia.

   

6. Otwórz obiekt blob aggregation.csv i obserwuj zawartość. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.

   

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Interfejs wiersza polecenia platformy Azure

1. Wykonaj zapytanie dotyczące rekordu zadania w tabeli magazynu o nazwie ycsbbenchmarkingmetadata przy użyciu polecenia az storage entity query.

   az storage entity query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --table-name ycsbbenchmarkingmetadata
   

2. Obserwuj wyniki tego zapytania. Wyniki powinny zwracać jedno zadanie z właściwościami JobStartTime, JobStatusi JobFinishTime . Początkowo stan zadania to Started i zawiera znacznik czasu we JobStartTime właściwości, ale nie JobFinishTime właściwość .

   {
     "items": [
       {
         "JobFinishTime": "",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Started",
         "NoOfClientsCompleted": "0",
         "NoOfClientsStarted": {
           "edm_type": "Edm.Int64",
           "value": 1
         },
         "PartitionKey": "ycsb_sql",
         ...
       }
     ],
     ...
   }
   

3. W razie potrzeby należy uruchomić az storage entity query wiele razy, dopóki zadanie nie ma stanu Finished i zawiera znacznik czasu we JobFinishTime właściwości .

   {
     "items": [
       {
         "JobFinishTime": "2023-02-02T14:21:12Z",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Finished",
         ...
       }
     ],
     ...
   }
   

   Napiwek

   Ukończenie zadania może potrwać około 20–30 minut.

4. Znajdź nazwę ostatnio zmodyfikowanego kontenera magazynu z prefiksem ycsbbenchmarking-* using az storage container list i zapytaniem JMESPath.

   az storage container list \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
       --output tsv
   

5. Zapisz ciąg kontenera w zmiennej o nazwie storageConnectionString.

   storageContainerName=$( \
       az storage container list \
           --account-name $storageAccountName \
           --connection-string $storageConnectionString \
           --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
           --output tsv \
   )
   

6. Użyj polecenia [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), aby wykonać zapytanie dotyczące wyników zadania w obiekcie blob magazynu przechowywanym w wcześniej zlokalizowanym kontenerze.

   az storage blob query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --container-name $storageContainerName \
       --name aggregation.csv \
       --query-expression "SELECT * FROM BlobStorage"
   

7. Obserwuj wyniki tego zapytania. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Przepisy

Struktura testów porównawczych dla baz danych platformy Azure zawiera przepisy hermetyzujące definicje obciążeń, które są przekazywane do bazowego narzędzia do porównywania porównawczego dla środowiska "1-Click". Definicje obciążeń zostały zaprojektowane na podstawie najlepszych rozwiązań opublikowanych przez zespół usługi Azure Cosmos DB i zespół narzędzia do testów porównawczych. Przepisy zostały przetestowane i sprawdzone pod kątem spójnych wyników.

Możesz spodziewać się następujących opóźnień dla wszystkich przepisów odczytu i zapisu w repozytorium GitHub.

• Opóźnienie odczytu

  

• Opóźnienie zapisu

  

Typowe problemy

Ta sekcja zawiera typowe błędy, które mogą wystąpić podczas uruchamiania narzędzia do testów porównawczych. Dzienniki błędów narzędzia są zwykle dostępne w kontenerze na koncie usługi Azure Storage.

• Jeśli dzienniki nie są dostępne na koncie magazynu, ten problem jest zwykle spowodowany nieprawidłowym lub brakującym magazynem parametry połączenia. W tym przypadku ten błąd jest wyświetlany w pliku agent.out w folderze /home/benchmarking maszyny wirtualnej klienta.

  Error while accessing storage account, exiting from this machine in agent.out on the VM
  

• Ten błąd znajduje się w pliku agent.out zarówno na maszynie wirtualnej klienta, jak i na koncie magazynu, jeśli identyfikator URI punktu końcowego usługi Azure Cosmos DB jest niepoprawny lub nie można go osiągać.

  Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
  

• Ten błąd znajduje się w pliku agent.out zarówno na maszynie wirtualnej klienta, jak i na koncie magazynu, jeśli klucz usługi Azure Cosmos DB jest niepoprawny.

  The input authorization token can't serve the request. The wrong key is being used….
  

Następne kroki

• Dowiedz się więcej o narzędziu do porównywania porównawczego, korzystając z przewodnika Wprowadzenie.