Измерение производительности Azure Cosmos DB для NoSQL с помощью платформы тестирования производительности

Статья
03/25/2023

В настоящее время существует больше возможностей выбора типа базы данных для использования с рабочей нагрузкой данных. Одним из ключевых факторов выбора базы данных является производительность базы данных или службы, но производительность производительности может быть громоздкой и подверженной ошибкам. Платформа тестирования производительности для баз данных Azure упрощает процесс измерения производительности с помощью популярных средств тестирования производительности с открытым кодом с низким уровнем трения, которые реализуют распространенные рекомендации. В Azure Cosmos DB для NoSQL платформа реализует рекомендации по пакету SDK для Java и использует средство YCSB с открытым кодом. В этом руководстве вы используете эту платформу тестирования производительности для реализации рабочей нагрузки чтения, чтобы ознакомиться с ней.

Предварительные требования

Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.
Учетная запись Azure Cosmos DB для NoSQL. Создайте учетную запись API для NoSQL.
- Обязательно запишите универсальный код ресурса (URI) конечной точки и первичный ключ для учетной записи. API для первичных ключей NoSQL.
Учетная запись хранения Azure. Создайте учетную запись хранения Azure.
- Обязательно запишите строку подключения для учетной записи хранения. Строка подключения службы хранилища Vies Azure.
Вторая пустая группа ресурсов. Создайте группу ресурсов.
Интерфейс Command-Line Azure (CLI).

Создание ресурсов учетной записи Azure Cosmos DB

Сначала создайте базу данных и контейнер в существующей учетной записи API для NoSQL.

Портал Azure
Azure CLI

Перейдите к существующей учетной записи API для NoSQL в портал Azure.
В меню ресурсов выберите Обозреватель данных.
На странице Data Explorer выберите параметр Создать контейнер на панели команд.

В диалоговом окне Новый контейнер создайте контейнер со следующими параметрами:

Параметр	Значение
Идентификатор базы данных	`ycsb`
Тип пропускной способности базы данных	Вручную
Пропускная способность базы данных	`400`
Идентификатор контейнера	`usertable`
Ключ раздела	`/id`

Снимок экрана: диалоговое окно создания контейнера на странице Data Explorer.

Если вы еще этого не сделали, войдите в Azure CLI с помощью команды az login.
Создайте переменные оболочки для следующих значений:
- Имя существующей учетной записи Azure Cosmos DB для NoSQL с именем cosmosAccountName.
- Имя первой группы ресурсов с ресурсами с именем sourceResourceGroupName.
- Имя второй пустой группы ресурсов с именем targetResourceGroupName.
- Существующий URI конечной точки учетной записи Azure Cosmos DB для NoSQL с именем cosmosEndpoint
- Существующий первичный ключ учетной записи Azure Cosmos DB для NoSQL с именем cosmosPrimaryKey
```
# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"
```

az cosmosdb sql database create С помощью команды создайте базу данных со следующими параметрами:

Параметр	Значение
Идентификатор базы данных	`ycsb`
Тип пропускной способности базы данных	Вручную
Пропускная способность базы данных	`400`

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create С помощью команды создайте контейнер со следующими параметрами:

Параметр Значение

Идентификатор базы данных ycsb

Идентификатор контейнера usertable

Ключ раздела /id
```
az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"
```

Развертывание платформы тестирования производительности в Azure

Теперь вы используете шаблон Azure Resource Manager для развертывания платформы тестирования производительности в Azure с помощью стандартного рецепта чтения.

Портал Azure
Azure CLI

Разверните платформу тестирования производительности с помощью шаблона Azure Resource Manager, доступного по этой ссылке.
На странице Пользовательское развертывание укажите следующие параметры.
Выберите Просмотр и создание , а затем Создать , чтобы развернуть шаблон.
Дождитесь завершения развертывания.

Совет

Развертывание может занять 5–10 минут.

Используйте для az deployment group create развертывания платформы тестирования производительности с помощью шаблона Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Дождитесь завершения развертывания.

Совет

Развертывание может занять 5–10 минут.

Просмотр результатов теста производительности

Теперь вы можете использовать существующую учетную запись хранения Azure для проверки состояния задания производительности и просмотра агрегированных результатов. Состояние сохраняется с помощью таблицы хранилища, а результаты агрегируются в большой двоичный объект хранилища в формате CSV.

Портал Azure
Azure CLI

Перейдите к существующей учетной записи хранения Azure в портал Azure.
Перейдите к таблице хранилища с именем ycsbbenchmarkingmetadata и найдите сущность с ключом секции ycsb_sql.
Обратите внимание на JobStatus поле сущности таблицы. Изначально задание находится Started в состоянии , и оно включает метку времени в свойстве JobStartTime , но не свойство JobFinishTime .
Подождите, пока задание будет иметь состояние Finished и не добавит метку времени в JobFinishTime свойство .

Совет

Для завершения задания может потребоваться около 20–30 минут.
Перейдите к контейнеру хранилища в той же учетной записи с префиксом ycsbbenchmarking-*. Просмотрите выходные и диагностические BLOB-объекты для средства.
Откройте большой двоичный объектaggregation.csv и просмотрите содержимое. Теперь у вас должен быть набор данных CSV с агрегированными результатами от всех клиентов теста производительности.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Запросите запись задания в таблице хранилища с именем ycsbbenchmarkingmetadata с помощью az storage entity query.
```
az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata
```
Просмотрите результаты этого запроса. Результаты должны возвращать одно задание со свойствами JobStartTime, JobStatusи JobFinishTime . Изначально задание находится Started в состоянии , и оно включает метку времени в свойстве JobStartTime , но не свойство JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}
```
При необходимости выполните несколько az storage entity query раз, пока задание не будет иметь состояние Finished и не включает метку времени в JobFinishTime свойство .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
Совет

Выполнение задания может занять примерно 20–30 минут.

Найдите имя последнего измененного контейнера хранилища с префиксом ycsbbenchmarking-* using az storage container list и запросом JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Сохраните строку контейнера в переменной с именем storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Используйте [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), чтобы запросить результаты задания в большом двоичном объекте хранилища, хранящемся в ранее расположенном контейнере.
```
az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"
```
Просмотрите результаты этого запроса. Теперь у вас должен быть набор данных CSV с агрегированными результатами всех клиентов теста производительности.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

Рецепты

Платформа тестирования производительности для баз данных Azure включает в себя рецепты для инкапсуляции определений рабочей нагрузки, которые передаются в базовое средство тестирования производительности для взаимодействия с 1 щелчком. Определения рабочих нагрузок были разработаны на основе рекомендаций, опубликованных командой Azure Cosmos DB и командой средства тестирования. Рецепты были протестированы и проверены на наличие согласованных результатов.

Вы можете ожидать следующие задержки для всех рецептов чтения и записи в репозитории GitHub.

Задержка чтения
Задержка записи

Распространенные проблемы

В этом разделе описаны распространенные ошибки, которые могут возникать при запуске средства тестирования производительности. Журналы ошибок для средства обычно доступны в контейнере в учетной записи хранения Azure.

Снимок экрана: контейнер и большие двоичные объекты в учетной записи хранения.

Если журналы недоступны в учетной записи хранения, эта проблема обычно вызвана неправильной или отсутствуют строки подключения к хранилищу. В этом случае эта ошибка указана в файле agent.out в папке /home/benchmarking клиентской виртуальной машины.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
Эта ошибка указана в файле agent.out как на клиентской виртуальной машине, так и в учетной записи хранения, если URI конечной точки Azure Cosmos DB является неправильным или недоступным.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
Эта ошибка отображается в файле agent.out как на клиентской виртуальной машине, так и в учетной записи хранения, если ключ Azure Cosmos DB неправильный.
```
The input authorization token can't serve the request. The wrong key is being used….
```

Дальнейшие действия

Дополнительные сведения о средстве тестирования производительности см. в руководстве по начало работы.