قياس Azure Cosmos DB لأداء NoSQL باستخدام إطار عمل قياس

مقالة
03/25/2023

هناك المزيد من الخيارات، الآن أكثر من أي وقت مضى، على نوع قاعدة البيانات لاستخدامها مع حمل عمل البيانات. أحد العوامل الرئيسية لاختيار قاعدة بيانات هو أداء قاعدة البيانات أو الخدمة، ولكن يمكن أن يكون قياس الأداء مرهقا وعرضة للخطأ. يبسط إطار عمل المعايير لقواعد بيانات Azure عملية قياس الأداء باستخدام أدوات قياس الأداء مفتوحة المصدر الشائعة مع وصفات منخفضة الاحتكاك تنفذ أفضل الممارسات الشائعة. في Azure Cosmos DB ل NoSQL، ينفذ إطار العمل أفضل الممارسات ل Java SDK ويستخدم أداة YCSB مفتوحة المصدر. في هذا الدليل، يمكنك استخدام إطار عمل قياس الأداء هذا لتنفيذ حمل عمل للقراءة للتعرف على إطار العمل.

المتطلبات الأساسية

حساب Azure باشتراك نشط. إنشاء حساب مجاناً.
Azure Cosmos DB لحساب NoSQL. إنشاء واجهة برمجة تطبيقات لحساب NoSQL.
- تأكد من ملاحظة URI لنقطة النهاية والمفتاح الأساسي للحساب. واجهة برمجة التطبيقات لمفاتيح NoSQL الأساسية.
حساب Azure Storage. إنشاء حساب Azure Storage.
- تأكد من ملاحظة سلسلة الاتصال لحساب التخزين. سلسلة اتصال Vies Azure Storage.
مجموعة الموارد الفارغة الثانية. قم بإنشاء مجموعة موارد.
واجهة Command-Line Azure (CLI).

إنشاء موارد حساب Azure Cosmos DB

أولا، يمكنك إنشاء قاعدة بيانات وحاوية في واجهة برمجة التطبيقات الموجودة لحساب NoSQL.

⁧⁩مدخل Microsoft Azure⁧⁩
Azure CLI

انتقل إلى واجهة برمجة التطبيقات الموجودة لحساب NoSQL في مدخل Microsoft Azure.
في قائمة الموارد، حدد Data Explorer.
في صفحة Data Explorer ، حدد الخيار New Container في شريط الأوامر.

في مربع الحوار حاوية جديدة ، قم بإنشاء حاوية جديدة بالإعدادات التالية:

إعداد	القيمة
مُعرِّف قاعدة البيانات	`ycsb`
نوع معدل نقل قاعدة البيانات	⁧⁩دليل⁧⁩
مقدار معدل نقل قاعدة البيانات	`400`
معرف الحاوية	`usertable`
⁧⁩مفتاح التقسيم⁧⁩	`/id`

لقطة شاشة لمربع حوار New Container في صفحة Data Explorer.

إذا لم تكن قد قمت بتسجيل الدخول بالفعل، فسجل الدخول إلى Azure واجهة مستوى الاستدعاء باستخدام الأمر az login.

إنشاء متغيرات shell للقيم التالية:

اسم Azure Cosmos DB الحالي لحساب NoSQL المسمى cosmosAccountName.
اسم مجموعة الموارد الأولى مع الموارد المسماة sourceResourceGroupName.
اسم مجموعة الموارد الفارغة الثانية المسماة targetResourceGroupName.
URI لنقطة نهاية حساب Azure Cosmos DB ل NoSQL باسم cosmosEndpoint
المفتاح الأساسي لحساب Azure Cosmos DB الحالي ل NoSQL المسمى cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create باستخدام الأمر ، قم بإنشاء قاعدة بيانات جديدة بالإعدادات التالية:

إعداد	القيمة
مُعرِّف قاعدة البيانات	`ycsb`
نوع معدل نقل قاعدة البيانات	⁧⁩دليل⁧⁩
مقدار معدل نقل قاعدة البيانات	`400`

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create باستخدام الأمر ، قم بإنشاء حاوية جديدة بالإعدادات التالية:

إعداد القيمة

مُعرِّف قاعدة البيانات ycsb

معرف الحاوية usertable

⁧⁩مفتاح التقسيم⁧⁩ /id
```
az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"
```

توزيع إطار عمل قياس الأداء إلى Azure

الآن، يمكنك استخدام قالب Azure Resource Manager لتوزيع إطار عمل قياس الأداء إلى Azure مع وصفة القراءة الافتراضية.

⁧⁩مدخل Microsoft Azure⁧⁩
Azure CLI

انشر إطار عمل قياس الأداء باستخدام قالب Azure Resource Manager المتوفر في هذا الارتباط.
في صفحة النشر المخصص، المعلمات التالية
حدد Review + create ثم Create لنشر القالب.
انتظر حتى يكتمل النشر.

تلميح

قد يستغرق النشر من 5 إلى 10 دقائق لإكماله.

استخدم az deployment group create لتوزيع إطار عمل قياس الأداء باستخدام قالب Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

انتظر حتى يكتمل النشر.

تلميح

قد يستغرق النشر من 5 إلى 10 دقائق لإكماله.

عرض نتائج المعيار

الآن، يمكنك استخدام حساب Azure Storage الحالي للتحقق من حالة مهمة المعيار وعرض النتائج المجمعة. يتم تخزين الحالة باستخدام جدول تخزين ويتم تجميع النتائج في كائن ثنائي كبير الحجم للتخزين باستخدام تنسيق CSV.

⁧⁩مدخل Microsoft Azure⁧⁩
Azure CLI

انتقل إلى حساب Azure Storage الموجود في مدخل Microsoft Azure.
انتقل إلى جدول تخزين يسمى ycsbbenchmarkingmetadata وحدد موقع الكيان باستخدام مفتاح قسم ل ycsb_sql.
JobStatus لاحظ حقل كيان الجدول. في البداية، تكون حالة الوظيفة وتتضمن Started طابعا زمنيا في الخاصية JobStartTime ولكن ليس الخاصية JobFinishTime .
انتظر حتى يكون للوظيفة حالة Finished وتتضمن طابعا زمنيا في الخاصية JobFinishTime .

تلميح

قد يستغرق الأمر حوالي 20-30 دقيقة حتى تنتهي المهمة.
انتقل إلى حاوية التخزين في نفس الحساب ببادئة ycsbbenchmarking-*. لاحظ الكائنات الثنائية كبيرة الحجم الناتجة والتشخيصية للأداة.
افتح الكائن الثنائي كبير الحجمaggregation.csv ولاحظ المحتوى. يجب أن يكون لديك الآن مجموعة بيانات CSV مع نتائج مجمعة من جميع العملاء القياسيين.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

الاستعلام عن سجل المهمة في جدول تخزين يسمى ycsbbenchmarkingmetadata باستخدام az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

لاحظ نتائج هذا الاستعلام. يجب أن ترجع النتائج مهمة واحدة بخصائص JobStartTimeو JobStatusو JobFinishTime . في البداية، تكون حالة الوظيفة وتتضمن Started طابعا زمنيا في الخاصية JobStartTime ولكن ليس الخاصية JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}
```
إذا لزم الأمر، قم بتشغيل az storage entity query عدة مرات حتى يكون للوظيفة حالة Finished وتتضمن طابعا زمنيا في الخاصية JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
تلميح

قد يستغرق انتهاء المهمة ما يقرب من 20-30 دقيقة.

ابحث عن اسم أحدث حاوية تخزين معدلة ببادئة ycsbbenchmarking-* استخدام az storage container listواستعلام JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

تخزين سلسلة الحاوية في متغير يسمى storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

استخدم [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) للاستعلام عن نتائج المهمة في كائن ثنائي كبير الحجم للتخزين مخزن في الحاوية الموجودة مسبقا.
```
az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"
```
لاحظ نتائج هذا الاستعلام. يجب أن يكون لديك الآن مجموعة بيانات CSV مع نتائج مجمعة من جميع العملاء القياسيين.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

الوصفات

يتضمن إطار عمل المعايير لقواعد بيانات Azure وصفات لتغليف تعريفات حمل العمل التي يتم تمريرها إلى أداة القياس الأساسية لتجربة "1-Click". تم تصميم تعريفات حمل العمل بناء على أفضل الممارسات التي نشرها فريق Azure Cosmos DB وفريق أداة القياس. تم اختبار الوصفات والتحقق من صحتها للحصول على نتائج متسقة.

يمكنك أن تتوقع رؤية زمن الانتقال التالي لجميع وصفات القراءة والكتابة في مستودع GitHub.

زمن انتقال القراءة
زمن انتقال الكتابة

مشكلات عامة

يتضمن هذا القسم الأخطاء الشائعة التي قد تحدث عند تشغيل أداة القياس. عادة ما تتوفر سجلات الخطأ للأداة في حاوية داخل حساب Azure Storage.

لقطة شاشة للحاوية والكائنات الثنائية كبيرة الحجم في حساب تخزين.

إذا لم تكن السجلات متوفرة في حساب التخزين، فإن هذه المشكلة تحدث عادة بسبب سلسلة اتصال تخزين غير صحيحة أو مفقودة. في هذه الحالة، يتم سرد هذا الخطأ في ملف agent.out داخل المجلد /home/benchmarking للجهاز الظاهري للعميل.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
يتم سرد هذا الخطأ في ملف agent.out في كل من الجهاز الظاهري للعميل وحساب التخزين إذا كان عنوان URI لنقطة نهاية Azure Cosmos DB غير صحيح أو لا يمكن الوصول إليه.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
يتم سرد هذا الخطأ في ملف agent.out في كل من الجهاز الظاهري للعميل وحساب التخزين إذا كان مفتاح Azure Cosmos DB غير صحيح.
```
The input authorization token can't serve the request. The wrong key is being used….
```

الخطوات التالية

تعرف على المزيد حول أداة قياس الأداء باستخدام دليل البدء.

مشاركة عبر