قياس Azure Cosmos DB لأداء NoSQL باستخدام إطار عمل قياس

مقالة
08/15/2024

هناك المزيد من الخيارات، الآن أكثر من أي وقت مضى، على نوع قاعدة البيانات لاستخدامها مع حمل عمل البيانات. أحد العوامل الرئيسية لاختيار قاعدة بيانات هو أداء قاعدة البيانات أو الخدمة، ولكن يمكن أن يكون أداء قياس الأداء مرهقا وعرضة للخطأ. يبسط إطار عمل قياس الأداء لقواعد بيانات Azure عملية قياس الأداء باستخدام أدوات قياس الأداء مفتوحة المصدر الشائعة مع وصفات منخفضة الاحتكاك تنفذ أفضل الممارسات الشائعة. في Azure Cosmos DB ل NoSQL، ينفذ إطار العمل أفضل الممارسات ل Java SDK ويستخدم أداة YCSB مفتوحة المصدر. في هذا الدليل، يمكنك استخدام إطار عمل القياس هذا لتنفيذ حمل عمل للقراءة للتعرف على إطار العمل.

المتطلبات الأساسية

حساب Azure مع اشتراك نشط. أنشئ حساباً مجاناً.
Azure Cosmos DB لحساب NoSQL. إنشاء واجهة برمجة تطبيقات لحساب NoSQL.
- تأكد من ملاحظة URI لنقطة النهاية والمفتاح الأساسي للحساب.
حساب في مساحة تخزين Azure. إنشاء حساب Azure Storage.
- تأكد من ملاحظة سلسلة الاتصال لحساب التخزين. Vies Azure Storage سلسلة الاتصال.
مجموعة الموارد الفارغة الثانية. إنشاء مجموعة موارد.
Azure Command-Line Interface (CLI).

إنشاء موارد حساب Azure Cosmos DB

أولا، يمكنك إنشاء قاعدة بيانات وحاوية في واجهة برمجة التطبيقات الموجودة لحساب NoSQL.

مدخل Microsoft Azure
Azure CLI

انتقل إلى واجهة برمجة التطبيقات الموجودة لحساب NoSQL في مدخل Microsoft Azure.
في قائمة الموارد، حدد Data Explorer.
في صفحة Data Explorer ، حدد الخيار New Container في شريط الأوامر.

في مربع الحوار حاوية جديدة، قم بإنشاء حاوية جديدة بالإعدادات التالية:

الإعداد	القيمة‬
مُعرِّف قاعدة البيانات	`ycsb`
نوع معدل نقل قاعدة البيانات	يدوي
مقدار معدل نقل قاعدة البيانات	`400`
معرف الحاوية	`usertable`
⁧ مفتاح التقسيم⁧	`/id`

لقطة شاشة لمربع حوار New Container في صفحة Data Explorer.

إذا لم تكن قد قمت بتسجيل الدخول بالفعل، فسجل الدخول إلى Azure CLI باستخدام الأمر az login.

إنشاء متغيرات shell للقيم التالية:

اسم Azure Cosmos DB الحالي لحساب NoSQL المسمى cosmosAccountName.
اسم مجموعة الموارد الأولى مع الموارد المسماة sourceResourceGroupName.
اسم مجموعة الموارد الفارغة الثانية المسماة targetResourceGroupName.
URI لنقطة نهاية حساب Azure Cosmos DB ل NoSQL باسم cosmosEndpoint
المفتاح الأساسي لحساب Azure Cosmos DB الحالي ل NoSQL المسمى cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create باستخدام الأمر ، قم بإنشاء قاعدة بيانات جديدة بالإعدادات التالية:

الإعداد	القيمة‬
مُعرِّف قاعدة البيانات	`ycsb`
نوع معدل نقل قاعدة البيانات	يدوي
مقدار معدل نقل قاعدة البيانات	`400`

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create باستخدام الأمر ، قم بإنشاء حاوية جديدة بالإعدادات التالية:

الإعداد القيمة‬

مُعرِّف قاعدة البيانات ycsb

معرف الحاوية usertable

⁧ مفتاح التقسيم⁧ /id
```
az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"
```

توزيع إطار عمل قياس الأداء إلى Azure

الآن، يمكنك استخدام قالب Azure Resource Manager لنشر إطار عمل القياس إلى Azure مع وصفة القراءة الافتراضية.

مدخل Microsoft Azure
Azure CLI

نشر إطار عمل قياس الأداء باستخدام قالب Azure Resource Manager المتوفر في هذا الارتباط.
في صفحة النشر المخصص، المعلمات التالية
حدد Review + create ثم Create لنشر القالب.
انتظر حتى يكتمل التوزيع.

تلميح

يمكن أن يستغرق النشر من 5 إلى 10 دقائق حتى يكتمل.

استخدم az deployment group create لنشر إطار عمل القياس باستخدام قالب Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

انتظر حتى يكتمل التوزيع.

تلميح

يمكن أن يستغرق النشر من 5 إلى 10 دقائق حتى يكتمل.

عرض نتائج المعيار

الآن، يمكنك استخدام حساب Azure Storage الحالي للتحقق من حالة المهمة القياسية وعرض النتائج المجمعة. يتم تخزين الحالة باستخدام جدول تخزين ويتم تجميع النتائج في كائن ثنائي كبير الحجم للتخزين باستخدام تنسيق CSV.

مدخل Microsoft Azure
Azure CLI

انتقل إلى حساب Azure Storage الموجود في مدخل Microsoft Azure.
انتقل إلى جدول تخزين يسمى ycsbbenchmarkingmetadata وحدد موقع الكيان الذي يحتوي على مفتاح قسم ل ycsb_sql.
JobStatus مراقبة حقل كيان الجدول. في البداية، تكون حالة المهمة Started وتتضمن طابعا زمنيا في الخاصية JobStartTime ولكن ليس الخاصية JobFinishTime .
انتظر حتى يكون للوظيفة حالة Finished وتتضمن طابعا زمنيا في الخاصية JobFinishTime .

تلميح

قد يستغرق انتهاء المهمة ما يقرب من 20-30 دقيقة.
انتقل إلى حاوية التخزين في نفس الحساب مع بادئة ycsbbenchmarking-*. لاحظ الكائنات الثنائية كبيرة الحجم الناتجة والتشخيصية للأداة.
افتح الكائن الثنائي كبير الحجم aggregation.csv ولاحظ المحتوى. يجب أن يكون لديك الآن مجموعة بيانات CSV مع نتائج مجمعة من جميع العملاء القياسيين.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

الاستعلام عن سجل المهمة في جدول تخزين يسمى ycsbbenchmarkingmetadata باستخدام az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

لاحظ نتائج هذا الاستعلام. يجب أن ترجع النتائج مهمة واحدة مع JobStartTimeخصائص JobStatusو و JobFinishTime . في البداية، تكون حالة المهمة Started وتتضمن طابعا زمنيا في الخاصية JobStartTime ولكن ليس الخاصية JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}
```
إذا لزم الأمر، قم بتشغيل az storage entity query عدة مرات حتى تكون الوظيفة بحالة Finished وتتضمن طابعا زمنيا في الخاصية JobFinishTime .
```
{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}
```
تلميح

قد يستغرق انتهاء المهمة ما يقرب من 20-30 دقيقة.

ابحث عن اسم حاوية التخزين المعدلة مؤخرا مع بادئة ycsbbenchmarking-* استخدام az storage container list واستعلام JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

تخزين سلسلة الحاوية في متغير يسمى storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

استخدم [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) للاستعلام عن نتائج المهمة في كائن ثنائي كبير الحجم للتخزين مخزن في الحاوية الموجودة مسبقا.
```
az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"
```
لاحظ نتائج هذا الاستعلام. يجب أن يكون لديك الآن مجموعة بيانات CSV مع نتائج مجمعة من جميع العملاء القياسيين.
```
Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867
```

الوصفات

يتضمن إطار عمل قياس الأداء لقواعد بيانات Azure وصفات لتغليف تعريفات حمل العمل التي يتم تمريرها إلى أداة قياس الأداء الأساسية لتجربة "1-Click". تم تصميم تعريفات حمل العمل بناء على أفضل الممارسات التي نشرها فريق Azure Cosmos DB وفريق أداة القياس. تم اختبار الوصفات والتحقق من صحتها للحصول على نتائج متسقة.

يمكنك أن تتوقع رؤية زمن الانتقال التالي لجميع وصفات القراءة والكتابة في مستودع GitHub.

زمن انتقال القراءة
زمن انتقال الكتابة

المشكلات الشائعة

يتضمن هذا القسم الأخطاء الشائعة التي قد تحدث عند تشغيل أداة القياس. عادة ما تتوفر سجلات الخطأ للأداة في حاوية داخل حساب Azure Storage.

لقطة شاشة للحاوية والكائنات الثنائية كبيرة الحجم في حساب تخزين.

إذا لم تكن السجلات متوفرة في حساب التخزين، فعادة ما تحدث هذه المشكلة بسبب سلسلة الاتصال تخزين غير صحيح أو مفقود. في هذه الحالة، يتم سرد هذا الخطأ في ملف agent.out داخل المجلد /home/benchmarking للجهاز الظاهري للعميل.
```
Error while accessing storage account, exiting from this machine in agent.out on the VM
```
يتم سرد هذا الخطأ في ملف agent.out في كل من الجهاز الظاهري للعميل وحساب التخزين إذا كان عنوان URI لنقطة نهاية Azure Cosmos DB غير صحيح أو لا يمكن الوصول إليه.
```
Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
```
يتم سرد هذا الخطأ في ملف agent.out في كل من الجهاز الظاهري للعميل وحساب التخزين إذا كان مفتاح Azure Cosmos DB غير صحيح.
```
The input authorization token can't serve the request. The wrong key is being used….
```

الخطوات التالية

تعرف على المزيد حول أداة قياس الأداء باستخدام دليل البدء.

مشاركة عبر