مشاركة عبر

اختبار جودة التعرف على نموذج الكلام المخصص

  • مقالة

يمكنك فحص جودة التعرف على نموذج كلام مخصص في Speech Studio. يمكنك تشغيل الصوت الذي تم تحميله وتحديد ما إذا كانت نتيجة التعرف المقدمة صحيحة. بعد إنشاء اختبار بنجاح، يمكنك مشاهدة كيفية نسخ نموذج لمجموعة البيانات الصوتية، أو مقارنة النتائج من نموذجين جنبا إلى جنب.

يُعد اختبار النموذج جنبًا إلى جنب مفيدًا للتحقق من نموذج التعرف على الكلام الأفضل للتطبيق. للحصول على مقياس موضوعي للدقة، والذي يتطلب إدخال مجموعات بيانات النسخ، راجع اختبار النموذج كميًا.

هام

عند الاختبار، سيقوم النظام بكتابة الحديث. من المهم أن نضع في اعتبارنا هذا، حيث يختلف التسعير لكل عرض خدمة ومستوى اشتراك. راجع دائما أسعار خدمات Azure الذكاء الاصطناعي الرسمية للحصول على أحدث التفاصيل.

إنشاء اختبار

اتبع هذه الإرشادات لإنشاء الاختبار:

  1. سجّل الدخول إلـى Speech Studio.

  2. انتقل إلى Speech Studio>Custom speech وحدد اسم المشروع من القائمة.

  3. حدد Test models>Create new test.

  4. حدد Inspect quality (Audio-only data)>Next.

  5. اختر مجموعة بيانات صوتية تريد استخدامها للاختبار، ثم حدد Next. إذا لم تكن هناك أي مجموعات بيانات متوفرة، فألغِ الإعداد، ثم انتقل إلى قائمة مجموعات بيانات الكلاملتحميل مجموعات البيانات.

    لقطة شاشة لاختيار مربع حوار مجموعة بيانات

  6. اختر نموذجًا أو نموذجين لتقييم الدقة ومقارنتها.

  7. أدخل اسم الاختبار ووصفه، ثم حدد Next.

  8. قم بمراجعة الإعدادات، ثم حددحفظ وإغلاق.

لإنشاء اختبار، استخدم الأمر spx csr evaluation create. أنشئ عمليات الطلب وفقاً للتعليمات التالية:

  • تعيين المعلمة project إلى معرف المشروع الموجود. يوصى بهذه المعلمة بحيث يمكنك أيضا عرض الاختبار في Speech Studio. يمكنك تشغيل الأمر spx csr project list للحصول على المشاريع المتوفرة.
  • قم بتعيين المعلمة model1 المطلوبة إلى معرف نموذج تريد اختباره.
  • قم بتعيين المعلمة model2 المطلوبة إلى معرف نموذج آخر تريد اختباره. إذا كنت لا تريد مقارنة نموذجين، فاستخدم نفس النموذج لكل من model1 وmodel2.
  • قم بتعيين المعلمة dataset المطلوبة إلى معرف مجموعة البيانات التي تريد استخدامها للاختبار.
  • قم بتعيين المعلمة language ، وإلا فإن Speech CLI يعين "en-US" بشكل افتراضي. يجب أن تكون هذه المعلمة هي الإعدادات المحلية لمحتويات مجموعة البيانات. لا يمكن تغيير الإعدادات المحلية لاحقًا. المعلمة Speech CLIlanguageمتوافقة مع الخاصيةlocaleفي طلب JSON والاستجابة.
  • يوصى بتعيين المعلمة name المطلوبة. هذه المعلمة هي الاسم الذي يتم عرضه في Speech Studio. المعلمة Speech CLInameمتوافقة مع الخاصيةdisplayNameفي طلب JSON والاستجابة.

فيما يلي مثال على أمر Speech CLI الذي ينشئ اختبارًا:

spx csr evaluation create --api-version v3.1 --project 9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226 --dataset be378d9d-a9d7-4d4a-820a-e0432e8678c7 --model1 ff43e922-e3e6-4bf0-8473-55c08fd68048 --model2 1aae1070-7972-47e9-a977-87e3b05c457d --name "My Inspection" --description "My Inspection Description"

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

خاصية المستوى الأعلى self في نص الاستجابة هي URI للتقييم. استخدم URI هذا للحصول على تفاصيل حول المشروع ونتائج الاختبار. يمكنك أيضًا استخدام URI هذا لتحديث التقييم أو حذفه.

للحصول على تعليمات Speech CLI في التقييمات، قم بتشغيل الأمر التالي:

spx help csr evaluation

لإنشاء اختبار، استخدم عملية Evaluations_Create من Speech to text REST API. إنشاء نص الطلب وفقًا للإرشادات التالية:

  • تعيين الخاصية project إلى URI لمشروع موجود. يوصى بهذه الخاصية بحيث يمكنك أيضا عرض الاختبار في Speech Studio. يمكنك تقديم طلب Projects_List للحصول على المشاريع المتوفرة.
  • قم بتعيين الخاصية model1 المطلوبة إلى URI لنموذج تريد اختباره.
  • قم بتعيين الخاصية model2 المطلوبة إلى URI لنموذج آخر تريد اختباره. إذا كنت لا تريد مقارنة نموذجين، فاستخدم نفس النموذج لكل من model1 وmodel2.
  • قم بتعيين الخاصية dataset المطلوبة إلى URI لمجموعة بيانات تريد استخدامها للاختبار.
  • عيّن الخاصية locale المطلوبة. يجب أن تكون هذه الخاصية هي الإعدادات المحلية لمحتويات مجموعة البيانات. لا يمكن تغيير الإعدادات المحلية لاحقًا.
  • عيّن الخاصية displayName المطلوبة. هذه الخاصية هي الاسم الذي يتم عرضه في Speech Studio.

قدم طلب HTTP POST باستخدام URI كما هو موضح في المثال التالي. استبدل YourSubscriptionKey بمفتاح مورد الكلام لديك، واستبدل YourServiceRegion بمنطقة مورد الكلام، وعيّن خصائص نص الطلب كما هو موضح سابقاً.

curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "displayName": "My Inspection",
  "description": "My Inspection Description",
  "locale": "en-US"
}'  "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations"

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

خاصية المستوى الأعلى self في نص الاستجابة هي URI للتقييم. استخدم URI هذا للحصول على تفاصيل حول مشروع التقييم ونتائج الاختبار. يمكنك أيضًا استخدام URI هذا لتحديث التقييم أو حذفه.

الحصول على نتائج الاختبار

يجب الحصول على نتائج الاختبار وفحص مجموعات البيانات الصوتية مقارنة بنتائج النسخ لكل نموذج.

اتبع هذه الخطوات للحصول على نتائج الاختبار:

  1. سجّل الدخول إلـى Speech Studio.
  2. حدد Custom speech> Your project name >Test models.
  3. حدد الارتباط حسب اسم الاختبار.
  4. بعد اكتمال الاختبار، كما هو موضح في تعيين الحالة إلى Succeeded، يجب أن تشاهد النتائج التي تتضمن رقم WER لكل نموذج تم اختباره.

تسرد هذه الصفحة جميع التعبيرات في مجموعة البيانات ونتائج التعرف، إلى جانب كتابة الحديث من مجموعة البيانات المرسلة. يمكنك التبديل بين أنواع الأخطاء المختلفة، بما في ذلك الإدراج والحذف والاستبدال. من خلال الاستماع إلى الصوت ومقارنة نتائج التعرف في كل عمود، يمكنك تحديد النموذج الذي يلبي احتياجاتك وتحديد مكان الحاجة إلى المزيد من التدريب والتحسينات.

للحصول على نتائج الاختبار، استخدم الأمر spx csr evaluation status. أنشئ عمليات الطلب وفقاً للتعليمات التالية:

  • قم بتعيين المعلمة evaluation المطلوبة إلى معرف التقييم الذي تريد الحصول على نتائج الاختبار.

فيما يلي مثال على أمر Speech CLI الذي يحصل على نتائج الاختبار:

spx csr evaluation status --api-version v3.1 --evaluation 8bfe6b05-f093-4ab4-be7d-180374b751ca

يتم إرجاع النماذج ومجموعة البيانات الصوتية والنسخ والمزيد من التفاصيل في نص الاستجابة.

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

للحصول على تعليمات Speech CLI في التقييمات، قم بتشغيل الأمر التالي:

spx help csr evaluation

للحصول على نتائج الاختبار، ابدأ باستخدام عملية Evaluations_Get من Speech to text REST API.

قم بإجراء طلب HTTP GET باستخدام URI كما هو موضح في المثال التالي. استبدل YourEvaluationId بمعرف التقييم الخاص بك، واستبدل YourSubscriptionKey بمفتاح مورد الكلام، واستبدل YourServiceRegion بمنطقة مورد Speech.

curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"

يتم إرجاع النماذج ومجموعة البيانات الصوتية والنسخ والمزيد من التفاصيل في نص الاستجابة.

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

مقارنة النسخ بالصوت

يمكنك فحص إخراج النسخ بواسطة كل نموذج تم اختباره، مقابل مجموعة بيانات إدخال الصوت. إذا قمت بتضمين نموذجين في الاختبار، فإنه يمكنك مقارنة جودة النسخ جنبًا إلى جنب.

لمراجعة جودة النسخ المكتوبة:

  1. سجّل الدخول إلـى Speech Studio.
  2. حدد Custom speech> Your project name >Test models.
  3. حدد الارتباط حسب اسم الاختبار.
  4. قم بتشغيل ملف صوتي في أثناء قراءة النسخ المطابق بواسطة نموذج.

إذا تضمنت مجموعة بيانات الاختبار ملفات صوتية متعددة، فسترى صفوفا متعددة في الجدول. إذا قمت بتضمين نموذجين في الاختبار، يتم عرض النسخ في أعمدة جنبًا إلى جنب. يتم عرض اختلافات النسخ بين النماذج بخط النص الأزرق.

لقطة شاشة لمقارنة النسخ بواسطة نموذجين

يتم إرجاع مجموعة بيانات اختبار الصوت والنسخ والنماذج التي تم اختبارها في نتائج الاختبار. إذا تم اختبار نموذج واحد فقط، تتطابق model1 القيمة model2مع ، وتتطابق transcription1transcription2القيمة مع .

لمراجعة جودة النسخ المكتوبة:

  1. قم بتنزيل مجموعة بيانات اختبار الصوت، ما لم يكن لديك نسخة بالفعل.
  2. قم بتنزيل نسخ الإخراج.
  3. قم بتشغيل ملف صوتي في أثناء قراءة النسخ المطابق بواسطة نموذج.

إذا كنت تقارن الجودة بين نموذجين، فاهتم بشكل خاص بالاختلافات بين نسخ كل نموذج.

يتم إرجاع مجموعة بيانات اختبار الصوت والنسخ والنماذج التي تم اختبارها في نتائج الاختبار. إذا تم اختبار نموذج واحد فقط، تتطابق model1 القيمة model2مع ، وتتطابق transcription1transcription2القيمة مع .

لمراجعة جودة النسخ المكتوبة:

  1. قم بتنزيل مجموعة بيانات اختبار الصوت، ما لم يكن لديك نسخة بالفعل.
  2. قم بتنزيل نسخ الإخراج.
  3. قم بتشغيل ملف صوتي في أثناء قراءة النسخ المطابق بواسطة نموذج.

إذا كنت تقارن الجودة بين نموذجين، فاهتم بشكل خاص بالاختلافات بين نسخ كل نموذج.

الخطوات التالية