مشاركة عبر

تحميل مجموعات بيانات التدريب والاختبار للكلام المخصص

  • مقالة

تحتاج إلى بيانات صوتية أو نصية لاختبار دقة التعرف على الكلام أو تدريب نماذجك المخصصة. للحصول على معلومات بشأن أنواع البيانات المدعومة لاختبار نموذجك أو تدريبه، انظرتدريب مجموعات البيانات واختبارها.

تلميح

يمكنك أيضا استخداممحرر النص المنطوق عبر الإنترنتلإنشاء مجموعات بيانات صوتية مسماة وتحسينها.

حمِّل مجموعات البيانات

لتحميل مجموعات البيانات الخاصة بك في Speech Studio، تابع الخطوات التالية:

  1. سجّل الدخول إلـى Speech Studio.

  2. حدد الكلام> المخصص اسم> المشروع مجموعات>بيانات الكلام تحميل البيانات.

  3. حدد علامة التبويببيانات التدريبأواختبار البيانات.

  4. حدد نوع مجموعة بيانات، ثم قم بتحديد التالي.

  5. حدد موقع مجموعة البيانات، ثم قم بتحديد التالي. يمكنك اختيار ملف محلي أو إدخال موقع بعيد مثل Azure Blob URL. إذا حددت الموقع البعيد، ولم تستخدم آلية أمان خدمات Azure الموثوق بها، فيجب أن يكون الموقع البعيد عنوان URL يمكن استرداده بطلب GET مجهول بسيط. على سبيل المثال، عنوان URL SAS أو عنوان URL يمكن الوصول إليه بشكل عام. عناوين URL التي تتطلب تخويلا إضافيا، أو تتوقع تفاعل المستخدم غير مدعومة.

    إشعار

    إذا كنت تستخدم عنوان URL ل Azure Blob، يمكنك ضمان أقصى قدر من الأمان لملفات مجموعة البيانات الخاصة بك باستخدام آلية أمان خدمات Azure الموثوق بها. ستستخدم نفس التقنيات مثل النسخ الدفعي وعناوين URL لحساب التخزين العادي لملفات مجموعة البيانات الخاصة بك. راجع التفاصيل هنا.

  6. أدخل اسم مجموعة البيانات ووصفه، ثم حددالتالي.

  7. قم بمراجعة الإعدادات، ثم حددحفظ وإغلاق.

بعد تحميل مجموعة البيانات الخاصة بك، انتقل إلى صفحة تدريب النماذج المخصصة لتدريب نموذج مخصص.

باستخدام Speech CLI وS speech to text REST API، على عكس Speech Studio، لا تختار ما إذا كانت مجموعة البيانات للاختبار أو التدريب في وقت التحميل. يمكن تحديد كيفية استخدام مجموعة البيانات عندتدريب نموذج أوتشغيل اختبار.

على الرغم من أنك لا تشير إلى ما إذا كانت مجموعة البيانات مخصصة للاختبار أو التدريب، يجب عليك تحديد نوع مجموعة البيانات. يُستخدم نوع مجموعة البيانات لتحديد نوع مجموعة البيانات التي تُنشأ. يُستخدم في بعض الحالات نوع مجموعة البيانات للاختبار أو التدريب فقط، ولكن لا يجب الاعتماد على ذلك. تتوافق قيم Speech CLI وREST APIkindمع الخيارات الموجودة في Speech Studio كما هو موضح في الجدول التالي:

نوع واجهة مستوى الاستدعاء وواجهة برمجة التطبيقات الخيارات المتعلقة بـ Speech Studio
صوتي بيانات التدريب: صوت + نسخة مكتوبة بشريًا
بيانات الاختبار: نسخة (توليف صوتي تلقائي)
بيانات الاختبار: صوت + نسخة مكتوبة بشريًا
الملفات الصوتية بيانات الاختبار: الصوت
اللغة بيانات التدريب: النص العادي
LanguageMarkdown بيانات التدريب: نص منظم بتنسيق markdown
النطق بيانات التدريب: نطق
تنسيق الإخراج بيانات التدريب: تنسيق الإخراج

إشعار

لا يدعم الإصدار 3.0 من Speech to text REST API النص المنظم بتنسيق markdown. يجب استخدام Speech للنص REST API v3.1. لمزيد من المعلومات، راجع ترحيل التعليمات البرمجية من v3.0 إلى v3.1 من واجهة برمجة تطبيقات REST.

لإنشاء مجموعة البيانات وتوصيلها بمشروع موجود، استخدم الأمر spx csr dataset create. أنشئ عمليات الطلب وفقاً للتعليمات التالية:

  • تعيين المعلمة project إلى معرف المشروع الموجود. يوصى بهذه المعلمة بحيث يمكنك أيضا عرض مجموعة البيانات وإدارتها في Speech Studio. يمكنك تشغيل الأمر spx csr project list للحصول على المشاريع المتوفرة.

  • يوصى بتعيين المعلمة kind المطلوبة. مجموعة القيم الممكنة لنوع مجموعة البيانات هي: اللغة والصوت والنطق وملفات الصوت.

  • يوصى بتعيين المعلمة contentUrl المطلوبة. هذه المعلمة هي موقع مجموعة البيانات. إذا كنت لا تستخدم آلية أمان خدمات Azure الموثوق بها (راجع الملاحظة التالية)، فيجب contentUrl أن تكون المعلمة عنوان URL يمكن استرداده بطلب GET مجهول بسيط. على سبيل المثال، عنوان URL SAS أو عنوان URL يمكن الوصول إليه بشكل عام. عناوين URL التي تتطلب تخويلا إضافيا، أو تتوقع تفاعل المستخدم غير مدعومة.

    إشعار

    إذا كنت تستخدم عنوان URL ل Azure Blob، يمكنك ضمان أقصى قدر من الأمان لملفات مجموعة البيانات الخاصة بك باستخدام آلية أمان خدمات Azure الموثوق بها. ستستخدم نفس التقنيات مثل النسخ الدفعي وعناوين URL لحساب التخزين العادي لملفات مجموعة البيانات الخاصة بك. راجع التفاصيل هنا.

  • يوصى بتعيين المعلمة language المطلوبة. يجب أن تتطابق الإعدادات المحلية لمجموعة البيانات مع الإعدادات المحلية للمشروع. لا يمكن تغيير الإعدادات المحلية لاحقًا. المعلمة Speech CLIlanguageمتوافقة مع الخاصيةlocaleفي طلب JSON والاستجابة.

  • يوصى بتعيين المعلمة name المطلوبة. هذه المعلمة هي الاسم الذي يتم عرضه في Speech Studio. المعلمة Speech CLInameمتوافقة مع الخاصيةdisplayNameفي طلب JSON والاستجابة.

في ما يلي مثال على أمر Speech CLI يقوم بإنشاء مجموعة بيانات وربطها بمشروع موجود:

spx csr dataset create --api-version v3.1 --kind "Acoustic" --name "My Acoustic Dataset" --description "My Acoustic Dataset Description" --project YourProjectId --content YourContentUrl --language "en-US"

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/e0ea620b-e8c3-4a26-acb2-95fd0cbc625c",
  "kind": "Acoustic",
  "contentUrl": "https://contoso.com/mydatasetlocation",
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/e0ea620b-e8c3-4a26-acb2-95fd0cbc625c/files"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/70ccbffc-cafb-4301-aa9f-ef658559d96e"
  },
  "properties": {
    "acceptedLineCount": 0,
    "rejectedLineCount": 0
  },
  "lastActionDateTime": "2022-05-20T14:07:11Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T14:07:11Z",
  "locale": "en-US",
  "displayName": "My Acoustic Dataset",
  "description": "My Acoustic Dataset Description"
}

خاصية المستوىselfالأعلى في نص الاستجابة هي مجموعة البيانات URI. استخدم عنوان URI هذاللحصولعلى تفاصيل بشأن مشروع مجموعة البيانات وملفاتها. يمكنك أيضًا استخدام URI هذا لتحديث مجموعة بيانات أو حذفها.

من أجل الحصول على تعليمات Speech CLI مع مجموعات البيانات، قم بتشغيل الأمر التالي:

spx help csr dataset

باستخدام Speech CLI وS speech to text REST API، على عكس Speech Studio، لا تختار ما إذا كانت مجموعة البيانات للاختبار أو التدريب في وقت التحميل. يمكن تحديد كيفية استخدام مجموعة البيانات عندتدريب نموذج أوتشغيل اختبار.

على الرغم من أنك لا تشير إلى ما إذا كانت مجموعة البيانات مخصصة للاختبار أو التدريب، يجب عليك تحديد نوع مجموعة البيانات. يُستخدم نوع مجموعة البيانات لتحديد نوع مجموعة البيانات التي تُنشأ. يُستخدم في بعض الحالات نوع مجموعة البيانات للاختبار أو التدريب فقط، ولكن لا يجب الاعتماد على ذلك. تتوافق قيم Speech CLI وREST APIkindمع الخيارات الموجودة في Speech Studio كما هو موضح في الجدول التالي:

نوع واجهة مستوى الاستدعاء وواجهة برمجة التطبيقات الخيارات المتعلقة بـ Speech Studio
صوتي بيانات التدريب: صوت + نسخة مكتوبة بشريًا
بيانات الاختبار: نسخة (توليف صوتي تلقائي)
بيانات الاختبار: صوت + نسخة مكتوبة بشريًا
الملفات الصوتية بيانات الاختبار: الصوت
اللغة بيانات التدريب: النص العادي
LanguageMarkdown بيانات التدريب: نص منظم بتنسيق markdown
النطق بيانات التدريب: نطق
تنسيق الإخراج بيانات التدريب: تنسيق الإخراج

إشعار

لا يدعم الإصدار 3.0 من Speech to text REST API النص المنظم بتنسيق markdown. يجب استخدام Speech للنص REST API v3.1. لمزيد من المعلومات، راجع ترحيل التعليمات البرمجية من v3.0 إلى v3.1 من واجهة برمجة تطبيقات REST.

لإنشاء مجموعة بيانات وتوصيلها بمشروع موجود، استخدم عملية Datasets_Create من Speech to text REST API. إنشاء نص الطلب وفقًا للإرشادات التالية:

  • تعيين الخاصية project إلى URI لمشروع موجود. يوصى بهذه الخاصية بحيث يمكنك أيضا عرض مجموعة البيانات وإدارتها في Speech Studio. يمكنك تقديم طلب Projects_List للحصول على المشاريع المتوفرة.

  • عيّن الخاصية kind المطلوبة. مجموعة القيم الممكنة لنوع مجموعة البيانات هي: اللغة والصوت والنطق وملفات الصوت.

  • عيّن الخاصية contentUrl المطلوبة. هذه الخاصية هي موقع مجموعة البيانات. إذا كنت لا تستخدم آلية أمان خدمات Azure الموثوق بها (راجع الملاحظة التالية)، فيجب contentUrl أن تكون المعلمة عنوان URL يمكن استرداده بطلب GET مجهول بسيط. على سبيل المثال، عنوان URL SAS أو عنوان URL يمكن الوصول إليه بشكل عام. عناوين URL التي تتطلب تخويلا إضافيا، أو تتوقع تفاعل المستخدم غير مدعومة.

    إشعار

    إذا كنت تستخدم عنوان URL ل Azure Blob، يمكنك ضمان أقصى قدر من الأمان لملفات مجموعة البيانات الخاصة بك باستخدام آلية أمان خدمات Azure الموثوق بها. ستستخدم نفس التقنيات مثل النسخ الدفعي وعناوين URL لحساب التخزين العادي لملفات مجموعة البيانات الخاصة بك. راجع التفاصيل هنا.

  • عيّن الخاصية locale المطلوبة. يجب أن تتطابق الإعدادات المحلية لمجموعة البيانات مع الإعدادات المحلية للمشروع. لا يمكن تغيير الإعدادات المحلية لاحقًا.

  • عيّن الخاصية displayName المطلوبة. هذه الخاصية هي الاسم الذي يتم عرضه في Speech Studio.

قدم طلب HTTP POST باستخدام URI كما هو موضح في المثال التالي. استبدل YourSubscriptionKey بمفتاح مورد الكلام لديك، واستبدل YourServiceRegion بمنطقة مورد الكلام، وعيّن خصائص نص الطلب كما هو موضح سابقاً.

curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
  "kind": "Acoustic",
  "displayName": "My Acoustic Dataset",
  "description": "My Acoustic Dataset Description",
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/70ccbffc-cafb-4301-aa9f-ef658559d96e"
  },
  "contentUrl": "https://contoso.com/mydatasetlocation",
  "locale": "en-US",
}'  "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/datasets"

يجب أن تتلقى نص الاستجابة بالتنسيق التالي:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/e0ea620b-e8c3-4a26-acb2-95fd0cbc625c",
  "kind": "Acoustic",
  "contentUrl": "https://contoso.com/mydatasetlocation",
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/e0ea620b-e8c3-4a26-acb2-95fd0cbc625c/files"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/70ccbffc-cafb-4301-aa9f-ef658559d96e"
  },
  "properties": {
    "acceptedLineCount": 0,
    "rejectedLineCount": 0
  },
  "lastActionDateTime": "2022-05-20T14:07:11Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T14:07:11Z",
  "locale": "en-US",
  "displayName": "My Acoustic Dataset",
  "description": "My Acoustic Dataset Description"
}

خاصية المستوىselfالأعلى في نص الاستجابة هي مجموعة البيانات URI. استخدم عنوان URI هذاللحصولعلى تفاصيل بشأن مشروع مجموعة البيانات وملفاتها. يمكنك أيضًا استخدام عنوان URI هذالتحديثأوحذف مجموعة البيانات.

هام

لا يلزم الاتصال مجموعة بيانات إلى مشروع كلام مخصص لتدريب نموذج مخصص واختباره باستخدام واجهة برمجة تطبيقات REST أو Speech CLI. ولكن إذا لم تكن مجموعة البيانات متصلة بأي مشروع، فلا يمكنك تحديدها للتدريب أو الاختبار فيSpeech Studio.

الخطوات التالية