تدريب نموذج فهم لغة المحادثة

بعد الانتهاء من تسمية عباراتك، يمكنك البدء في تدريب نموذج. التدريب هو العملية التي يتعرف فيها النموذج على عباراتك المسماة.

لتدريب نموذج، ابدأ مهمة تدريب. فقط المهام التي تم إكمالها بنجاح هي التي تنشئ نموذجًا. تنتهي صلاحية مهام التدريب بعد سبعة أيام، بعد هذا الوقت لن تتمكن من استرداد تفاصيل المهمة. إذا اكتملت مهمة التدريب بنجاح وتم إنشاء نموذج، فلن تتأثر بانتهاء صلاحية المهمة. يمكنك تشغيل مهمة تدريب واحدة فقط في كل مرة، ولا يمكنك بدء مهام أخرى في نفس المشروع.

وقد تتراوح أوقات التدريب في أي مكان من بضع ثوان، وذلك عند التعامل مع مشاريع بسيطة، بينما قد تصل إلى بضع ساعات عند الوصول إلى الحد الأقصى من التعبيرات.

يُشغل تقييم النموذج تلقائياً بعد إكمال التدريب بنجاح. تبدأ عملية التقييم باستخدام النموذج المدرب لتشغيل التنبؤات على العبارات في مجموعة الاختبارات، ومقارنة النتائج المتوقعة مع التسميات المقدمة (التي تحدد أساس الحقيقة).

المتطلبات الأساسية

• مشروع مُكوَّن بنجاح باستخدام تكوين حساب تخزين كائن ثنائي كبير الحجم في Azure
• العبارات المسماة

تقسيم البيانات

قبل بدء عملية التدريب، تُقسم التعبيرات المسماة في مشروعك إلى مجموعة تدريب ومجموعة اختبار. كل واحد منهم يخدم دالة مختلفة. يتم استخدام مجموعة التدريب في تدريب النموذج، هذه هي المجموعة التي يتعلم منها النموذج التعبيرات المسماة. مجموعة الاختبار هي مجموعة عشوائية لا تُقدم إلى النموذج أثناء التدريب ولكن فقط أثناء التقييم.

بعد تدريب النموذج بنجاح، يتم استخدام النموذج لإجراء تنبؤات من التعبيرات في مجموعة الاختبار. تستخدم هذه التنبؤات لحساب مقاييس التقييم. يوصى بالتأكد من أن جميع أهدافك وكياناتك مُمثلة بشكل كافٍ في مجموعة التدريب ومجموعة الاختبار.

يدعم فهم لغة المحادثة طريقتين لتقسيم البيانات:

• تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب: سيُقسم النظام بياناتك ذات العلامات بين مجموعات التدريب والاختبار، وفقا للنسب المئوية التي تختارها. النسبة المئوية الموصى بها للتقسيم هي 80% للتدريب و20% للاختبار.

ملاحظة

إذا اخترت خيار تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب، فستُقسم البيانات المُعينة لمجموعة التدريب فقط وفقاً للنسب المئوية المقدمة.

• استخدام تقسيم يدوي لبيانات التدريب والاختبار: يُمكّن هذا الأسلوب المستخدمين من تحديد التعبيرات التي يجب أن تنتمي إلى المجموعة. تُمكّن هذه الخطوة فقط إذا أضفت عبارات إلى مجموعة الاختبار خلال التسمية.

أوضاع التدريب

يدعم CLU وضعين لتدريب نماذجك

• التدريب القياسي يستخدم خوارزميات التعلم الآلي السريعة لتدريب نماذجك بسرعة نسبيا. يتوفر هذا حالياً فقط للغة الإنجليزية ويتم تعطيله لأي مشروع لا يستخدم اللغة الإنجليزية (الولايات المتحدة) أو الإنجليزية (المملكة المتحدة) كلغة أساسية. خيار التدريب هذا مجاني. يسمح لك التدريب القياسي بإضافة عبارات واختبارها بسرعة دون أي تكلفة. يجب أن ترشدك درجات التقييم المعروضة إلى مكان إجراء تغييرات في مشروعك وإضافة المزيد من التعبيرات. بمجرد تكرارك عدة مرات وإدخال تحسينات تزايدية، يمكنك التفكير في استخدام التدريب المتقدم لتدريب إصدار آخر من النموذج الخاص بك.

• يستخدم التدريب المتقدم أحدث التقنيات في التعلم الآلي لتخصيص النماذج مع بياناتك. من المتوقع أن يظهر هذا درجات أداء أفضل لنماذجك وسيمكنك من استخدام قدرات متعددة اللغات في CLU أيضاً. يتم تسعير التدريب المتقدم بشكل مختلف. راجع معلومات التسعير للحصول على التفاصيل.

استخدم درجات التقييم لتوجيه قراراتك. قد تكون هناك أوقات يتم فيها التنبؤ بمثال معين بشكل غير صحيح في التدريب المتقدم بدلاً من استخدام وضع التدريب القياسي. ومع ذلك، إذا كانت نتائج التقييم الإجمالي أفضل باستخدام متقدمة، فمن المستحسن استخدام النموذج النهائي الخاص بك. إذا لم يكن الأمر كذلك ولا تبحث عن استخدام أي قدرات متعددة اللغات، يمكنك الاستمرار في استخدام النموذج المدرب مع الوضع القياسي.

ملاحظة

يجب أن تتوقع أن ترى فرقاً في السلوكيات في درجات ثقة الهدف بين أوضاع التدريب حيث تقوم كل خوارزمية بمعايرة درجاتها بشكل مختلف.

تدريب النموذج

استوديو اللغة

لبدء تدريب النموذج من داخل Language Studio:

1. حدد Train model من القائمة الجانبية اليسرى.

2. حدد Start a training job من القائمة العلوية.

3. حدد Train a new model وأدخل اسم نموذج جديد في مربع النص. وإلا لاستبدال نموذج موجود بنموذج مدرب على البيانات الجديدة، حدد الكتابة فوق نموذج موجود ثم حدد نموذجا موجودا. الكتابة فوق نموذج مُدرّب أمر لا رجعة فيه، ولكنه لن يؤثر على النماذج الموزعة حتى توزع النموذج الجديد.

4. حدد وضع التدريب. يمكنك اختيار التدريب القياسي للحصول على تدريب أسرع، ولكنه متاح فقط للغة الإنجليزية. أو يمكنك اختيار التدريب المتقدم المدعوم للغات الأخرى والمشاريع متعددة اللغات، ولكنه يتضمن أوقات تدريب أطول. تعرّف على المزيد بشأن نماذج التدريب.

5. حدد أسلوب تقسيم البيانات. يمكنك اختيار تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب: حيث سيُقسم النظام عباراتك بين مجموعات التدريب والاختبار، وفقاً للنسب المئوية المحددة. أو يمكنك استخدام تقسيم يدوي لبيانات التدريب والاختبار، يُمكّن هذا الخيار فقط إذا أضفت العبارات إلى مجموعة الاختبار الخاصة بك عند تسمية عباراتك.

6. حدد الزر Train.

   

7. حدد معرف مهمة التدريب من القائمة. ستظهر لوحة حيث يمكنك التحقق من تقدم التدريب وحالة الوظيفة وتفاصيل أخرى لهذه الوظيفة.

   ملاحظة

   • فقط مهام التدريب المكتملة بنجاح ستنشئ نماذج.
   • قد يستغرق التدريب بعض الوقت بين دقيقتين وساعتين استناداً إلى عدد العبارات.
   • يمكنك تشغيل مهمة تدريب واحدة فقط في كل مرة. لا يمكنك بدء مهام تدريب أخرى داخل نفس المشروع حتى تكتمل المهمة قيد التشغيل.
   • يُحدّث التعلّم الآلي المُستخدم لتدريب النماذج بانتظام. للتدريب على إصدار تكوين سابق، حدد Select here للتغيير من صفحة Start a training job واختر إصدارا سابقا.

واجهة برمجة تطبيقات REST

بدء مهمة التدريب

قم بإنشاء طلب POST باستخدام عناوين URL التالية، والعناوين، ونموذج نص JSON لبدء مهمة التدريب.

URL للطلب

استخدم عنوان URL التالي عند إنشاء طلب واجهة برمجة التطبيقات. استبدل قيم العنصر النائب بقيمك الخاصة.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	EmailApp
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تتصل بها.	2023-04-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

نص الطلب

استخدم الكائن التالي في طلبك. ستتم تسمية النموذج بعد القيمة التي تستخدمها للمعلمة modelLabel بمجرد اكتمال التدريب.

{
  "modelLabel": "{MODEL-NAME}",
  "trainingMode": "{TRAINING-MODE}",
  "trainingConfigVersion": "{CONFIG-VERSION}",
  "evaluationOptions": {
    "kind": "percentage",
    "testingSplitPercentage": 20,
    "trainingSplitPercentage": 80
  }
}

المفتاح	العنصر النائب	القيمة	مثال
modelLabel	{MODEL-NAME}	اسم النموذج الخاص بك.	Model1
trainingConfigVersion	{CONFIG-VERSION}	إصدار نموذج تكوين التدريب. بشكل افتراضي، يتم استخدام أحدث إصدار من الطراز.	2022-05-01
trainingMode	{TRAINING-MODE}	وضع التدريب الذي سيتم استخدامه للتدريب. الأوضاع المدعومة هي التدريب القياسي، والتدريب الأسرع، ولكنها متاحة فقط باللغة الإنجليزية والتدريب المتقدم المدعوم للغات الأخرى والمشاريع متعددة اللغات، ولكنها تتضمن أوقات تدريب أطول. تعرّف على المزيد بشأن نماذج التدريب.	standard
kind	percentage	أساليب التقسيم. القيم المحتملة تكون إماpercentage أو manual. راجع كيفية تدريب نموذج للحصول على مزيد من المعلومات.	percentage
trainingSplitPercentage	80	النسبة المئوية لبياناتك ذات العلامات التي سيتم تضمينها في مجموعة التدريب. القيمة الموصى بها هي 80.	80
testingSplitPercentage	20	النسبة المئوية لبياناتك ذات العلامات التي سيتم تضمينها في مجموعة الاختبار. القيمة الموصى بها هي 20.	20

ملاحظة

يتم طلب trainingSplitPercentage وtestingSplitPercentage فقط إذا تم تعيين Kind إلى percentage ومجموع كلا النسبتين يجب أن يساوي 100.

بمجرد إرسال طلب واجهة برمجة التطبيقات، ستتلقى ردًا 202 يشير إلى تنفيذ العملية بنجاح. في عناوين الرد، استخرج operation-location القيمة. سيُنسق على النحو التالي:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

يمكنك أن تستخدم عنوان URL هذا للحصول على حالة مهمة التدريب.

الحصول على حالة التدريب

قد يستغرق التدريب بعض الوقت اعتماداً على حجم بيانات التدريب وتعقيد مخططك. يمكنك استخدام الطلب التالي لمتابعة التحقق من حالة مهمة التدريب حتى تكتمل بنجاح.

عند إرسال طلب تدريب ناجح، يتم تضمين عنوان URL للطلب الكامل للتحقق من حالة المهمة (بما في ذلك نقطة النهاية واسم المشروع ومعرف الوظيفة) في عنوان الاستجابة operation-location .

استخدم طلب GET التالي للاستعلام عن حالة عملية تدريب نموذجك. استبدل قيم العنصر النائب أدناه بقيمك الخاصة.

URL للطلب

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{YOUR-ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	EmailApp
{JOB-ID}	معرف تحديد موقع حالة تدريب نموذجك	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تتصل بها.	2023-04-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

نص الرد

بمجرد إرسال الطلب، ستحصل على الرد التالي. احتفظ باقتراع نقطة النهاية هذه حتى تتغير معلمة الحالة إلى "نجح".

{
  "result": {
    "modelLabel": "{MODEL-LABEL}",
    "trainingConfigVersion": "{TRAINING-CONFIG-VERSION}",
    "trainingMode": "{TRAINING-MODE}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "xxxxx-xxxxx-xxxx-xxxxx-xxxx",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

المفتاح	القيمة	مثال
modelLabel	اسم النموذج	Model1
trainingConfigVersion	إصدار تكوين التدريب. بشكل افتراضي، يتم استخدام أحدث إصدار.	2022-05-01
trainingMode	وضع تدريبك المحدد.	standard
startDateTime	وقت بدء التدريب	2022-04-14T10:23:04.2598544Z
status	حالة مهمة التدريب	running
estimatedEndDateTime	الوقت المقدر لانتهاء مهمة التدريب	2022-04-14T10:29:38.2598544Z
jobId	معرف مهمة التدريب الخاص بك	xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx
createdDateTime	تاريخ ووقت إنشاء مهمة التدريب	2022-04-14T10:22:42Z
lastUpdatedDateTime	تاريخ ووقت آخر تحديث لمهمة التدريب	2022-04-14T10:23:45Z
expirationDateTime	تاريخ ووقت انتهاء صلاحية مهمة التدريب	2022-04-14T10:22:42Z

إلغاء مهمة التدريب

استوديو اللغة

لإلغاء مهمة تدريب من داخل Language Studio

1. في صفحة Train model ، حدد مهمة التدريب التي تريد إلغاءها وحدد Cancel من القائمة العلوية.

واجهة برمجة تطبيقات REST

أنشئ طلب POST باستخدام عناوين URL التالية، والعناوين، ونموذج نص JSON لإلغاء مهمة التدريب.

URL للطلب

استخدم عنوان URL التالي عند إنشاء طلب واجهة برمجة التطبيقات. استبدل قيم العنصر النائب أدناه بقيمك الخاصة.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	EmailApp
{JOB-ID}	هذا هو معرّف مهمة التدريب.	XXXXX-XXXXX-XXXX-XX
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تتصل بها.	2023-04-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

بمجرد إرسال طلب API، ستتلقى استجابة 202 تُشير إلى النجاح، مما يعني أنه أُلغيت مهمة التدريب الخاصة بك. ينتج عن الاستدعاء الناجح عنوان Operation-Location يُستخدم للتحقق من حالة الوظيفة.

الخطوات التالية

• مقاييس تقييم النموذج