تدريب نموذج للتعرف على رموز الأحرف المخصصة

التدريب هو العملية التي يتعرف فيها النموذج على بياناتك المسماة. بعد اكتمال التدريب، ستتمكن من عرض أداء النموذج لتحديد ما إذا كنت بحاجة إلى تحسين نموذجك.

لتدريب نموذج، يمكنك بدء مهمة تدريب وإكمال المهام بنجاح فقط إنشاء نموذج. تنتهي صلاحية مهام التدريب بعد سبعة أيام، ما يعني أنك لن تتمكن من استرداد تفاصيل الوظيفة بعد هذا الوقت. إذا اكتملت مهمة التدريب بنجاح وتم إنشاء نموذج، فلن يتأثر النموذج. يمكنك تشغيل مهمة تدريب واحدة فقط في كل مرة، ولا يمكنك بدء مهام أخرى في نفس المشروع.

يمكن أن تكون أوقات التدريب في أي مكان بضع دقائق عند التعامل مع بعض المستندات، حتى عدة ساعات اعتماداً على حجم مجموعة البيانات وتعقيد المخطط.

المتطلبات الأساسية

• مشروع مُنشأ بنجاح باستخدام حساب تخزين Azure لكائن ثنائي كبير الحجم مُكّون
• البيانات النصية التي تم تحميلها إلى حساب التخزين.
• البيانات المسماة

راجع دورة حياة تطوير المشروع لمزيد من المعلومات.

تقسيم البيانات

قبل بدء عملية التدريب، تُقسم المستندات المسماة في مشروعك إلى مجموعة تدريب ومجموعة اختبار. كل واحد منهم يخدم دالة مختلفة. تُستخدم مجموعة التدريب في تدريب النموذج، هذه هي المجموعة التي يتعرف منها النموذج على الكيانات المسماة وما هي نطاقات النص التي يجب استخراجها ككيانات. مجموعة الاختبار هي مجموعة عشوائية لا تُقدم إلى النموذج أثناء التدريب ولكن فقط أثناء التقييم. بعد اكتمال تدريب النموذج بنجاح، يُستخدم النموذج لإجراء تنبؤات من المستندات في الاختبار، وتُحسب استناداً إلى مقاييس تقييم التنبؤات. يوصى بالتأكد من أن جميع كياناتك مُمثلة بشكل كافٍ في مجموعة التدريب ومجموعة الاختبار.

يدعم NER المخصص طريقتين لتقسيم البيانات:

• تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب: سيقوم النظام بتقسيم بياناتك ذات العلامات بين مجموعات التدريب والاختبار، وفقا للنسب المئوية التي تختارها. النسبة المئوية الموصى بها للتقسيم هي 80% للتدريب و20% للاختبار.

ملاحظة

إذا اخترت خيار تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب، فستُقسم البيانات المُعينة لمجموعة التدريب فقط وفقاً للنسب المئوية المقدمة.

• استخدام تقسيم يدوي لبيانات التدريب والاختبار: يُمكّن هذا الأسلوب المستخدمين من تحديد المستندات المسماة التي يجب أن تنتمي إلى المجموعة. تُمكّن هذه الخطوة فقط إذا أضفت مستندات إلى مجموعة الاختبار أثناء تسمية البيانات.

تدريب النموذج

Language Studio

لبدء تدريب النموذج من داخل Language Studio:

1. حدّد Train jobs من القائمة الجانبية اليسرى.

2. حدد Start a training job من القائمة العلوية.

3. حدد Train a new model واكتب اسم النموذج في مربع النص أدناه. يمكنك أيضًا الكتابة فوق نموذج موجود عن طريق تحديد هذا الخيار واختيار النموذج الذي تريد الكتابة فوقه من القائمة المنسدلة. الكتابة فوق نموذج مُدرّب أمر لا رجعة فيه، ولكنه لن يؤثر على النماذج الموزعة حتى توزع النموذج الجديد.

   

4. حدد أسلوب تقسيم البيانات. يمكنك اختيار تقسيم مجموعة الاختبار تلقائياً من بيانات التدريب: حيث سيُقسم النظام بياناتك المسماة بين مجموعات التدريب والاختبار، وفقا للنسب المئوية المحددة. أو يمكنك استخدام تقسيم يدوي لبيانات التدريب والاختبار، يتم تمكين هذا الخيار فقط إذا قمت بإضافة مستندات إلى مجموعة الاختبار أثناء تسمية البيانات. راجع كيفية تدريب نموذج للحصول على معلومات حول تقسيم البيانات.

5. حدد الزر Train.

6. إذا حددت معرف مهمة التدريب من القائمة، فسيظهر جزء جانبي حيث يمكنك التحقق من تقدم التدريبوحالة الوظيفة وتفاصيل أخرى لهذه الوظيفة.

   ملاحظة

   • فقط مهام التدريب المكتملة بنجاح ستنشئ نماذج.
   • قد يستغرق التدريب بعض الوقت بين دقيقتين وعدة ساعات استناداً إلى حجم البيانات المسماة.
   • يمكنك تشغيل مهمة تدريب واحدة فقط في كل مرة. لا يمكنك بدء مهمة تدريب أخرى ضمن نفس المشروع حتى تكتمل المهمة قيد التشغيل.

واجهة برمجة تطبيقات REST

بدء مهمة التدريب

أنشئ طلب POST باستخدام عناوين URL التالية، والعناوين، ونموذج نص JSON لبدء مهمة التدريب. استبدل قيم العنصر النائب أدناه بقيمك الخاصة.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	myProject
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تستدعيها. القيمة التي يشار إليها هنا هي لأحدث إصدار تم إصداره. يرجى الاطلاع على دورة حياة النموذج لمعرفة المزيد حول إصدارات API الأخرى المتوفرة.	2022-05-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

نص الطلب

قم باستخدام JSON التالي في نموذج نص للطلب. سوف يتم منح النموذج {MODEL-NAME} فور انتهاء التدريب. وظائف التدريب الناجحة فقط سوف تنتج نماذج.

{
	"modelLabel": "{MODEL-NAME}",
	"trainingConfigVersion": "{CONFIG-VERSION}",
	"evaluationOptions": {
		"kind": "percentage",
		"trainingSplitPercentage": 80,
		"testingSplitPercentage": 20
	}
}

المفتاح	العنصر النائب	القيمة	مثال
modelLabel	{MODEL-NAME}	اسم النموذج الذي سيتم تعيينه إلى نموذجك بمجرد تدريبه بنجاح.	myModel
trainingConfigVersion	{CONFIG-VERSION}	هذا هو إصدار النموذج الذي سيتم استخدامه لتدريب النموذج.	2022-05-01
evaluationOptions		خيار تقسيم بياناتك عبر مجموعات التدريب والاختبار.	{}
نوع	percentage	أساليب التقسيم. القيم المُحتملة هي percentage أو manual. راجع How to train a model للحصول على مزيد من المعلومات.	percentage
trainingSplitPercentage	80	النسبة المئوية لبياناتك ذات العلامات التي سيتم تضمينها في مجموعة التدريب. القيمة الموصى بها هي 80.	80
testingSplitPercentage	20	النسبة المئوية لبياناتك ذات العلامات التي سيتم تضمينها في مجموعة الاختبار. القيمة الموصى بها هي 20.	20

ملاحظة

يتم طلب trainingSplitPercentage وtestingSplitPercentage فقط إذا تم تعيين Kind إلى percentage ومجموع كلا النسبتين يجب أن يساوي 100.

بمجرد إرسال طلب واجهة برمجة التطبيقات، سوف تتلقى استجابة 202 يشير إلى إرسال المهمة بشكل صحيح. في عناوين الرد، استخرج location القيمة. سيُنسق على النحو التالي:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID}يُستخدم لتعريف طلبك، حيث إن هذه العملية غير متزامنة. يمكنك استخدام عنوان URL هذا للحصول على حالة التدريب.

الحصول على حالة التدريب

قد يستغرق التدريب بعض الوقت اعتماداً على حجم بيانات التدريب وتعقيد مخططك. يمكنك استخدام الطلب التالي لمتابعة التحقق من حالة مهمة التدريب حتى تكتمل بنجاح.

استخدم طلب GET التالي للاستعلام عن حالة عملية تدريب نموذجك. استبدل قيم العنصر النائب أدناه بقيمك الخاصة.

URL للطلب

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	myProject
{JOB-ID}	معرف تحديد موقع حالة تدريب نموذجك توجد هذه القيمة في قيمة العنوان location التي قمت بتلقيها في الخطوة السابقة.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تستدعيها. القيمة التي يشار إليها هنا هي لأحدث إصدار تم إصداره. يرجى الاطلاع على دورة حياة النموذج لمعرفة المزيد حول إصدارات API الأخرى المتوفرة.	2022-05-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

نص الرد

بمجرد إرسال الطلب، ستحصل على الاستجابة التالية.

{
  "result": {
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "{JOB-ID}",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

إلغاء مهمة التدريب

استوديو اللغة

لإلغاء مهمة تدريب من داخل Language Studio، قم بالانتقال إلى صفحة Training jobs. حدد مهمة التدريب التي تريد إلغاءها وحدد إلغاء من القائمة العلوية.

واجهة برمجة تطبيقات REST

أنشئ طلب POST باستخدام عناوين URL التالية، والعناوين، ونموذج نص JSON لإلغاء مهمة التدريب.

URL للطلب

استخدم عنوان URL التالي عند إنشاء طلب واجهة برمجة التطبيقات. استبدل قيم العنصر النائب أدناه بقيمك الخاصة.

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

العنصر النائب	القيمة	مثال
{ENDPOINT}	نقطة النهاية للمصادقة على طلب واجهة برمجة التطبيقات.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	اسم مشروعك. هذه القيمة حساسة لحالة الأحرف.	EmailApp
{JOB-ID}	هذه القيمة هي معرف مهمة التدريب.	XXXXX-XXXXX-XXXX-XX
{API-VERSION}	إصدار واجهة برمجة التطبيقات التي تستدعيها. القيمة المشار إليها هنا هي لأحدث إصدار من النموذج الذي تم إصداره.	2022-05-01

الرؤوس

استخدم العنوان التالي للمصادقة على طلبك.

المفتاح	القيمة
Ocp-Apim-Subscription-Key	مفتاح موردك. يُستخدم للمصادقة على طلبات واجهة برمجة التطبيقات.

بعد إرسال طلب واجهة برمجة التطبيقات، ستتلقى استجابة 202 بعنوان Operation-Location يُستخدم للتحقق من حالة الوظيفة.

الخطوات التالية

بعد اكتمال التدريب، سوف تتمكن من عرض أداء النموذج لتحسين النموذج الخاص بك اختياريًا إذا لزم الأمر. بمجرد أن تكون راضياً عن نموذجك، يمكنك توزيعه، ما يجعله متاحاً للاستخدام لاستخراج الكيانات من النص.