تسمية أقوالك في Language Studio

بمجرد أن تقوم ببناء مخطط لمشروعك، يجب عليك إضافة الأقوال التدريبية إليه. يجب أن تكون الأقوال مشابهة لما سيستخدمه مستخدموك عند التفاعل مع المشروع. عند إضافة أي قولٍ، يتعين عليك تحديد الهدف الذي ينتمي إليه. بعد إضافة الأقوال، قم بتسمية الكلمات داخل كلامك الذي تريد استخراجه ككيانات.

تعد تسمية البيانات خطوة حاسمة في دورة حياة التطوير؛ سيتم استخدام هذه البيانات في الخطوة التالية عند تدريب النموذج الخاص بك بحيث يمكن للنموذج الخاص بك التعلم من البيانات المسماة. إذا كنت قد قمت بالفعل بتسمية الأقوال، فيمكنك استيرادها مباشرةً إلى مشروعك ولكنك تحتاج إلى التأكد من أن بياناتك تتبع تنسيق البيانات المقبول. راجع إنشاء مشروع لمعرفة المزيد حول استيراد البيانات المسماة إلى مشروعك. تُوضح البيانات المسماة النموذج كيفية تفسير النص، وتستخدم للتدريب والتقييم.

المتطلبات الأساسية

قبل أن تتمكن من تسمية بياناتك، تحتاج إلى:

• مشروع تم إنشاؤه بنجاح.

راجع دورة حياة تطوير المشروع لمزيد من المعلومات.

إرشادات تسمية البيانات

بعد بناء مخططك و إنشاء مشروعك، ستحتاج إلى تسمية بياناتك. تعد تسمية بياناتك مهمة حتى يعرف نموذجك الكلمات والجمل التي سيتم ربطها بالأهداف والكيانات في مشروعك. سوف ترغب في قضاء بعض الوقت في تسمية الأقوال الخاصة بك - إدخال البيانات التي سيتم استخدامها في تدريب نماذجك وتحسينها.

أثناء إضافة الأقوال وتسميتها، ضع في اعتبارك:

• يتم تعميم نماذج التعلم الآلي استنادًا إلى الأمثلة المسماة التي تقدمها؛ كلما قدمت المزيد من الأمثلة، زاد عدد نقاط البيانات التي يجب على النموذج إجراء تعميمات أفضل.

• تعد دقة البيانات المسماة واتساقها واكتمالها عوامل رئيسية لتحديد أداء النموذج.

  • التسمية بدقة: قم بتسمية كل هدف وكيان بنوعه الصحيح دائما. قم بتضمين ما تريد تصنيفه واستخراجه فقط، وتجنب البيانات غير الضرورية في تسمياتك.
  • تسمية متسقة: يلزم أن يكون لنفس الكيان نفس المسمى عبر جميع الملفات.
  • تسمية تماما: توفير تعبيرات متنوعة لكل هدف. قم بتسمية جميع مثيلات الكيان في جميع الألفاظ الخاصة بك.

• بالنسبة للمشاريع متعددة اللغات، تؤدي إضافة كلمات منطوقة بلغات أخرى إلى زيادة أداء النموذج بهذه اللغات، ولكن تجنب تكرار بياناتك عبر جميع اللغات التي ترغب في دعمها. على سبيل المثال، لتحسين أداء bot مع المستخدمين، قد يضيف المطور أمثلة معظمها باللغة الإنجليزية، في حين يضيف عددًا قليلاً منها بالإسبانية أو الفرنسية كذلك. قد يضيفون أقوالًا، مثل:

  • "حدد اجتماعًا مع مات و كيفنغدًا في الساعة 12 ظهرًا. " (الإنجليزية)
  • "قدم ردًّا مبدئيًّا على تحديث الاجتماع الأسبوعي." (الإنجليزية)
  • "إلغاء اجتماعي القادم." (الأسبانية)

كيفية تسمية أقوالك

استخدم الخطوات التالية لتسمية الأقوال:

1. انتقل إلى صفحة مشروعك في Language Studio.

2. من القائمة اليسرى، حدد Data labeling. في هذه الصفحة، يمكنك البدء في إضافة الألفاظ الخاصة بك ووضع العلامات عليها. يمكنك أيضًا تحميل الألفاظ مباشرة بالنقر فوق تحميل ملف النطق من القائمة العلوية، وتأكد من أنه يتبع التنسيق المقبول.

3. من المحاور العلوية، يمكنك تغيير طريقة العرض لتكون مجموعة تدريب أو مجموعة اختبار. تعرف على المزيد حول مجموعات التدريب والاختبار وكيفية استخدامها لتدريب النموذج وتقييمه.

   

   تلميح

   إذا كنت تخطط لاستخدام تقسيم مجموعة الاختبار تلقائيًا من تقسيم بيانات التدريب، أضف جميع تعبيراتك إلى مجموعة التدريب.

4. من القائمة المنسدلة تحديد الهدف، حدد أحد الأهداف، ولغة التعبير (للمشاريع متعددة اللغات)، والألفاظ نفسها. اضغط على مفتاح Enter في مربع النص الخاص بالأقوال لإضافتها.

5. لديك خياران لتسمية الكيانات في تعبير:

   خيار	الوصف
   التسمية باستخدام فرشاة	حدد أيقونة الفرشاة بجوار نوع كيان في الجزء الأيمن، ثم قم بتمييز النص في المستند الذي تريد إضافة تعليق توضيحي له.
   تسمية باستخدام قائمة مضمنة	قم بتمييز الكلمة التي تريد تسميتها ككيان، وستظهر قائمة. حدد الكيان الذي تريد تسمية هذه الكلمات به.

6. في الجزء الأيمن ضمن محور التسميات، يمكنك العثور على جميع أنواع الكيانات في مشروعك وعدد المثيلات المسماة لكل منها.

7. ضمن محور التوزيع، يمكنك عرض التوزيع عبر مجموعات التدريب والاختبار. لديك خياران للعرض:

   • إجمالي المثيلات لكل كيان مسمى حيث يمكنك عرض عدد جميع المثيلات المسماة لنوع كيان معين.
   • الألفاظ الفريدة لكل كيان مسمى حيث يتم حساب كل تعبير إذا كان يحتوي على مثيل واحد على الأقل مسمى لهذا الكيان.
   • الألفاظ لكل هدف حيث يمكنك عرض عدد الأقوال لكل هدف.

ملاحظة

لا يتم عرض القائمة والمكونات التي تم إنشاؤها مسبقا في صفحة تسمية البيانات، وتنطبق جميع التسميات هنا فقط على المكون الذي تم تعلمه.

لإزالة تسمية:

1. من داخل كلامك، حدد الكيان الذي تريد إزالة التسمية منه.
2. قم بالتمرير عبر القائمة التي تظهر، وحدد إزالة التسمية.

لحذف كيان:

1. حدد الكيان الذي تريد تحريره في الجزء الأيمن.
2. حدد النقاط الثلاث بجوار الكيان، وحدد الخيار الذي تريده من القائمة المنسدلة.

اقتراح الألفاظ باستخدام Azure OpenAI

في CLU، استخدم Azure OpenAI لاقتراح تعبيرات لإضافتها إلى مشروعك باستخدام نماذج GPT. تحتاج أولا إلى الوصول وإنشاء مورد في Azure OpenAI. ستحتاج بعد ذلك إلى إنشاء توزيع لنماذج GPT. اتبع الخطوات المطلوبة مسبقا هنا.

قبل البدء، تتوفر ميزة الألفاظ المقترحة فقط إذا كان مورد اللغة الخاص بك في المناطق التالية:

• شرق الولايات المتحدة
• جنوب وسط الولايات المتحدة
• غرب أوروبا

في صفحة تسمية البيانات:

1. حدد الزر اقتراح الألفاظ . سيتم فتح جزء على الجانب الأيمن يطالبك بتحديد مورد Azure OpenAI ونشره.
2. عند تحديد مورد Azure OpenAI، حدد Connect، والذي يسمح لمورد اللغة الخاص بك بالوصول المباشر إلى مورد Azure OpenAI الخاص بك. يعين مورد اللغة دور Cognitive Services User لمورد Azure OpenAI الخاص بك، والذي يسمح لمورد اللغة الحالي بالوصول إلى خدمة Azure OpenAI. إذا فشل الاتصال، فاتبع هذه الخطوات أدناه لإضافة الدور الصحيح إلى مورد Azure OpenAI يدويا.
3. بمجرد توصيل المورد، حدد التوزيع. النموذج الموصى به لتوزيع Azure OpenAI هو text-davinci-002.
4. حدد الهدف الذي ترغب في الحصول على اقتراحات له. تأكد من أن الهدف الذي حددته يحتوي على 5 كلمات محفوظة على الأقل ليتم تمكينها لاقتراحات التعبير. تستند الاقتراحات المقدمة من Azure OpenAI إلى أحدث الألفاظ التي أضفتها لهذا الهدف.
5. حدد Generate utterances. بمجرد الانتهاء، ستظهر الألفاظ المقترحة بخط منقط حولها، مع الملاحظة التي تم إنشاؤها بواسطة الذكاء الاصطناعي. وينبغي قبول هذه الاقتراحات أو رفضها. يؤدي قبول اقتراح ببساطة إلى إضافته إلى مشروعك، كما لو كنت قد أضفته بنفسك. يؤدي رفضه إلى حذف الاقتراح بالكامل. ستكون الألفاظ المقبولة فقط جزءا من مشروعك وتستخدم للتدريب أو الاختبار. يمكنك قبول أو رفض بالنقر فوق خانة الاختيار الخضراء أو أزرار الإلغاء الحمراء بجانب كل تعبير. يمكنك أيضا استخدام الزرين Accept all و Reject all في شريط الأدوات.

يتطلب استخدام هذه الميزة رسوما على مورد Azure OpenAI لعدد مماثل من الرموز المميزة للألفاظ المقترحة التي تم إنشاؤها. يمكن العثور على تفاصيل أسعار Azure OpenAI هنا.

إضافة التكوينات المطلوبة إلى مورد Azure OpenAI

إذا فشل توصيل مورد اللغة بمورد Azure OpenAI، فاتبع الخطوات التالية:

تمكين إدارة الهوية لمورد اللغة باستخدام الخيارات التالية:

مدخل Azure

يجب أن يكون لمورد اللغة إدارة الهوية، لتمكينه باستخدام مدخل Microsoft Azure:

1. حدد مورد اللغة
2. من القائمة اليسرى، ضمن قسم Resource Management، حدد Identity
3. من علامة التبويب System assigned، تأكد من تعيين Status إلى On

استوديو اللغة

يجب أن يكون لمورد Language إدارة الهوية، لتمكينه باستخدام Language Studio:

1. حدد أيقونة الإعدادات في الزاوية العلوية اليسرى من الشاشة
2. حدد الموارد
3. حدد خانة الاختيار الهوية المدارة لمورد اللغة.

بعد تمكين الهوية المدارة، قم بتعيين الدور Cognitive Services User لمورد Azure OpenAI باستخدام الهوية المدارة لمورد اللغة.

1. سجل الدخول إلى مدخل Microsoft Azure وانتقل إلى مورد Azure OpenAI.
2. حدد علامة التبويب Access Control (IAM) على اليسار.
3. حدد Add > Add role assignment.
4. حدد "Job function roles" وانقر فوق Next.
5. حدد Cognitive Services User من قائمة الأدوار وانقر فوق التالي.
6. حدد تعيين الوصول إلى "الهوية المدارة" وحدد "Select members".
7. ضمن "Managed identity" حدد "Language".
8. ابحث عن المورد الخاص بك وحدده. ثم حدد الزر Select أدناه ثم بجوار لإكمال العملية.
9. راجع التفاصيل وحدد Review + Assign.

بعد بضع دقائق، قم بتحديث Language Studio وستتمكن من الاتصال بنجاح ب Azure OpenAI.

الخطوات التالية

• ⁧⁩نموذج التدريب⁧⁩