كيفية استخدام نماذج الأساس مفتوحة المصدر المنسقة بواسطة Azure التعلم الآلي
في هذه المقالة، ستتعلم كيفية ضبط نماذج الأساس وتقييمها ونشرها في كتالوج النموذج.
يمكنك اختبار أي نموذج مدرب مسبقا بسرعة باستخدام نموذج الاستدلال النموذجي على بطاقة النموذج، ما يوفر إدخال العينة الخاص بك لاختبار النتيجة. بالإضافة إلى ذلك، تتضمن بطاقة النموذج لكل نموذج وصفا موجزا للنموذج وارتباطات إلى نماذج للاستدلال المستند إلى التعليمات البرمجية، وضبط النموذج وتقييمه.
كيفية تقييم نماذج الأساس باستخدام بيانات الاختبار الخاصة بك
يمكنك تقييم نموذج الأساس مقابل مجموعة بيانات الاختبار الخاصة بك، باستخدام نموذج تقييم واجهة المستخدم أو باستخدام العينات المستندة إلى التعليمات البرمجية، المرتبطة من بطاقة النموذج.
التقييم باستخدام الاستوديو
يمكنك استدعاء نموذج تقييم النموذج عن طريق تحديد الزر تقييم على بطاقة النموذج لأي نموذج أساسي.
يمكن تقييم كل نموذج لمهمة الاستدلال المحددة التي سيتم استخدام النموذج لها.
بيانات الاختبار:
- قم بتمرير بيانات الاختبار التي ترغب في استخدامها لتقييم النموذج الخاص بك. يمكنك اختيار إما تحميل ملف محلي (بتنسيق JSONL) أو تحديد مجموعة بيانات مسجلة موجودة من مساحة العمل الخاصة بك.
- بمجرد تحديد مجموعة البيانات، تحتاج إلى تعيين الأعمدة من بيانات الإدخال، استنادا إلى المخطط المطلوب للمهمة. على سبيل المثال، تعيين أسماء الأعمدة التي تتوافق مع مفاتيح "الجملة" و"التسمية" لتصنيف النص
الحساب:
قم بتوفير مجموعة الحوسبة التعلم الآلي Azure التي ترغب في استخدامها لضبط النموذج. يجب تشغيل التقييم على حساب GPU. تأكد من أن لديك حصة نسبية كافية للحساب لوحدات SKU للحساب التي ترغب في استخدامها.
حدد إنهاء في نموذج التقييم لإرسال مهمة التقييم. بمجرد اكتمال المهمة، يمكنك عرض مقاييس التقييم للنموذج. استنادا إلى مقاييس التقييم، قد تقرر ما إذا كنت ترغب في ضبط النموذج باستخدام بيانات التدريب الخاصة بك. بالإضافة إلى ذلك، يمكنك تحديد ما إذا كنت ترغب في تسجيل النموذج ونشره في نقطة نهاية.
تقييم استخدام نماذج تستند إلى التعليمات البرمجية
لتمكين المستخدمين من البدء في تقييم النموذج، قمنا بنشر عينات (كل من دفاتر ملاحظات Python وأمثلة CLI) في نماذج التقييم في azureml-examples git repo. ترتبط كل بطاقة نموذج أيضا بعينات التقييم للمهام المقابلة
كيفية ضبط نماذج الأساس باستخدام بيانات التدريب الخاصة بك
لتحسين أداء النموذج في حمل العمل الخاص بك، قد تحتاج إلى ضبط نموذج أساسي باستخدام بيانات التدريب الخاصة بك. يمكنك بسهولة ضبط نماذج الأساس هذه باستخدام إعدادات ضبط في الاستوديو أو باستخدام العينات المستندة إلى التعليمات البرمجية المرتبطة من بطاقة النموذج.
ضبط باستخدام الاستوديو
يمكنك استدعاء نموذج إعدادات الضبط عن طريق تحديد الزر Fine-tune على بطاقة النموذج لأي نموذج أساسي.
ضبط الإعدادات:
نوع مهمة الضبط الدقيق
- يمكن ضبط كل نموذج مدرب مسبقا من كتالوج النموذج لمجموعة معينة من المهام (على سبيل المثال: تصنيف النص، وتصنيف الرمز المميز، والإجابة على الأسئلة). حدد المهمة التي تريد استخدامها من القائمة المنسدلة.
بيانات التدريب
قم بتمرير بيانات التدريب التي ترغب في استخدامها لضبط نموذجك. يمكنك اختيار إما تحميل ملف محلي (بتنسيق JSONL أو CSV أو TSV) أو تحديد مجموعة بيانات مسجلة موجودة من مساحة العمل الخاصة بك.
بمجرد تحديد مجموعة البيانات، تحتاج إلى تعيين الأعمدة من بيانات الإدخال، استنادا إلى المخطط المطلوب للمهمة. على سبيل المثال: تعيين أسماء الأعمدة التي تتوافق مع مفاتيح "الجملة" و"التسمية" لتصنيف النص
- بيانات التحقق من الصحة: قم بتمرير البيانات التي ترغب في استخدامها للتحقق من صحة النموذج الخاص بك. يؤدي تحديد التقسيم التلقائي إلى حجز تقسيم تلقائي لبيانات التدريب للتحقق من الصحة. بدلا من ذلك، يمكنك توفير مجموعة بيانات تحقق مختلفة.
- بيانات الاختبار: قم بتمرير بيانات الاختبار التي ترغب في استخدامها لتقييم النموذج الذي تم ضبطه بدقة. يؤدي تحديد التقسيم التلقائي إلى حجز تقسيم تلقائي لبيانات التدريب للاختبار.
- الحوسبة: قم بتوفير نظام مجموعة الحوسبة التعلم الآلي Azure التي ترغب في استخدامها لضبط النموذج. تحتاج الضبط الدقيق إلى التشغيل على حساب وحدة معالجة الرسومات. نوصي باستخدام وحدات SKU للحساب مع وحدات معالجة الرسومات A100 / V100 عند الضبط الدقيق. تأكد من أن لديك حصة نسبية كافية للحساب لوحدات SKU للحساب التي ترغب في استخدامها.
- حدد إنهاء في نموذج الضبط لإرسال مهمة الضبط الدقيقة. بمجرد اكتمال المهمة، يمكنك عرض مقاييس التقييم للنموذج المضبط بدقة. يمكنك بعد ذلك تسجيل إخراج النموذج المضبط بواسطة مهمة الضبط الدقيقة ونشر هذا النموذج إلى نقطة نهاية للاستدلال.
ضبط دقيق باستخدام نماذج تستند إلى التعليمات البرمجية
حاليا، يدعم Azure التعلم الآلي نماذج الضبط الدقيقة لمهام اللغة التالية:
- تصنيف النصوص
- تصنيف الرمز المميز
- الإجابة عن الأسئلة
- تلخيص
- الترجمة
لتمكين المستخدمين من البدء بسرعة في الضبط الدقيق، قمنا بنشر عينات (كل من دفاتر ملاحظات Python وأمثلة CLI) لكل مهمة في نماذج git repo Finetune azureml-examples. ترتبط كل بطاقة نموذج أيضا بنماذج ضبط دقيقة لمهام الضبط الدقيق المدعومة.
نشر نماذج الأساس إلى نقاط النهاية للاستدلال
يمكنك نشر نماذج الأساس (كل من النماذج المدربة مسبقا من كتالوج النموذج، والنماذج الدقيقة، بمجرد تسجيلها في مساحة العمل الخاصة بك) إلى نقطة نهاية يمكن استخدامها بعد ذلك للاستدلال. يتم دعم النشر إلى كل من نقاط النهاية في الوقت الحقيقي ونقاط النهاية الدفعية. يمكنك نشر هذه النماذج باستخدام معالج نشر واجهة المستخدم أو باستخدام العينات المستندة إلى التعليمات البرمجية المرتبطة من بطاقة النموذج.
النشر باستخدام الاستوديو
يمكنك استدعاء نموذج Deploy UI عن طريق تحديد الزر Deploy على بطاقة النموذج لأي نموذج أساسي، وتحديد إما نقطة النهاية في الوقت الحقيقي أو نقطة نهاية Batch
إعدادات النشر
نظرا لأنه يتم تضمين البرنامج النصي لتسجيل النقاط والبيئة تلقائيا مع نموذج الأساس، تحتاج فقط إلى تحديد الجهاز الظاهري SKU لاستخدامه، وعدد المثيلات واسم نقطة النهاية لاستخدامها في النشر.
الحصة النسبية المشتركة
إذا كنت تقوم بنشر نموذج Llama-2 أو Phi أو Nemotron أو Mistral أو Dolly أو Deci-DeciLM من كتالوج النموذج ولكن ليس لديك حصة نسبية كافية متاحة للتوزيع، فإن Azure التعلم الآلي يسمح لك باستخدام الحصة النسبية من مجموعة حصص مشتركة لفترة محدودة. لمزيد من المعلومات حول الحصة النسبية المشتركة، راجع الحصة النسبية المشتركة التعلم الآلي Azure.
النشر باستخدام نماذج تستند إلى التعليمات البرمجية
لتمكين المستخدمين من البدء بسرعة في النشر والاستدلال، قمنا بنشر عينات في نماذج الاستدلال في azureml-examples git repo. تتضمن العينات المنشورة دفاتر ملاحظات Python وأمثلة CLI. ترتبط كل بطاقة نموذج أيضا بنماذج الاستدلال في الوقت الحقيقي والاستدلال الدفعي.
استيراد نماذج الأساس
إذا كنت تبحث عن استخدام نموذج مصدر مفتوح غير مضمن في كتالوج النموذج، يمكنك استيراد النموذج من Hugging Face إلى مساحة عمل Azure التعلم الآلي. معانقة الوجه هي مكتبة مفتوحة المصدر لمعالجة اللغة الطبيعية (NLP) التي توفر نماذج مدربة مسبقا لمهام NLP الشائعة. حاليا، يدعم استيراد النموذج استيراد النماذج للمهام التالية، طالما أن النموذج يفي بالمتطلبات المدرجة في دفتر ملاحظات استيراد النموذج:
- قناع التعبئة
- تصنيف الرمز المميز
- الإجابة على الأسئلة
- تلخيص
- إنشاء نص
- تصنيف النص
- الترجمه
- تصنيف الصور
- نص إلى صورة
إشعار
تخضع النماذج من Hugging Face لشروط ترخيص الجهات الخارجية المتوفرة في صفحة تفاصيل نموذج Hugging Face. تقع على عاتقك مسؤولية الامتثال لشروط ترخيص النموذج.
يمكنك تحديد الزر Import في الجزء العلوي الأيسر من كتالوج النموذج لاستخدام Model Import Notebook.
يتم أيضا تضمين دفتر ملاحظات استيراد النموذج في azureml-examples git repo هنا.
من أجل استيراد النموذج، تحتاج إلى تمرير النموذج الذي ترغب في MODEL_ID استيراده من Hugging Face. استعرض النماذج على لوحة وصل Hugging Face وحدد النموذج المراد استيراده. تأكد من أن نوع مهمة النموذج من بين أنواع المهام المدعومة. انسخ معرف النموذج، المتوفر في URI للصفحة أو يمكن نسخه باستخدام أيقونة النسخ بجوار اسم النموذج. قم بتعيينه إلى المتغير "MODEL_ID" في دفتر ملاحظات استيراد النموذج. على سبيل المثال:
تحتاج إلى توفير حساب لاستيراد النموذج لتشغيله. يؤدي تشغيل Model Import إلى النموذج المحدد الذي يتم استيراده من Hugging Face وتسجيله في مساحة عمل Azure التعلم الآلي. يمكنك بعد ذلك ضبط هذا النموذج أو توزيعه إلى نقطة نهاية للاستدلال.
معرفة المزيد
- استكشف كتالوج النموذج في Azure التعلم الآلي studio. تحتاج إلى مساحة عمل Azure التعلم الآلي لاستكشاف الكتالوج.
- استكشاف كتالوج النموذج والمجموعات