الترحيل إلى خدمة النموذج

توضح هذه المقالة كيفية تمكين خدمة النموذج على مساحة العمل الخاصة بك وتبديل النماذج الخاصة بك إلى تجربة موزاييك الذكاء الاصطناعي Model Serving المبنية على حساب بلا خادم.

المتطلبات

• نموذج مسجل في سجل نموذج MLflow.
• الأذونات على النماذج المسجلة كما هو موضح في دليل التحكم في الوصول.
• تمكين الحوسبة بلا خادم على مساحة العمل الخاصة بك.

تغييرات هامة

• في خدمة النموذج، يختلف تنسيق الطلب إلى نقطة النهاية والاستجابة من نقطة النهاية قليلا عن خدمة نموذج MLflow القديمة. راجع تسجيل نقطة نهاية نموذج للحصول على تفاصيل حول بروتوكول التنسيق الجديد.
• في Model Serving، يتضمن serving-endpoints عنوان URL لنقطة النهاية بدلا من model.
• تتضمن خدمة النموذج الدعم الكامل لإدارة الموارد باستخدام مهام سير عمل واجهة برمجة التطبيقات.
• خدمة النموذج جاهزة للإنتاج ومساندة من Azure Databricks SLA.

ترحيل نماذج MLflow القديمة التي تخدم النماذج المقدمة إلى خدمة النموذج

يمكنك إنشاء نقطة نهاية خدمة نموذج ونموذج انتقال بمرونة يخدم مهام سير العمل دون تعطيل خدمة نموذج MLflow القديمة.

توضح الخطوات التالية كيفية إنجاز ذلك باستخدام واجهة المستخدم. لكل نموذج تم تمكين خدمة نموذج MLflow القديم عليه:

1. تسجيل النموذج الخاص بك في كتالوج Unity.
2. انتقل إلى تقديم نقاط النهاية على الشريط الجانبي لمساحة عمل التعلم الآلي.
3. اتبع سير العمل الموضح في إنشاء نقاط نهاية خدمة نموذج مخصص حول كيفية إنشاء نقطة نهاية خدمة مع النموذج الخاص بك.
4. قم بنقل التطبيق الخاص بك لاستخدام عنوان URL الجديد الذي توفره نقطة نهاية العرض للاستعلام عن النموذج، جنبا إلى جنب مع تنسيق تسجيل النقاط الجديد.
5. عند انتقال النماذج الخاصة بك، يمكنك الانتقال إلى Models على الشريط الجانبي لمساحة عمل التعلم الآلي.
6. حدد النموذج الذي تريد تعطيل خدمة نموذج MLflow القديمة له.
7. في علامة التبويب تقديم ، حدد إيقاف.
8. تظهر رسالة للتأكيد. حدد إيقاف الخدمة.

ترحيل إصدارات النموذج المنشورة إلى خدمة النموذج

في الإصدارات السابقة من وظيفة خدمة النموذج، تم إنشاء نقطة نهاية الخدمة استنادا إلى مرحلة إصدار النموذج المسجل: Staging أو Production. لترحيل النماذج التي تم تقديمها من تلك التجربة، يمكنك نسخ هذا السلوك نسخا متماثلا في تجربة خدمة النموذج الجديدة.

يوضح هذا القسم كيفية إنشاء نماذج منفصلة تخدم نقاط النهاية لإصدارات Staging النموذج وإصدارات Production النموذج. توضح الخطوات التالية كيفية إنجاز ذلك باستخدام واجهة برمجة تطبيقات نقاط نهاية الخدمة لكل نموذج من النماذج التي تم تقديمها.

في المثال، يحتوي اسم modelA النموذج المسجل على الإصدار 1 في مرحلة Production النموذج والإصدار 2 في مرحلة Stagingالنموذج .

1. إنشاء نقطتي نهاية للنموذج المسجل، واحدة لإصدارات Staging النموذج والأخرى لإصدارات Production النموذج.

   لإصدارات Staging النموذج:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   لإصدارات Production النموذج:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. تحقق من حالة نقاط النهاية.

   لنقطة النهاية المرحلي: GET /api/2.0/serving-endpoints/modelA-Staging

   بالنسبة لنقطة نهاية الإنتاج: GET /api/2.0/serving-endpoints/modelA-Production

3. بمجرد أن تصبح نقاط النهاية جاهزة، استعلم عن نقطة النهاية باستخدام:

   لنقطة النهاية المرحلي: POST /serving-endpoints/modelA-Staging/invocations

   بالنسبة لنقطة نهاية الإنتاج: POST /serving-endpoints/modelA-Production/invocations

4. تحديث نقطة النهاية استنادا إلى انتقالات إصدار النموذج.

   في السيناريو الذي يتم فيه إنشاء إصدار نموذج جديد 3، يمكنك الحصول على انتقال الإصدار 2 من النموذج إلى Production، بينما يمكن أن ينتقل الإصدار 3 من النموذج إلى Staging والطراز الإصدار 1 هو Archived. يمكن أن تنعكس هذه التغييرات في نماذج منفصلة تخدم نقاط النهاية كما يلي:

   بالنسبة لنقطة Staging النهاية، قم بتحديث نقطة النهاية لاستخدام إصدار النموذج الجديد في Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   بالنسبة لنقطة Production النهاية، قم بتحديث نقطة النهاية لاستخدام إصدار النموذج الجديد في Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

ترحيل سير عمل استدلال MosaicML إلى خدمة النموذج

يوفر هذا القسم إرشادات حول كيفية ترحيل عمليات نشر استدلال MosaicML إلى الفسيفساء الذكاء الاصطناعي Model Serving ويتضمن مثالا على دفتر الملاحظات.

يلخص الجدول التالي التماثل بين استدلال MosaicML وخدمة النموذج على Azure Databricks.

استدلال الفسيفساءML	خدمة نموذج الذكاء الاصطناعي الفسيفساء
create_inference_deployment	إنشاء نقطة نهاية خدمة نموذج
update_inference_deployment	تحديث نقطة نهاية خدمة نموذج
delete_inference_deployment	حذف نقطة نهاية خدمة نموذج
get_inference_deployment	الحصول على حالة نقطة نهاية خدمة نموذج

يوفر دفتر الملاحظات التالي مثالا إرشاديا لترحيل نموذج llama-13b من MosaicML إلى الفسيفساء الذكاء الاصطناعي Model Serving.

الترحيل من استنتاج الفسيفساءML إلى دفتر ملاحظات خدمة نموذج الفسيفساء الذكاء الاصطناعي

الحصول على دفتر الملاحظات

الموارد الإضافية

• إنشاء نقاط نهاية خدمة النموذج
• ترحيل نقاط نهاية خدمة LLM المحسنة إلى معدل النقل المقدم