استكشاف هيكل الحل
قبل البدء، دعونا نستكشف التصميم لفهم جميع المتطلبات. يُعني إحضار نموذج إلى التشغيل أنك بحاجة إلى توسيع نطاق الحل خاصتك والعمل مع فرق أخرى. جنباً إلى جنب مع علماء البيانات ومهندسي البيانات وفريق البنية الأساسية، قررت استخدام النهج التالي:
- سيتم تخزين جميع البيانات في Azure Blob Storage، والذي سيديره مهندس البيانات.
- سيقوم فريق البنية الأساسية بإنشاء موارد Azure الضرورية مثل مساحة عمل التعلم الآلي من Azure.
- سيركز عالم البيانات على التكرار الحلقي الداخلي: تطوير النموذج وتدريبه.
- سيتخذ مهندس التعلم الآلي النموذج المُدرب ويوزعه في التكرار الحلقي الخارجي.
جنباً إلى جنب مع الفريق الأكبر، بادر بتصميم تصميم لتحقيق عمليات التعلم الآلي (MLOps).
إشعار
الرسم التخطيطي هو تمثيل مبسط لتصميم MLOps. لعرض تصميم أكثر تفصيلاً، استكشف حالات الاستخدام المختلفة في مسرع حلول MLOps (v2).
الهدف الرئيسي من تصميم MLOps هو إنشاء حل قوي وقابل للتكرار. لتحقيق ذلك، يتضمن التصميم ما يلي:
- الإعداد: إنشاء جميع موارد Azure الضرورية للحل.
- تطوير النموذج (التكرار الحلقي الداخلي): استكشاف البيانات ومعالجتها لتدريب النموذج وتقييمه.
- التكامل المستمر: حزم النموذج وتسجيله.
- توزيع النموذج (التكرار الحلقي الخارجي): توزيع النموذج.
- التوزيع المستمر: اختبار النموذج وترقيته إلى بيئة التشغيل.
- المراقبة: مراقبة أداء النموذج ونقطة النهاية.
عند هذه النقطة في مشروعك، يتم إنشاء مساحة عمل التعلم الآلي من Azure، ويتم تخزين البيانات في Azure Blob Storage، وقد درب فريق علوم البيانات النموذج.
تريد الانتقال من التكرار الحلقي الداخلي وتطوير النموذج، إلى التكرار الحلقي الخارجي عن طريق توزيع النموذج إلى التشغيل. لذلك، تحتاج إلى تحويل إخراج فريق علوم البيانات إلى مسار قوي وقابل للتكرار في التعلم الآلي من Azure.
سيؤدي ضمان تخزين جميع التعليمات البرمجية كنصوص وتنفيذ البرامج النصية كوظائف التعلم الآلي من Azure إلى تسهيل أتمتة تدريب النموذج وإعادة تدريب النموذج في المستقبل.
يعمل فريق علوم البيانات على تطوير النموذج. إنه يمنحك دفتر ملاحظات Jupyter، والذي يتضمن المهام التالية:
- قراءة البيانات واستكشافها.
- إجراء هندسة الميزات.
- تدريب النموذج.
- تقييم النموذج.
كجزء من الإعداد، أنشأ فريق البنية الأساسية:
- مساحة عمل تطوير التعلم الآلي من Azure (dev) التي يمكن لفريق علوم البيانات للاستكشاف والتجريب استخدامها.
- أصل بيانات في مساحة العمل، والذي يشير إلى مجلد في Azure Blob Storage يحتوي على البيانات.
- موارد الحساب اللازمة لتشغيل دفاتر الملاحظات والبرامج النصية.
مهمتك الأولى نحو MLOps، هي تحويل العمل من علماء البيانات، بحيث يمكنك أتمتة تطوير النموذج بسهولةٍ. بينما يعمل فريق علوم البيانات في دفتر ملاحظات Jupyter، تحتاج إلى استخدام البرامج النصية وتنفيذها باستخدام وظائف التعلم الآلي من Azure. سيكون إدخال الوظيفة هو أصل البيانات الذي أنشأه فريق البنية الأساسية، والذي يشير إلى البيانات الموجودة في Azure Blob Storage، والمتصلة بمساحة عمل التعلم الآلي من Azure.