إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
توضح هذه المقالة كيف تتيح لك MLOps Stacks تنفيذ عملية التطوير والنشر كتعليمة برمجية في مستودع يتحكم فيه المصدر. كما يصف فوائد تطوير النموذج على النظام الأساسي Databricks Data Intelligence، وهو نظام أساسي واحد يوحد كل خطوة من خطوات عملية تطوير النموذج ونشره.
ما المقصود ب MLOps Stacks؟
باستخدام MLOps Stacks، يتم تنفيذ عملية تطوير النموذج بالكامل وحفظها وتعقبها كتعليمة برمجية في مستودع يتحكم فيه المصدر. تسهل أتمتة العملية بهذه الطريقة عمليات النشر الأكثر قابلية للتكرار والتنبؤ والمنهجية وتجعل من الممكن التكامل مع عملية CI/CD. تمثيل عملية تطوير النموذج كتعلم برمجي يمكنك من نشر التعليمات البرمجية بدلا من نشر النموذج. يؤدي نشر التعليمات البرمجية إلى أتمتة القدرة على بناء النموذج، مما يسهل إعادة تدريب النموذج عند الضرورة.
عند إنشاء مشروع باستخدام MLOps Stacks، يمكنك تحديد مكونات عملية تطوير ونشر التعلم الآلي مثل دفاتر الملاحظات لاستخدامها في هندسة الميزات والتدريب والاختبار والنشر، وخطوط الأنابيب للتدريب والاختبار، ومساحات العمل لاستخدامها في كل مرحلة، وسير عمل CI/CD باستخدام إجراءات GitHub أو Azure DevOps للاختبار التلقائي ونشر التعليمات البرمجية الخاصة بك.
تنفذ البيئة التي تم إنشاؤها بواسطة MLOps Stacks سير عمل MLOps الموصى به من قبل Databricks. يمكنك تخصيص التعليمات البرمجية لإنشاء مكدسات لمطابقة عمليات مؤسستك أو متطلباتها.
كيف يعمل MLOps Stacks؟
يمكنك استخدام Databricks CLI لإنشاء مكدس MLOps. للحصول على إرشادات خطوة بخطوة، راجع حزم أصول Databricks ل MLOps Stacks.
عند بدء مشروع MLOps Stacks، يرشدك البرنامج من خلال إدخال تفاصيل التكوين ثم ينشئ دليلا يحتوي على الملفات التي تنشئ مشروعك. ينفذ هذا الدليل أو المكدس سير عمل MLOps للإنتاج الذي أوصت به Databricks. يتم إنشاء المكونات المعروضة في الرسم التخطيطي لك، وتحتاج فقط إلى تحرير الملفات لإضافة التعليمات البرمجية المخصصة.
في المخطط:
- ج: يقوم عالم البيانات أو مهندس التعلم الآلي بتهيئة المشروع باستخدام
databricks bundle init mlops-stacks. عند تهيئة المشروع، يمكنك اختيار إعداد مكونات التعليمات البرمجية التعلم الآلي (التي يستخدمها عادة علماء البيانات)، أو مكونات CI/CD (التي يستخدمها عادة مهندسو التعلم الآلي)، أو كليهما. - ب: قام مهندسو التعلم الآلي بإعداد البيانات السرية الأساسية لخدمة Databricks ل CI/CD.
- ج: يطور علماء البيانات نماذج على Databricks أو على نظامهم المحلي.
- د: ينشئ علماء البيانات طلبات سحب لتحديث تعليمة التعلم الآلي البرمجية.
- ه: يشغل مشغل CI/CD دفاتر الملاحظات، وينشئ وظائف، وينفذ مهاما أخرى في مساحات عمل التشغيل المرحلي والإنتاج.
يمكن لمؤسستك استخدام المكدس الافتراضي، أو تخصيصه حسب الحاجة لإضافة مكونات أو إزالتها أو مراجعتها لتناسب ممارسات مؤسستك. راجع قراءة مستودع GitHub للحصول على التفاصيل.
تم تصميم MLOps Stacks مع بنية نمطية للسماح لفرق التعلم الآلي المختلفة بالعمل بشكل مستقل على مشروع مع اتباع أفضل ممارسات هندسة البرمجيات والحفاظ على CI/CD على مستوى الإنتاج. يقوم مهندسو الإنتاج بتكوين البنية الأساسية ل ML التي تسمح لعلماء البيانات بتطوير واختبار ونشر مسارات ونماذج التعلم الآلي للإنتاج.
كما هو موضح في الرسم التخطيطي، يتضمن MLOps Stack الافتراضي المكونات الثلاثة التالية:
- التعليمات البرمجية ل ML. تنشئ MLOps Stacks مجموعة من القوالب لمشروع التعلم الآلي بما في ذلك دفاتر الملاحظات للتدريب والاستدلال الدفعي وما إلى ذلك. يسمح القالب الموحد لعلماء البيانات بالبدء بسرعة، وتوحيد بنية المشروع عبر الفرق، وفرض التعليمات البرمجية المعيارية الجاهزة للاختبار.
- موارد التعلم الآلي كتعلم برمجي. تحدد MLOps Stacks الموارد مثل مساحات العمل والتدفقات لمهام مثل التدريب والاستدلال الدفعي. يتم تعريف الموارد في حزم أصول Databricks لتسهيل الاختبار والتحسين والتحكم في الإصدار لبيئة التعلم الآلي. على سبيل المثال، يمكنك تجربة نوع مثيل أكبر لإعادة تدريب النموذج التلقائي، ويتم تعقب التغيير تلقائيا للرجوع إليه في المستقبل.
- CI/CD. يمكنك استخدام GitHub Actions أو Azure DevOps لاختبار ونشر التعليمات البرمجية والموارد الخاصة ب ML، مع التأكد من تنفيذ جميع تغييرات الإنتاج من خلال التشغيل التلقائي ونشر التعليمات البرمجية التي تم اختبارها فقط على prod.
تدفق مشروع MLOps
يتضمن مشروع MLOps Stacks الافتراضي البنية الأساسية لبرنامج ربط العمليات التجارية ML مع مهام سير عمل CI/CD لاختبار ونشر تدريب النموذج التلقائي ووظائف الاستدلال الدفعي عبر مساحات عمل Databricks للتطوير والتقسيم المرحلي والإنتاج. MLOps Stacks قابل للتكوين، بحيث يمكنك تعديل بنية المشروع لتلبية عمليات مؤسستك.
يوضح الرسم التخطيطي العملية التي يتم تنفيذها بواسطة مكدس MLOps الافتراضي. في مساحة عمل التطوير، يكرر علماء البيانات تعليمات التعلم الآلي البرمجية وطلبات سحب الملفات (PRs). تشغل PRs اختبارات الوحدة واختبارات التكامل في مساحة عمل Databricks مرحلي معزولة. عند دمج طلب السحب في مهام الاستدلال الأساسية والتدريب على النموذج والدفعة التي تعمل في التدريج، يتم تحديثها على الفور لتشغيل أحدث التعليمات البرمجية. بعد دمج طلب السحب في الرئيسي، يمكنك قص فرع إصدار جديد كجزء من عملية الإصدار المجدولة ونشر تغييرات التعليمات البرمجية على الإنتاج.
بنية مشروع MLOps Stacks
يستخدم MLOps Stack حزم أصول Databricks - مجموعة من الملفات المصدر التي تعمل كتعريف شامل للمشروع. تتضمن ملفات المصدر هذه معلومات حول كيفية اختبارها ونشرها. جمع الملفات كحزمة يجعل من السهل التغييرات في الإصدار المشترك واستخدام أفضل ممارسات هندسة البرامج مثل التحكم بالمصادر ومراجعة التعليمات البرمجية والاختبار وCI/CD.
يوضح الرسم التخطيطي الملفات التي تم إنشاؤها ل MLOps Stack الافتراضي. للحصول على تفاصيل حول الملفات المضمنة في المكدس، راجع الوثائق الموجودة في مستودع GitHub أو حزم أصول Databricks ل MLOps Stacks.
مكونات MLOps Stacks
يشير "المكدس" إلى مجموعة الأدوات المستخدمة في عملية التطوير. يستفيد MLOps Stack الافتراضي من النظام الأساسي الموحد Databricks ويستخدم الأدوات التالية:
| المكون | الأداة في Databricks |
|---|---|
| التعليمة البرمجية لتطوير نموذج التعلم الآلي | دفاتر ملاحظات Databricks، MLflow |
| تطوير الميزات وإدارتها | هندسة الميزات |
| مستودع نموذج التعلم الآلي | النماذج في كتالوج Unity |
| خدمة نموذج التعلم الآلي | خدمة نموذج الذكاء الاصطناعي الفسيفساء |
| البنية الأساسية كتعلم برمجي | حزم أصول Databricks |
| منسق | وظائف Databricks |
| CI/CD | إجراءات GitHub، Azure DevOps |
| مراقبة أداء البيانات والنماذج | مراقبة Lakehouse |
الخطوات التالية
للبدء، راجع حزم أصول Databricks لمكدسات MLOps أو مستودع Databricks MLOps Stacks على GitHub.