مقدمة إلى هدف حساب Kubernetes في Azure التعلم الآلي

  • مقالة

ينطبق على:ملحق ML Azure CLI v2 (الحالي)Python SDK azure-ai-ml v2 (الحالي)

باستخدام Azure التعلم الآلي CLI/Python SDK v2، قدم Azure التعلم الآلي هدف حساب جديد - هدف حساب Kubernetes. يمكنك بسهولة تمكين مجموعة Azure Kubernetes Service (AKS) الموجودة أو مجموعة Kubernetes (Arc Kubernetes) الممكنة في Azure Arc لتصبح هدف حساب Kubernetes في Azure التعلم الآلي، واستخدامها لتدريب النماذج أو توزيعها.

رسم تخطيطي يوضح كيفية اتصال Azure التعلم الآلي ب Kubernetes.

في هذه المقالة، ستتعرف على:

  • كيف تعمل هذه الميزة
  • سيناريوهات الاستخدام
  • أفضل الممارسات الموصى بها
  • KubernetesCompute وAksCompute القديم

كيف تعمل هذه الميزة

يدعم حساب Azure التعلم الآلي Kubernetes نوعين من مجموعة Kubernetes:

  • نظام مجموعة AKS في Azure. باستخدام مجموعة AKS المدارة ذاتيًا في Azure، يمكنك الحصول على الأمان وعناصر التحكم لتلبية متطلبات الامتثال والمرونة لإدارة عبء عمل التعلم الآلي الخاص بالفرق.
  • مجموعة Arc Kubernetes خارج Azure. باستخدام نظام مجموعة Arc Kubernetes، يمكنك تدريب النماذج أو توزيعها في أي بنية أساسية داخلية أو عبر سحابة متعددة، أو الحافة.

مع نشر ملحق نظام المجموعة البسيط على نظام مجموعة AKS أو Arc Kubernetes، يتم دعم مجموعة Kubernetes بسلاسة في Azure التعلم الآلي لتشغيل حمل عمل التدريب أو الاستدلال. من السهل تمكين واستخدام مجموعة Kubernetes موجودة لحمل عمل Azure التعلم الآلي مع الخطوات البسيطة التالية:

  1. إعداد مجموعة خدمة Azure Kubernetes أو مجموعة Arc Kubernetes.
  2. انشر ملحق Azure التعلم الآلي.
  3. إرفاق مجموعة Kubernetes إلى مساحة عمل Azure التعلم الآلي.
  4. استخدم هدف حساب Kubernetes من CLI v2 وSDK v2 وواجهة مستخدم Studio.

فريق عمليات تكنولوجيا المعلومات. فريق عمليات تكنولوجيا المعلومات مسؤول عن الخطوات الثلاث الأولى: إعداد نظام مجموعة AKS أو Arc Kubernetes، ونشر ملحق مجموعة Azure التعلم الآلي، وإرفاق مجموعة Kubernetes بمساحة عمل Azure التعلم الآلي. بالإضافة إلى خطوات إعداد الحوسبة الأساسية هذه، يستخدم فريق عمليات تكنولوجيا المعلومات أيضًا أدوات مألوفة مثل Azure CLI أو kubectl للعناية بالمهام التالية لفريق علوم البيانات:

  • تكوينات الشبكة والأمان، مثل اتصال خادم الوكيل الصادر أو تكوين جدار حماية Azure وإعداد موجه الاستدلال (azureml-fe) وإنهاء SSL/TLS وتكوين الشبكة الظاهرية.
  • إنشاء وإدارة أنواع المثيلات لسيناريوهات حمل عمل التعلم الآلي المختلفة واكتساب استخدام موارد الحوسبة بكفاءة.
  • مشكلة في إطلاق مشكلات حمل العمل المتعلقة بمجموعة Kubernetes.

مجموعة علوم البيانات. بمجرد انتهاء فريق عمليات تكنولوجيا المعلومات من إعداد الحوسبة وإنشاء هدف (أهداف) الحوسبة، يمكن لفريق علوم البيانات اكتشاف قائمة بأهداف الحوسبة وأنواع المثيلات المتوفرة في مساحة عمل Azure التعلم الآلي. يمكن استخدام موارد الحوسبة هذه لحمل عمل التدريب أو الاستدلال. يحدد علم البيانات اسم هدف الحساب واسم نوع المثيل باستخدام الأدوات أو واجهات برمجة التطبيقات المفضلة لديهم. على سبيل المثال، قد تكون هذه الأسماء Azure التعلم الآلي CLI v2 أو Python SDK v2 أو واجهة مستخدم Studio.

سيناريوهات استخدام Kubernetes

باستخدام مجموعة Arc Kubernetes، يمكنك إنشاء نماذج وتدريبها ونشرها في أي بنية أساسية محلية وعبر متعددة السحابة باستخدام Kubernetes. يؤدي هذا إلى فتح بعض أنماط الاستخدام الجديدة التي لم تكن ممكنة في السابق في بيئة إعداد السحابة. يوفر الجدول التالي ملخصا لأنماط الاستخدام الجديدة التي تم تمكينها بواسطة حساب Azure التعلم الآلي Kubernetes:

نمط الاستخدام موقع البيانات الدافع إعداد البنية التحتية وتنفيذ التعلم الآلي Azure
تدريب النموذج في السحابة، ونشر النموذج المحلي السحابة الاستفادة من الحوسبة السحابية. إما بسبب احتياجات الحوسبة المرنة أو الأجهزة الخاصة مثل وحدة معالجة الرسومات.
يجب نشر النموذج محليا بسبب متطلبات الأمان أو التوافق أو زمن الانتقال		 1. الحوسبة المدارة من Azure في السحابة.
2. يدير العميل Kubernetes محليًا.
3. عمليات MLOps المؤتمتة بالكامل في الوضع المختلط، بما في ذلك خطوات التدريب ونشر النموذج التي تنتقل بسلاسة من السحابة إلى أماكن العمل والعكس بالعكس.
4. قابلة للتكرار، مع تتبع جميع الأصول بشكل صحيح. إعادة تدريب النموذج عند الضرورة، وتحديث نشر النموذج تلقائيًا بعد إعادة التدريب.
تدريب النموذج المحلي والسحابة، ونشره في كل من السحابة والأماكن المحلية السحابة المؤسسات التي ترغب في الجمع بين الاستثمارات المحلية وقابلية التوسع السحابي. أحضر السحابة والحوسبة المحلية ضمن جزء واحد من الزجاج. يوجد مصدر واحد للحقيقة للبيانات في السحابة، ويمكن نسخه نسخا متماثلا إلى أماكن العمل (أي ببطء عند الاستخدام أو بشكل استباقي). يكون الاستخدام الأساسي لحساب السحابة عندما لا تتوفر الموارد المحلية (قيد الاستخدام، الصيانة) أو لا تحتوي على متطلبات أجهزة محددة (GPU). 1. الحوسبة المدارة من Azure في السحابة.
2. يدير العميل Kubernetes محليًا.
3. عمليات MLOps المؤتمتة بالكامل في الوضع المختلط، بما في ذلك خطوات التدريب ونشر النموذج التي تنتقل بسلاسة من السحابة إلى أماكن العمل والعكس بالعكس.
4. قابلة للتكرار، مع تتبع جميع الأصول بشكل صحيح. إعادة تدريب النموذج عند الضرورة، وتحديث نشر النموذج تلقائيًا بعد إعادة التدريب.
تدريب النموذج المحلي، ونشر النموذج في السحابة محلي يجب أن تظل البيانات في أماكن العمل بسبب متطلبات موقع البيانات.
انشر النموذج في السحابة للوصول إلى الخدمة العالمية أو لمرونة الحساب للمقياس ومعدل النقل.		 1. الحوسبة المدارة من Azure في السحابة.
2. يدير العميل Kubernetes محليًا.
3. عمليات MLOps المؤتمتة بالكامل في الوضع المختلط، بما في ذلك خطوات التدريب ونشر النموذج التي تنتقل بسلاسة من السحابة إلى أماكن العمل والعكس بالعكس.
4. قابلة للتكرار، مع تتبع جميع الأصول بشكل صحيح. إعادة تدريب النموذج عند الضرورة، وتحديث نشر النموذج تلقائيًا بعد إعادة التدريب.
إحضار AKS الخاص بك في Azure السحابة المزيد من الأمن والضوابط.
جميع التعلم الآلي لـ IP الخاص لمنع تسرب البيانات.		 1. نظام مجموعة AKS خلف شبكة Azure الظاهرية.
2. إنشاء نقاط نهاية خاصة في نفس الشبكة الظاهرية لمساحة عمل Azure التعلم الآلي والموارد المقترنة بها.
3. MLOps المؤتمتة بالكامل.
دورة حياة التعلم الآلي الكاملة محليًا محلي تأمين البيانات الحساسة أو IP الخاص، مثل نماذج التعلم الآلي والرمز/البرامج النصية. 1. اتصال خادم الوكيل الصادر محليًا.
2. ارتباط Azure ExpressRoute وAzure Arc الخاص بموارد Azure.
3. مجموعات Kubernetes المدارة من قبل العميل.
4. MLOps المؤتمتة بالكامل.

القيود

KubernetesComputeالهدف في أحمال عمل Azure التعلم الآلي (التدريب واستدلال النموذج) له القيود التالية:

  • توفر ميزات المعاينة في Azure التعلم الآلي غير مضمون.
    • القيد المحدد: النماذج (بما في ذلك النموذج الأساسي) من كتالوج النموذج والسجل غير مدعومة على نقاط نهاية Kubernetes عبر الإنترنت.

الفصل بين المسؤوليات بين فريق عمليات تكنولوجيا المعلومات وفريق علوم البيانات. كما ذكرنا في القسم السابق، فإن إدارة الحوسبة والبنية الأساسية الخاصة بك لحمل عمل التعلم الآلي مهمة معقدة. من الأفضل أن يتم ذلك من قبل فريق عمليات تكنولوجيا المعلومات حتى يتمكن فريق علوم البيانات من التركيز على نماذج التعلم الآلي لتحقيق الكفاءة التنظيمية.

إنشاء أنواع المثيلات وإدارتها لسيناريوهات مختلفة من حمل عمل التعلم الآلي. يستخدم كل حمل عمل للتعلم الآلي كميات مختلفة من موارد الحوسبة مثل وحدة CPU/GPU والذاكرة. ينفذ Azure التعلم الآلي نوع المثيل كتعريف موارد Kubernetes المخصص (CRD) مع خصائص nodeSelector وطلب/حد المورد. مع قائمة منسقة بعناية من أنواع المثيلات، يمكن لعمليات تكنولوجيا المعلومات استهداف حمل عمل التعلم الآلي على عقدة (عقد) محددة وإدارة استخدام موارد الحوسبة بكفاءة.

تشترك مساحات عمل Azure التعلم الآلي المتعددة في نفس مجموعة Kubernetes. يمكنك إرفاق مجموعة Kubernetes عدة مرات بنفس مساحة عمل Azure التعلم الآلي أو مساحات عمل Azure التعلم الآلي مختلفة، مما يؤدي إلى إنشاء أهداف حوسبة متعددة في مساحة عمل واحدة أو مساحات عمل متعددة. نظرا لأن العديد من العملاء ينظمون مشاريع علوم البيانات حول مساحة عمل Azure التعلم الآلي، يمكن لمشاريع متعددة لعلوم البيانات الآن مشاركة نفس مجموعة Kubernetes. وهذا يقلل بشكل كبير من المصروفات الإضافية لإدارة البنية التحتية للتعلم الآلي وتوفير تكاليف تكنولوجيا المعلومات.

عزل حمل عمل الفريق/المشروع باستخدام مساحة اسم Kubernetes. عند إرفاق مجموعة Kubernetes إلى مساحة عمل Azure التعلم الآلي، يمكنك تحديد مساحة اسم Kubernetes لهدف الحساب. يتم وضع جميع أحمال العمل التي يتم تشغيلها بواسطة هدف الحساب ضمن مساحة الاسم المحددة.

KubernetesCompute وAksCompute القديم

باستخدام Azure التعلم الآلي CLI/Python SDK v1، يمكنك نشر النماذج على AKS باستخدام هدف AksCompute. يدعم كل من هدف KubernetesCompute وهدف AksCompute تكامل AKS، ولكنهما يدعمانه بشكل مختلف. يوضح الجدول التالي اختلافاتها الرئيسية:

القدرات تكامل AKS مع AksCompute (قديم) تكامل AKS مع KubernetesCompute
CLI/SDK v1 ‏‏نعم‬ لا
CLI/SDK v2 لا ‏‏نعم‬
التدريب لا ‏‏نعم‬
الاستدلال في الوقت الحقيقي ‏‏نعم‬ ‏‏نعم‬
استدلال الدُفعة لا ‏‏نعم‬
الاستدلال في الوقت الحقيقي على ميزات جديدة لا يوجد تطوير للميزات الجديدة مخطط نشط

مع هذه الاختلافات الرئيسية وتطور Azure التعلم الآلي العام لاستخدام SDK/CLI v2، توصيك Azure التعلم الآلي باستخدام هدف حساب Kubernetes لنشر النماذج إذا قررت استخدام AKS لنشر النموذج.

الموارد الأخرى

الأمثلة

يمكن العثور على جميع أمثلة التعلم الآلي Azure في https://github.com/Azure/azureml-examples.git.

بالنسبة لأي مثال على Azure التعلم الآلي، تحتاج فقط إلى تحديث اسم هدف الحساب إلى هدف حساب Kubernetes الخاص بك، ثم تنتهي جميع المهام.

الخطوات التالية