مشاركة عبر

إدارة التكاليف وتحسينها في التعلم الآلي من Azure

  • مقالة

تعرف على كيفية إدارة التكاليف وتحسينها عند تدريب نماذج التعلم الآلي ونشرها في التعلم الآلي من Azure.

استخدم التلميحات التالية لمساعدتك في إدارة تكاليف موارد الحساب وتحسينها.

  • تكوين مجموعات التدريب للتحجيم التلقائي
  • تكوين نقاط النهاية المدارة عبر الإنترنت للتحجيم التلقائي
  • تعيين الحصص النسبية على الاشتراك ومساحات العمل
  • تعيين نهج الإنهاء على وظيفة التدريب الخاص بك
  • استخدام الأجهزة الظاهرية ذات الأولوية المنخفضة (VM)
  • جدولة مثيلات الحساب لإيقاف التشغيل والبدء تلقائياً
  • استخدام مثيل جهاز ظاهري محجوز من Azure
  • التدريب محلياً
  • توازي التدريب
  • تعيين نهج استبقاء البيانات وحذفها
  • توزيع الموارد في نفس المنطقة
  • حذف عمليات النشر الفاشلة إذا تم إنشاء حسابات لها

للحصول على معلومات حول تكاليف التخطيط والمراقبة، راجع دليل التخطيط لإدارة التكاليف في التعلم الآلي من Azure.

هام

العناصر التي تم وضع علامة عليها (إصدار أولي) في هذه المقالة موجودة حالياً في الإصدار الأولي العام. تتوفر نسخة الإصدار الأولي دون اتفاقية مستوى الخدمة، ولا يوصى به لأحمال عمل الإنتاج. بعض الميزات ربما لا تكون مدعمة أو بها بعض القدرات المقيدة. لمزيد من المعلومات، راجع ⁧⁩شروط الاستخدام التكميلية لمعاينات Microsoft Azure⁧⁩.

استخدام نظام مجموعة الحوسبة في التعلم الآلي من Azure (AmlCompute)

مع البيانات المتغيرة باستمرار، تحتاج إلى تدريب نموذج سريع ومبسط وإعادة تدريبه للحفاظ على دقة النماذج. ومع ذلك، يأتي التدريب المستمر بتكلفة، خاصة بالنسبة لنماذج التعلم العميق على وحدات معالجة الرسومات.

يمكن لمستخدمي التعلم الآلي من Azure استخدام نظام مجموعة الحوسبة في التعلم الآلي من Azure المُدار، وتسمى أيضا AmlCompute. يدعم AmlCompute خيارات GPU وCPU المختلفة. تتم استضافة AmlCompute داخليًا نيابة عن اشتراكك بواسطة التعلم الآلي من Azure. توفر نفس مستوى الأمان والتوافق والحوكمة على مستوى المؤسسة على نطاق سحابة Azure IaaS.

نظرًا لأن تجمعات الحوسبة هذه موجودة داخل البنية الأساسية لخدمة تأجير البنية الأساسية من Azure، يمكنك نشر التدريب وتوسيع نطاقه وإدارته بنفس متطلبات الأمان والتوافق مثل بقية البنية الأساسية خاصتك. تحدث عمليات النشر هذه في اشتراكك وتلتزم بقواعد الحوكمة خاصتك. تعرف على المزيد حول حوسبة التعلم الآلي من Azure.

تكوين مجموعات التدريب للتحجيم التلقائي

إنّ التحجيم التلقائي للمجموعات استنادًا إلى متطلبات حمل العمل خاصتك يساعدك على تقليل تكاليفك بحيث يمكنك استخدام ما تحتاجه فقط.

تم تصميم مجموعات AmlCompute بحيث توسِّع نطاقها ديناميكيًا استنادا إلى حمل العمل خاصتك. يمكن توسيع نطاق المجموعة إلى الحد الأقصى لعدد العقد التي تقوم بتكوينها. عند اكتمال كل مهمة، يصدر نظام المجموعة العقد ويتوسع إلى الحد الأدنى لعدد العقد التي تم تكوينها.

هام

لتجنب الرسوم عند عدم تشغيل أي مهام، قم بتعيين الحد الأدنى للعقد إلى 0. يسمح هذا الإعداد للتعلم الآلي من Microsoft Azure بإلغاء تخصيص العقد عندما لا تكون قيد الاستخدام. أي قيمة أكبر من 0 ستبقي هذا العدد من العُقد قيد التشغيل، حتى لو لم تكن قيد الاستخدام.

يمكنك أيضا تكوين مقدار الوقت الذي تكون فيه العقدة الخامة قبل تقليص الحجم. بشكل افتراضي، يتم تعيين وقت الخمول قبل تقليص الحجم إلى 120 ثانية.

  • إذا قمت بإجراء تجارب أقل تكرارية، فقلل هذا الوقت لتوفير التكاليف.
  • إذا قمت بإجراء اختبار تطوير/اختبار أكثر تكرارية، فقد تحتاج إلى زيادة الوقت حتى لا تدفع مقابل التحجيم المستمر لأعلى ولأسفل بعد كل تغيير في النصوص أو البيئة التدريبية خاصتك.

يمكن تكوين مجموعات AmlCompute لمتطلبات حمل العمل المتغيرة في مدخل Azure، باستخدام فئة AmlCompute SDK، AmlCompute CLI، مع واجهات REST API.

تكوين نقاط النهاية المدارة عبر الإنترنت للتحجيم التلقائي

يقوم التحجيم التلقائي بتشغيل المقدار المناسب من الموارد للتعامل مع الحِمل على تطبيقك. تدعم نقاط النهاية المدارة عبر الإنترنت التحجيم التلقائي من خلال التكامل مع ميزة التحجيم التلقائي ل Azure Monitor.

يدعم القياس التلقائي لـ Azure Monitor مجموعة غنية من القواعد. يمكنك تكوين القياس المستند إلى القياسات (على سبيل المثال، استخدام وحدة المعالجة المركزية >70%)، أو القياس المستند إلى الجدول الزمني (على سبيل المثال، قواعد القياس لساعات العمل القصوى)، أو مجموعة. لمزيد من المعلومات، راجع التحجيم التلقائي لنقاط النهاية عبر الإنترنت.

تعيين الحصص النسبية على الموارد

يأتي AmlCompute مع تكوين الحصة النسبية (أو الحد). هذه الحصة النسبية هي حسب عائلة الجهاز الظاهري (على سبيل المثال، سلسلة Dv2، سلسلة NCv3) وتختلف حسب المنطقة لكل اشتراك. تبدأ الاشتراكات بإعدادات افتراضية صغيرة لتستمر في العمل، ولكن استخدم هذا الإعداد للتحكم في مقدار موارد Amlcompute المتاحة ليتم تجميعها في اشتراكك.

قم أيضا بتكوين الحصة النسبية على مستوى مساحة العمل بواسطة عائلة الجهاز الظاهري، لكل مساحة عمل ضمن اشتراك. يسمح لك القيام بذلك بتحكم أكثر دقة في التكاليف التي قد تتحملها كل مساحة عمل وتقيد بعض عائلات الأجهزة الظاهرية.

لتعيين الحصص النسبية على مستوى مساحة العمل، ابدأ في مدخل Azure. حدد أي مساحة عمل في اشتراكك، وحدد الاستخدامات + الحصص النسبية في الجزء الأيمن. ثم حدد علامة التبويب تكوين الحصص النسبية لعرض الحصص النسبية. تحتاج إلى امتيازات في نطاق الاشتراك لتعيين الحصة النسبية، لأنه إعداد يؤثر على مساحات عمل متعددة.

تعيين نهج التصفية التلقائية للوظيفة

في بعض الحالات، يجب عليك تكوين عمليات تشغيل التدريب لتقييد مدتها أو إنهائها مبكرا. على سبيل المثال، عند استخدام ضبط المعلمة الفائقة المضمن في Azure التعلم الآلي أو التعلم الآلي التلقائي.

فيما يلي بعض الخيارات المتوفرة لديك:

  • حدد معلمة تسمى max_run_duration_seconds في RunConfiguration للتحكم في الحد الأقصى للمدة التي يمكن أن يمتد إليها التشغيل على الحساب الذي تختاره (إما حساب السحابة المحلي أو البعيد).
  • بالنسبة إلى ضبط المعلمة الفائقة، حدد نهج إنهاء مبكر من نهج قطع المسار، أو نهج إيقاف الوسيط، أو نهج تحديد الاقتطاع. لمزيد من التحكم في مسح المعلمات الفائقة، استخدم معلمات مثل max_total_runs أو max_duration_minutes.
  • بالنسبة للتعلم الآلي التلقائي، قم بتعيين نهج إنهاء مماثل باستخدام العلامة enable_early_stopping. استخدم أيضا خصائص مثل iteration_timeout_minutes و experiment_timeout_minutes للتحكم في الحد الأقصى لمدة الوظيفة أو التجربة بأكملها.

استخدام VMs ذات الأولوية المنخفضة

يتيح لك Azure استخدام السعة الزائدة غير المستخدمة مثل الأجهزة الظاهرية ذات الأولوية المنخفضة عبر مجموعات تحجيم الجهاز الظاهري والدُفعات وخدمة التعلم الآلي. هذه التخصيصات وقائية ولكنها تأتي بسعر مخفض مقارنة بالأجهزة الظاهرية المخصصة. بشكل عام، نوصي باستخدام الأجهزة الظاهرية ذات الأولوية المنخفضة لأحمال عمل "الدفعة". يجب عليك أيضًا استخدامها حيثما تكون المقاطعات قابلة للاسترداد إما من خلال عمليات إعادة التقديم (للاستدلال على الدفعة) أو من خلال إعادة التشغيل (للتدريب على التعلم العميق باستخدام نقاط التحقق).

الأجهزة الظاهرية ذات الأولوية المنخفضة لها حصة نسبية واحدة منفصلة عن قيمة الحصة النسبية المخصصة، وهي حسب عائلة الجهاز الظاهري. تعرف على المزيد حول حصص AmlCompute النسبية.

الأجهزة الظاهرية ذات الأولوية المنخفضة لا تعمل مع مثيلات الحوسبة، لأنها تحتاج إلى دعم تجارب دفتر الملاحظات التفاعلية.

مثيلات الحوسبة المجدولة

عند إنشاء مثيل حساب، يبقى الجهاز الظاهري قيد التشغيل بحيث يكون متاحا لعملك.

استخدام المثيلات المحجوزة

هناك طريقة أخرى لتوفير الأموال على موارد الحوسبة وهي مثيل الجهاز الظاهري المحجوز من Azure. مع هذا العرض، يمكنك الالتزام بمدد من سنة واحدة أو ثلاث سنوات. تتراوح هذه الخصومات ما يصل إلى 72٪ من أسعار الدفع أولا بأول ويتم تطبيقها مباشرة على فاتورة Azure الشهرية.

حوسبة التعلم الآلي من Azure تدعم المثيلات المحجوزة بشكل افتراضي. إذا قمت بشراء مثيل محجوز لمدة عام أو ثلاث سنوات، فسنطبق تلقائيا خصما على حساب Azure التعلم الآلي المدار.

توازي التدريب

تتمثل إحدى الطرق الرئيسية لتحسين التكلفة والأداء في موازاة حمل العمل بمساعدة مكون متوازي في Azure التعلم الآلي. يسمح لك المكون المتوازي باستخدام العديد من العقد الأصغر لتنفيذ المهمة بالتوازي، مما يسمح لك بالتحجيم أفقيا. هناك حمل للتوازي. اعتمادًا على حمل العمل ودرجة التوازي التي يمكن تحقيقها، قد يكون هذا أو لا يكون خيارًا. لمزيد من التفاصيل، اتبع هذا الارتباط لوثائق ParallelComponent .

تعيين نهج استبقاء البيانات وحذفها

في كل مرة يتم فيها تنفيذ مسار، يتم إنشاء مجموعات بيانات وسيطة في كل خطوة. بمرور الوقت، تشغل مجموعات البيانات الوسيطة هذه مساحة في حساب التخزين الخاص بك. ضع في اعتبارك إعداد نهج لإدارة بياناتك طوال دورة حياتها لأرشفة مجموعات البيانات وحذفها. لمزيد من المعلومات، راجع تحسين التكاليف من خلال مستويات الوصول إلى مخزن الكائنات الثنائية الكبيرة في Azure تلقائياً.

توزيع الموارد في نفس المنطقة

قد تواجه الحسابات الموجودة في مناطق مختلفة زمن انتقال الشبكة وزيادة تكاليف نقل البيانات. يتم تكبد تكاليف شبكة Azure من النطاق الترددي الصادر من مراكز بيانات Azure. للمساعدة في تقليل تكاليف الشبكة، انشر جميع مواردك في المنطقة. يمكن أن يساعد توفير مساحة عمل التعلم الآلي من Azure والموارد التابعة في نفس المنطقة مثل بياناتك في خفض التكلفة وتحسين الأداء.

بالنسبة لسيناريوهات السحابة المختلطة مثل تلك التي تستخدم ExpressRoute، يمكن أن يكون نقل جميع الموارد إلى Azure أكثر فعالية من حيث التكلفة لتحسين تكاليف الشبكة وزمن الانتقال.

حذف عمليات النشر الفاشلة إذا تم إنشاء حسابات لها

تستخدم نقطة النهاية المدارة عبر الإنترنت الأجهزة الظاهرية للتوزيع. إذا قمت بإرسال طلب لإنشاء نشر عبر الإنترنت وفشل، فقد يكون قد اجتاز المرحلة عند إنشاء الحساب. في هذه الحالة، قد يتحمل التوزيع الفاشل رسوما. إذا انتهيت من تصحيح الأخطاء أو التحقيق في الفشل، يمكنك حذف عمليات النشر الفاشلة لتوفير التكلفة.

الخطوات التالية