إدارة الموازنات والتكاليف والحصة النسبية للتعلم الآلي من Microsoft Azure على نطاق المؤسسة
عند إدارة تكاليف الحساب المتكبدة من التعلم الآلي من Microsoft Azure، على نطاق المؤسسة مع العديد من أحمال العمل والعديد من الفرق والمستخدمين، هناك العديد من تحديات الإدارة والتحسين للعمل من خلالها.
في هذه المقالة، نقدم أفضل الممارسات لتحسين التكاليف وإدارة الميزانيات ومشاركة الحصة النسبية مع التعلم الآلي من Microsoft Azure. وهو يعكس التجربة والدروس المستفادة من تشغيل فرق التعلم الآلي داخليا في Microsoft وأثناء الشراكة مع عملائنا. ستتعلم كيفية:
- تحسين موارد الحوسبة لتلبية متطلبات حمل العمل.
- محرك أفضل استخدام لميزانية الفريق.
- تخطيط وإدارة ومشاركة الميزانيات والتكلفة والحصة على نطاق المؤسسة.
تحسين الحساب لتلبية متطلبات حمل العمل
عند بدء مشروع تعلم آلي جديد، قد تكون هناك حاجة إلى عمل استكشافي للحصول على صورة جيدة لمتطلبات الحساب. يوفر هذا القسم توصيات حول كيفية تحديد خيار SKU المناسب للجهاز الظاهري (VM) للتدريب أو للاستدلال أو كمحطة عمل للعمل منها.
تحديد حجم الحساب للتدريب
قد تختلف متطلبات الأجهزة لحمل عمل التدريب الخاص بك من مشروع إلى آخر. لتلبية هذه المتطلبات، يقدم حساب التعلم الآلي من Microsoft Azure أنواعا مختلفة من الأجهزة الظاهرية:
- الغرض العام: نسبة وحدة المعالجة المركزية المتوازنة إلى الذاكرة.
- الذاكرة المحسنة: نسبة ذاكرة عالية إلى وحدة المعالجة المركزية.
- الحوسبة المحسنة: نسبة عالية من وحدة المعالجة المركزية إلى الذاكرة.
- حساب عالي الأداء: تقديم أداء من فئة القيادة وقابلية التوسع وكفاءة التكلفة لمختلف أحمال عمل HPC في العالم الحقيقي.
- المثيلات مع وحدات معالجة الرسومات: الأجهزة الظاهرية المتخصصة المستهدفة لعرض الرسومات الثقيلة وتحرير الفيديو، بالإضافة إلى تدريب النموذج والاستدلال (ND) مع التعلم العميق.
قد لا تعرف بعد ما هي متطلبات الحوسبة الخاصة بك. في هذا السيناريو، نوصي بالبدء بأي من الخيارات الافتراضية التالية الفعالة من حيث التكلفة. هذه الخيارات مخصصة للاختبار الخفيف ولأحمال العمل التدريبية.
| النوع | حجم الجهاز الظاهري | المواصفات |
|---|---|---|
| CPU | Standard_DS3_v2 | 4 ذاكرات أساسية، ذاكرة وصول عشوائي 14 غيغابايت (GB)، تخزين 28 غيغابايت |
| وحدة معالجة الرسومات (GPU) | Standard_NC6 | 6 ذاكرات أساسية، ذاكرة وصول عشوائي 56 غيغابايت (GB)، تخزين 380 غيغابايت، NVIDIA Tesla K80 GPU |
للحصول على أفضل حجم للجهاز الظاهري للسيناريو الخاص بك، قد يتكون من التجربة والخطأ. فيما يلي عدة جوانب يجب مراعاتها.
- إذا كنت بحاجة إلى وحدة المعالجة المركزية:
- استخدم جهازا ظاهريا محسنا للذاكرة إذا كنت تتدرب على مجموعات البيانات الكبيرة.
- استخدم جهازا ظاهريا محسنا للحساب إذا كنت تقوم بالاستدلال في الوقت الحقيقي أو مهام أخرى حساسة لزمن الانتقال.
- استخدم جهازا ظاهريا مع المزيد من الذاكرات الأساسية وذاكرة الوصول العشوائي لتسريع أوقات التدريب.
- إذا كنت بحاجة إلى وحدة معالجة الرسومات، فشاهد أحجام الأجهزة الظاهرية المحسنة لوحدة معالجة الرسومات للحصول على معلومات حول تحديد جهاز ظاهري.
- إذا كنت تقوم بتدريب موزع، فاستخدم أحجام الأجهزة الظاهرية التي تحتوي على وحدات معالجة الرسومات متعددة.
- إذا كنت تقوم بتدريب موزع على عقد متعددة، فاستخدم وحدات معالجة الرسومات التي تحتوي على اتصالات NVLink.
أثناء تحديد نوع الجهاز الظاهري ووحدة حفظ المخزون التي تناسب حمل العمل الخاص بك على أفضل نحو، قم بتقييم وحدات SKU للأجهزة الظاهرية المماثلة كمفاضلة بين أداء وحدة المعالجة المركزية ووحدة معالجة الرسومات والتسعير. من منظور إدارة التكلفة، قد تعمل الوظيفة بشكل جيد بشكل معقول على العديد من وحدات SKU.
بعض وحدات معالجة الرسومات مثل عائلة NC، ولا سيما وحدات SKU NC_Promo، لها قدرات مماثلة لوحدات معالجة الرسومات الأخرى مثل زمن الانتقال المنخفض والقدرة على إدارة أحمال عمل الحوسبة المتعددة بالتوازي. وهي متوفرة بأسعار مخفضة مقارنة ببعض وحدات معالجة الرسومات الأخرى. قد يؤدي تحديد وحدات SKU للجهاز الظاهري إلى حمل العمل بشكل كبير إلى توفير التكلفة بشكل كبير في النهاية.
تذكير حول أهمية الاستخدام هو الاشتراك في عدد أكبر من وحدات معالجة الرسومات لا يتم تنفيذه بالضرورة بنتائج أسرع. بدلا من ذلك، تأكد من استخدام وحدات معالجة الرسومات بالكامل. على سبيل المثال، تحقق مرة أخرى من الحاجة إلى NVIDIA CUDA. على الرغم من أنه قد يكون مطلوبا لتنفيذ GPU عالي الأداء، فقد لا تعتمد وظيفتك عليه.
تحديد حجم الحساب للاستدلال
تختلف متطلبات الحساب لسيناريوهات الاستدلال عن سيناريوهات التدريب. تختلف الخيارات المتاحة بناء على ما إذا كان السيناريو الخاص بك يتطلب الاستدلال دون اتصال على دفعة واحدة أو يتطلب الاستدلال عبر الإنترنت في الوقت الفعلي.
بالنسبة لسيناريوهات الاستدلال في الوقت الحقيقي، ضع في اعتبارك الاقتراحات التالية:
- استخدم قدرات جمع المعلومات على النموذج الخاص بك مع التعلم الآلي من Microsoft Azure لتحديد مقدار وحدة المعالجة المركزية والذاكرة التي تحتاج إلى تخصيصها للنموذج عند توزيعه كخدمة ويب.
- إذا كنت تقوم بالاستدلال في الوقت الحقيقي ولكنك لا تحتاج إلى توفر عال، فوزع إلى مثيلات حاوية Azure (لا يوجد تحديد SKU).
- إذا كنت تقوم بالاستدلال في الوقت الحقيقي ولكنك تحتاج إلى توفر عال، فوزع إلى Azure Kubernetes Service.
- إذا كنت تستخدم نماذج التعلم الآلي التقليدية وتلقيت < 10 استعلامات/ثانية، فابدأ ب CPU SKU. غالبا ما تعمل وحدات SKU من السلسلة F بشكل جيد.
- إذا كنت تستخدم نماذج التعلم العميق وتلقيت > 10 استعلامات/ثانية، فجرب NVIDIA GPU SKU (NCasT4_v3 غالبا ما يعمل بشكل جيد) مع Triton.
بالنسبة لسيناريوهات الاستدلال الدفعي، ضع في اعتبارك الاقتراحات التالية:
- عند استخدام مسارات التعلم الآلي من Microsoft Azure للاستدلال الدفعي، اتبع الإرشادات الواردة في تحديد حجم الحساب للتدريب لاختيار حجم الجهاز الظاهري الأولي.
- تحسين التكلفة والأداء عن طريق التحجيم أفقيا. تتمثل إحدى الطرق الرئيسية لتحسين التكلفة والأداء في موازاة حمل العمل بمساعدة خطوة التشغيل المتوازية في التعلم الآلي من Microsoft Azure. تسمح لك خطوة البنية الأساسية لبرنامج ربط العمليات التجارية هذه باستخدام العديد من العقد الأصغر لتنفيذ المهمة بالتوازي، ما يسمح لك بالتحجيم أفقيا. هناك حمل للتوازي على الرغم من ذلك. اعتمادا على حمل العمل ودرجة التوازي التي يمكن تحقيقها، قد تكون خطوة التشغيل المتوازية خيارا أو لا.
تحديد حجم مثيل الحساب
للتطوير التفاعلي، يوصى بمثيل حساب التعلم الآلي من Microsoft Azure. يوفر عرض مثيل الحساب (CI) حساب عقدة واحدة مرتبط بمستخدم واحد ويمكن استخدامه كمحطة عمل سحابية.
لا تسمح بعض المؤسسات باستخدام بيانات الإنتاج على محطات العمل المحلية، أو تفرض قيودا على بيئة محطة العمل، أو تقيد تثبيت الحزم والتبعيات في بيئة تكنولوجيا المعلومات بالشركة. يمكن استخدام مثيل حساب كمحطة عمل للتغلب على القيد. يوفر بيئة آمنة مع الوصول إلى بيانات الإنتاج، ويعمل على الصور التي تأتي مع حزم وأدوات شائعة لعلوم البيانات المثبتة مسبقا.
عند تشغيل مثيل الحساب، تتم فوترة المستخدم لحساب الجهاز الظاهري، وموازن التحميل القياسي (قواعد lb/outbound المضمنة، والبيانات المعالجة)، وقرص نظام التشغيل (قرص P10 المدار بواسطة Premium SSD)، والقرص المؤقت (يعتمد نوع القرص المؤقت على حجم الجهاز الظاهري المختار)، وعنوان IP العام. لتوفير التكاليف، نوصي المستخدمين بالتفكير في:
- بدء تشغيل مثيل الحساب وإيقافه عندما لا يكون قيد الاستخدام.
- العمل مع عينة من بياناتك على مثيل حساب وتوسيع نطاقها لحساب المجموعات للعمل مع مجموعتك الكاملة من البيانات
- إرسال مهام التجريب في وضع هدف الحساب المحلي على مثيل الحساب أثناء التطوير أو الاختبار، أو عند التبديل إلى سعة الحوسبة المشتركة عند إرسال المهام على نطاق كامل. على سبيل المثال، العديد من الفترات، ومجموعة كاملة من البيانات، والبحث عن المعلمات الفائقة.
إذا أوقفت مثيل الحساب، فإنه يتوقف عن فوترة ساعات حساب الجهاز الظاهري والقرص المؤقت والتكاليف المعالجة لبيانات موازن التحميل القياسي. ملاحظة لا يزال المستخدم يدفع مقابل قرص نظام التشغيل وقواعد موازن التحميل القياسي المضمنة lb/outbound حتى عند إيقاف مثيل الحساب. تستمر أي بيانات تم حفظها على قرص نظام التشغيل من خلال الإيقاف وإعادة التشغيل.
ضبط حجم الجهاز الظاهري المختار عن طريق مراقبة استخدام الحساب
يمكنك عرض معلومات حول استخدام حساب التعلم الآلي من Microsoft Azure واستخدامه عبر Azure Monitor. يمكنك عرض تفاصيل حول توزيع النموذج وتسجيله وتفاصيل الحصة النسبية مثل العقد النشطة وال الخاملة وتفاصيل التشغيل مثل عمليات التشغيل الملغاة والمكتملة واستخدام الحساب لاستخدام وحدة معالجة الرسومات ووحدة المعالجة المركزية.
استنادا إلى الرؤى من تفاصيل المراقبة، يمكنك تخطيط استخدام الموارد أو ضبطه بشكل أفضل عبر الفريق. على سبيل المثال، إذا لاحظت العديد من العقد الخاملة خلال الأسبوع الماضي، يمكنك العمل مع مالكي مساحة العمل المقابلة لتحديث تكوين نظام مجموعة الحساب لمنع هذه التكلفة الإضافية. يمكن أن تساعد فوائد تحليل أنماط الاستخدام في التنبؤ بالتكاليف وتحسينات الموازنة.
يمكنك الوصول إلى هذه المقاييس مباشرة من مدخل Microsoft Azure. انتقل إلى مساحة عمل التعلم الآلي من Microsoft Azure، وحدد Metrics ضمن قسم المراقبة في اللوحة اليسرى. بعد ذلك، يمكنك تحديد تفاصيل حول ما ترغب في عرضه، مثل المقاييس والتجميع والفترة الزمنية. لمزيد من المعلومات، راجع صفحة وثائق مراقبة التعلم الآلي من Microsoft Azure .
التبديل بين الحوسبة السحابية المحلية والعقدة الواحدة والمتعددة العقد أثناء التطوير
هناك متطلبات مختلفة للحساب والأدوات طوال دورة حياة التعلم الآلي. يمكن واجهة التعلم الآلي من Microsoft Azure من خلال واجهة SDK وCLI من أي تكوين محطة عمل مفضل تقريبا لتلبية هذه المتطلبات.
لتوفير التكاليف والعمل بشكل منتج، يوصى ب:
- استنساخ قاعدة التعليمات البرمجية للتجريب محليا باستخدام Git وإرسال المهام إلى حساب السحابة باستخدام SDK أو CLI للتعلم الآلي من Microsoft Azure.
- إذا كانت مجموعة البيانات كبيرة، ففكر في إدارة عينة من بياناتك على محطة العمل المحلية، مع الاحتفاظ بمجموعه البيانات الكاملة على التخزين السحابي.
- قم بضبط معلمات قاعدة التعليمات البرمجية للتجريب بحيث يمكنك تكوين مهامك للتشغيل بعدد مختلف من الفترات أو على مجموعات بيانات من أحجام مختلفة.
- لا تقم ببرمجة مسار المجلد لمجموعة البيانات الخاصة بك. يمكنك بعد ذلك إعادة استخدام نفس قاعدة التعليمات البرمجية بسهولة مع مجموعات بيانات مختلفة، وتحت سياق التنفيذ المحلي والسحابة.
- قم بتمهيد مهام التجريب في وضع هدف الحساب المحلي أثناء التطوير أو الاختبار، أو عند التبديل إلى سعة مجموعة حساب مشتركة عند إرسال المهام على نطاق كامل.
- إذا كانت مجموعة البيانات كبيرة، فاعمل مع عينة من البيانات على محطة العمل المحلية أو محطة عمل مثيل الحساب، مع التحجيم إلى الحوسبة السحابية في التعلم الآلي من Microsoft Azure للعمل مع مجموعتك الكاملة من البيانات.
- عندما تستغرق مهامك وقتا طويلا للتنفيذ، ضع في اعتبارك تحسين قاعدة التعليمات البرمجية للتدريب الموزع للسماح بالتوسع أفقيا.
- صمم أحمال عمل التدريب الموزعة لمرونة العقدة، للسماح بالاستخدام المرن للحساب أحادي العقدة ومتعددة العقد، وتسهيل استخدام الحوسبة التي يمكن استباقها.
الجمع بين أنواع الحوسبة باستخدام مسارات التعلم الآلي من Microsoft Azure
عند تنسيق مهام سير عمل التعلم الآلي، يمكنك تحديد البنية الأساسية لبرنامج ربط العمليات التجارية بخطوات متعددة. يمكن تشغيل كل خطوة في البنية الأساسية لبرنامج ربط العمليات التجارية على نوع الحساب الخاص بها. يسمح لك هذا بتحسين الأداء والتكلفة لتلبية متطلبات الحوسبة المختلفة عبر دورة حياة التعلم الآلي.
محرك أفضل استخدام لميزانية الفريق
في حين أن قرارات تخصيص الموازنة قد تكون خارج نطاق سيطرة فريق فردي، يتم عادة تمكين الفريق من استخدام ميزانيته المخصصة لتلبية أفضل احتياجاتهم. من خلال تداول أولوية الوظيفة مقابل الأداء والتكلفة بحكمة، يمكن للفريق تحقيق استخدام أعلى للمجموعة، وخفض التكلفة الإجمالية، واستخدام عدد أكبر من ساعات الحساب من نفس الميزانية. يمكن أن يؤدي ذلك إلى تحسين إنتاجية الفريق.
تحسين تكاليف موارد الحوسبة المشتركة
المفتاح لتحسين تكاليف موارد الحوسبة المشتركة هو التأكد من أنها تستخدم بكامل طاقتها. فيما يلي بعض التلميحات لتحسين تكاليف الموارد المشتركة:
- عند استخدام مثيلات الحساب، قم بتشغيلها فقط عندما يكون لديك تعليمات برمجية لتنفيذها. أغلقها عندما لا يتم استخدامها.
- عند استخدام مجموعات الحوسبة، قم بتعيين الحد الأدنى لعدد العقد إلى 0 والحد الأقصى لعدد العقد إلى رقم يتم تقييمه استنادا إلى قيود الموازنة الخاصة بك. استخدم حاسبة أسعار Azure لحساب تكلفة الاستخدام الكامل لعقدة جهاز ظاهري واحدة من VM SKU الذي اخترته. سيؤدي التحجيم التلقائي إلى تقليص جميع عقد الحوسبة عندما لا يكون هناك أحد يستخدمها. سيتوسع فقط إلى عدد العقد التي لديك ميزانية لها. يمكنك تكوين التحجيم التلقائي لتوسيع نطاق جميع عقد الحوسبة.
- مراقبة استخدامات الموارد الخاصة بك مثل استخدام وحدة المعالجة المركزية واستخدام وحدة معالجة الرسومات عند تدريب النماذج. إذا لم يتم استخدام الموارد بالكامل، فعدل التعليمات البرمجية لاستخدام الموارد بشكل أفضل أو تقليص حجمها إلى أحجام أجهزة ظاهرية أصغر أو أرخص.
- تقييم ما إذا كان يمكنك إنشاء موارد حساب مشتركة لفريقك لتجنب أوجه القصور في الحوسبة الناتجة عن عمليات تحجيم نظام المجموعة.
- تحسين نهج مهلة التحجيم التلقائي لنظام مجموعة الحوسبة استنادا إلى مقاييس الاستخدام.
- استخدم حصص مساحة العمل للتحكم في مقدار موارد الحوسبة التي يمكن لمساحات العمل الفردية الوصول إليها.
تقديم أولوية الجدولة عن طريق إنشاء مجموعات لوحدات SKU متعددة للأجهزة الظاهرية
العمل في ظل قيود الحصة النسبية والميزانية، يجب على الفريق مقايضة تنفيذ الوظائف في الوقت المناسب مقابل التكلفة، لضمان تشغيل الوظائف الهامة في الوقت المناسب واستخدام الميزانية بأفضل طريقة ممكنة.
لدعم أفضل استخدام للحساب، يوصى الفرق بإنشاء مجموعات من أحجام مختلفة وبأولوية منخفضة وأولويات مخصصة للجهاز الظاهري. تستخدم الحسابات ذات الأولوية المنخفضة القدرة الفائضة في Azure ومن ثم تأتي بأسعار مخفضة. على الجانب السلبي، يمكن استباق هذه الأجهزة في أي وقت يأتي فيه طلب أولوية أعلى.
باستخدام المجموعات ذات الحجم والأولوية المتباينة، يمكن إدخال مفهوم أولوية الجدولة. على سبيل المثال، عندما تتنافس الوظائف التجريبية والإنتاجية على نفس حصة NC GPU، قد يكون لوظيفة الإنتاج تفضيل للتشغيل على الوظيفة التجريبية. في هذه الحالة، قم بتشغيل مهمة الإنتاج على نظام مجموعة الحوسبة المخصصة، والمهمة التجريبية على نظام مجموعة الحوسبة ذات الأولوية المنخفضة. عندما تقل الحصة النسبية، سيتم استباق الوظيفة التجريبية لصالح وظيفة الإنتاج.
بجانب أولوية الجهاز الظاهري، ضع في اعتبارك تشغيل المهام على وحدات SKU المختلفة للجهاز الظاهري. قد تستغرق المهمة وقتا أطول للتنفيذ على مثيل جهاز ظاهري باستخدام وحدة معالجة الرسومات P40 مقارنة ب V100 GPU. ومع ذلك، نظرا لأنه قد يتم شغل مثيلات V100 VM أو استخدام الحصة النسبية بالكامل، فقد يظل وقت الإكمال على P40 أسرع من منظور معدل نقل الوظيفة. قد تفكر أيضا في تشغيل الوظائف ذات الأولوية الأقل على مثيلات الجهاز الظاهري الأقل أداء والأرخص من منظور إدارة التكلفة.
الإنهاء المبكر للتشغيل عندما لا يتقارب التدريب
عند التجربة المستمرة لتحسين نموذج مقابل خط الأساس الخاص به، قد تقوم بتنفيذ عمليات تشغيل تجربة مختلفة، كل منها بتكوينات مختلفة قليلا. لتشغيل واحد، يمكنك تعديل مجموعات بيانات الإدخال. لتشغيل آخر، قد تقوم بإجراء تغيير المعلمة الفائقة. قد لا تكون جميع التغييرات فعالة مثل الأخرى. تكتشف في وقت مبكر أن التغيير لم يكن له التأثير المقصود على جودة تدريب النموذج الخاص بك. للكشف عن ما إذا كان التدريب لا يتقارب، راقب تقدم التدريب أثناء التشغيل. على سبيل المثال، عن طريق تسجيل مقاييس الأداء بعد كل فترة تدريب. ضع في اعتبارك إنهاء المهمة مبكرا لتحرير الموارد والميزانية لتجربة أخرى.
تخطيط الميزانيات والتكلفة والحصة وإدارتها ومشاركتها
نظرا لأن المؤسسة تزيد من عدد حالات استخدام التعلم الآلي والفرق، فإنها تتطلب زيادة نضج التشغيل من تكنولوجيا المعلومات والتمويل بالإضافة إلى التنسيق بين فرق التعلم الآلي الفردية لضمان عمليات فعالة. تصبح السعة على نطاق الشركة وإدارة الحصص أمرا مهما لمعالجة ندرة موارد الحوسبة والتغلب على النفقات العامة للإدارة.
يناقش هذا القسم أفضل الممارسات لتخطيط وإدارة ومشاركة الميزانيات والتكلفة والحصة على نطاق المؤسسة. وهو يستند إلى التعلم من إدارة العديد من موارد تدريب GPU للتعلم الآلي داخليا في Microsoft.
فهم إنفاق الموارد مع التعلم الآلي من Microsoft Azure
أحد أكبر التحديات كمسؤول لتخطيط احتياجات الحوسبة هو البدء الجديد بدون معلومات تاريخية كتقدير أساسي. ومن الناحية العملية، ستبدأ معظم المشاريع من ميزانية صغيرة كخطوة أولى.
لفهم إلى أين تذهب الميزانية، من الضروري معرفة من أين تأتي تكاليف التعلم الآلي من Azure:
- يفرض التعلم الآلي من Microsoft Azure رسوما فقط على البنية الأساسية للحساب المستخدمة ولا يضيف رسوما إضافية على تكاليف الحوسبة.
- عند إنشاء مساحة عمل التعلم الآلي من Microsoft Azure، هناك أيضا بعض الموارد الأخرى التي تم إنشاؤها لتمكين التعلم الآلي من Microsoft Azure: Key Vault وApplication Insights وAzure Storage وAzure Container Registry. يتم استخدام هذه الموارد في التعلم الآلي من Microsoft Azure وستدفع مقابل هذه الموارد.
- هناك تكاليف مرتبطة بالحوسبة المدارة مثل مجموعات التدريب ومثيلات الحساب ونقاط نهاية الاستدلال المدارة. باستخدام موارد الحوسبة المدارة هذه، هناك تكاليف البنية الأساسية التالية لحسابها: الأجهزة الظاهرية والشبكة الظاهرية وموازن التحميل وعرض النطاق الترددي والتخزين.
تعقب أنماط الإنفاق وتحقيق تقارير أفضل باستخدام وضع العلامات
غالبا ما يرغب المسؤولون في أن يكونوا قادرين على تعقب التكاليف على موارد مختلفة في التعلم الآلي من Microsoft Azure. يعد وضع العلامات حلا طبيعيا لهذه المشكلة ويتوافق مع النهج العام الذي يستخدمه Azure والعديد من موفري الخدمات السحابية الآخرين. مع دعم العلامات، يمكنك الآن رؤية تصنيف التكلفة على مستوى الحوسبة، وبالتالي منحك حق الوصول إلى طريقة عرض أكثر دقة للمساعدة في مراقبة التكلفة بشكل أفضل، وتحسين التقارير، وزيادة الشفافية.
يمكنك وضع العلامات من وضع علامات مخصصة على مساحات العمل والحسابات (من قوالب Azure Resource Manager واستوديو التعلم الآلي من Microsoft Azure) لمزيد من التصفية على هذه الموارد في Azure Cost Management استنادا إلى هذه العلامات لمراقبة أنماط الإنفاق. يمكن استخدام هذه الوظيفة بشكل أفضل لسيناريوهات استرداد الرسوم الداخلية. بالإضافة إلى ذلك، يمكن أن تكون العلامات مفيدة لالتقاط بيانات التعريف أو التفاصيل المرتبطة بالحوسبة، على سبيل المثال مشروع أو فريق أو رمز فوترة معين وما إلى ذلك. وهذا يجعل وضع العلامات مفيدا جدا لقياس مقدار المال الذي تنفقه على موارد مختلفة، وبالتالي الحصول على رؤى أعمق حول التكلفة وأنماط الإنفاق عبر الفرق أو المشاريع.
هناك أيضا علامات تم إدخالها من قبل النظام على الحسابات التي تسمح لك بالتصفية في صفحة تحليل التكلفة حسب علامة "نوع الحساب" لمشاهدة تصنيف حسابي حكيم لإجمالي إنفاقك وتحديد فئة موارد الحوسبة التي قد تعزى إلى غالبية التكاليف الخاصة بك. هذا مفيد بشكل خاص للحصول على مزيد من الرؤية في التدريب الخاص بك مقابل الاستدلال على أنماط التكلفة.
التحكم في استخدام الحساب وتقييده حسب النهج
عند إدارة بيئة Azure مع العديد من أحمال العمل، قد يكون من التحدي الاحتفاظ بالنظرة العامة على إنفاق الموارد. يمكن أن يساعد نهج Azure في التحكم في إنفاق الموارد والتحكم فيه، عن طريق تقييد أنماط استخدام معينة عبر بيئة Azure.
بشكل خاص للتعلم الآلي من Microsoft Azure، نوصي بإعداد نهج للسماح فقط باستخدام وحدات SKU معينة للجهاز الظاهري. يمكن أن تساعد النهج في منع ومراقبة اختيار الأجهزة الظاهرية باهظة الثمن. يمكن أيضا استخدام النهج لفرض استخدام وحدات SKU للأجهزة الظاهرية ذات الأولوية المنخفضة.
تخصيص الحصة النسبية وإدارتها استنادا إلى أولوية العمل
يسمح لك Azure بتعيين حدود لتخصيص الحصة النسبية على مستوى مساحة عمل الاشتراك والتعلم الآلي من Microsoft Azure. يمكن أن يساعد تقييد من يمكنه إدارة الحصة النسبية من خلال التحكم في الوصول استنادا إلى الدور (RBAC) في Azure في ضمان استخدام الموارد وإمكانية التنبؤ بالتكلفة.
يمكن أن يكون توفر الحصة النسبية لوحدة معالجة الرسومات نادرا عبر اشتراكاتك. لضمان استخدام الحصة النسبية العالية عبر أحمال العمل، نوصي بمراقبة ما إذا كان من الأفضل استخدام الحصة النسبية وتعيينها عبر أحمال العمل.
في Microsoft، يتم تحديد ما إذا كان من الأفضل استخدام حصص GPU وتخصيصها عبر فرق التعلم الآلي من خلال تقييم احتياجات السعة مقابل أولوية الأعمال.
تثبيت السعة مسبقا
إذا كان لديك تقدير جيد لكمية الحوسبة التي سيتم استخدامها في العام القادم أو السنوات القليلة القادمة، يمكنك شراء مثيلات الجهاز الظاهري المحجوزة في Azure بتكلفة مخفضة. هناك شروط شراء لمدة سنة أو ثلاث سنوات. نظرا لأن مثيلات Azure المحجوزة للجهاز الظاهري مخفضة، يمكن أن يكون هناك توفير كبير في التكلفة مقارنة بأسعار الدفع أولا بأول.
يدعم التعلم الآلي من Microsoft Azure مثيلات الحوسبة المحجوزة. يتم تطبيق الخصومات تلقائيا على الحوسبة المدارة من التعلم الآلي من Microsoft Azure.
إدارة استبقاء البيانات
في كل مرة يتم فيها تنفيذ مسار التعلم الآلي، يمكن إنشاء مجموعات بيانات وسيطة في كل خطوة مسار للتخزين المؤقت للبيانات وإعادة استخدامها. يمكن أن يصبح نمو البيانات كإخراج لتدفقات التعلم الآلي هذه نقطة ألم لمؤسسة تقوم بتشغيل العديد من تجارب التعلم الآلي.
عادة لا يقضي علماء البيانات وقتهم لتنظيف مجموعات البيانات الوسيطة التي يتم إنشاؤها. بمرور الوقت، ستضيف كمية البيانات التي يتم إنشاؤها. يأتي Azure Storage مزودا بالقدرة على تحسين إدارة دورة حياة البيانات. باستخدام إدارة دورة حياة Azure Blob Storage، يمكنك إعداد نهج عامة لنقل البيانات غير المستخدمة إلى مستويات تخزين أكثر برودة وتوفير التكاليف.
اعتبارات تحسين تكلفة البنية الأساسية
الشبكات
يتم تكبد تكلفة شبكة Azure من النطاق الترددي الصادر من مركز بيانات Azure. جميع البيانات الواردة إلى مركز بيانات Azure مجانية. المفتاح لتقليل تكلفة الشبكة هو نشر جميع مواردك في نفس منطقة مركز البيانات كلما أمكن ذلك. إذا كان بإمكانك نشر مساحة عمل التعلم الآلي من Microsoft Azure والحوسبة في نفس المنطقة التي تحتوي على بياناتك، يمكنك الاستمتاع بتكلفة أقل وأداء أعلى.
قد تحتاج إلى اتصال خاص بين شبكتك المحلية وشبكة Azure لديك للحصول على بيئة سحابية مختلطة. يمكنك ExpressRoute من القيام بذلك ولكن بالنظر إلى التكلفة العالية ل ExpressRoute، قد يكون من الأكثر فعالية من حيث التكلفة الابتعاد عن إعداد السحابة المختلطة ونقل جميع الموارد إلى سحابة Azure.
Azure Container Registry
بالنسبة إلى Azure Container Registry، تتضمن العوامل المحددة لتحسين التكلفة ما يلي:
- معدل النقل المطلوب لتنزيل صورة Docker من سجل الحاوية إلى التعلم الآلي من Microsoft Azure
- متطلبات ميزات أمان المؤسسة، مثل Azure Private Link
بالنسبة لسيناريوهات الإنتاج حيث يكون معدل النقل العالي أو أمان المؤسسة مطلوبا، يوصى ب Premium SKU ل Azure Container Registry.
بالنسبة لسيناريوهات التطوير/الاختبار حيث يكون معدل النقل والأمان أقل أهمية، نوصي إما ب SKU القياسي أو Premium SKU.
لا يوصى ب SKU الأساسي ل Azure Container Registry للتعلم الآلي من Microsoft Azure. لا يوصى به بسبب انخفاض معدل النقل والتخزين المضمن المنخفض، والذي يمكن تجاوزه بسرعة بواسطة صور Docker الكبيرة نسبيا (1+ غيغابايت) من Azure Machine Learning.
ضع في اعتبارك توفر نوع الحوسبة عند اختيار مناطق Azure
عند اختيار منطقة لحسابك، ضع في اعتبارك توفر الحصة النسبية للحساب. تميل المناطق الشائعة والكبرى مثل شرق الولايات المتحدة وغرب الولايات المتحدة وغرب أوروبا إلى الحصول على قيم حصص افتراضية أعلى وتوفر أكبر لمعظم وحدات المعالجة المركزية ووحدات معالجة الرسومات، مقارنة ببعض المناطق الأخرى مع فرض قيود أكثر صرامة على السعة.
معرفة المزيد
تعقب التكاليف عبر وحدات العمل أو البيئات أو المشاريع باستخدام Cloud Adoption Framework
الخطوات التالية
لمعرفة المزيد حول كيفية تنظيم وإعداد بيئات التعلم الآلي من Microsoft Azure، راجع تنظيم بيئات التعلم الآلي من Microsoft Azure وإعدادها.
للتعرف على أفضل الممارسات على التعلم الآلي DevOps باستخدام التعلم الآلي من Microsoft Azure، راجع دليل DevOps للتعلم الآلي.