إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
توضح هذه المقالة كيفية إجراء تدريب موزع على نماذج PyTorch ML باستخدام موزع DeepSpeed .
تم بناء الموزع DeepSpeed على رأس TorchDistributor وهو حل موصى به للعملاء الذين لديهم نماذج تتطلب قوة حساب أعلى، ولكنها محدودة بقيود الذاكرة.
مكتبة DeepSpeed هي مكتبة مفتوحة المصدر طورتها Microsoft وهي متوفرة في Databricks Runtime 14.0 ML أو أعلى. وهو يوفر استخداما محسنا للذاكرة، وتقليل حمل الاتصال، وتوازيا متقدما للبنية الأساسية لبرنامج ربط العمليات التجارية يسمح بتحجيم النماذج وإجراءات التدريب التي لولا ذلك لن تكون قابلة للتنفيذ على الأجهزة القياسية.
فيما يلي أمثلة على السيناريوهات التي يكون فيها الموزع DeepSpeed مفيدا:
- ذاكرة وحدة معالجة الرسومات منخفضة.
- تدريب نموذج كبير.
- بيانات الإدخال الكبيرة، مثل أثناء الاستدلال الدفعي.
مثال على دفتر ملاحظات للتدريب الموزع باستخدام DeepSpeed
يوضح مثال دفتر الملاحظات التالي كيفية إجراء تدريب موزع مع موزع DeepSpeed.