تدريب موزع مع موزع DeepSpeed
توضح هذه المقالة كيفية إجراء تدريب موزع على نماذج PyTorch ML باستخدام موزع DeepSpeed .
تم بناء موزع DeepSpeed فوق TorchDistributor وهو حل موصى به للعملاء الذين لديهم نماذج تتطلب قوة حساب أعلى، ولكنها محدودة بقيود الذاكرة.
مكتبة DeepSpeed هي مكتبة مفتوحة المصدر طورتها Microsoft وهي متاحة في Databricks Runtime 14.0 ML أو أعلى. يوفر استخداما محسنا للذاكرة، وتقليل حمل الاتصال، وتوازي البنية الأساسية لبرنامج ربط العمليات التجارية المتقدمة التي تسمح بتحجيم النماذج وإجراءات التدريب التي ستكون غير قابلة للتنفيذ على الأجهزة القياسية.
فيما يلي أمثلة على السيناريوهات التي يكون فيها الموزع DeepSpeed مفيدا:
- ذاكرة GPU منخفضة.
- تدريب نموذج كبير.
- بيانات الإدخال الكبيرة، مثل أثناء الاستدلال الدفعي.
مثال على دفتر ملاحظات للتدريب الموزع باستخدام DeepSpeed
يوضح مثال دفتر الملاحظات التالي كيفية إجراء تدريب موزع مع موزع DeepSpeed.