التعلم العميق

تقدم هذه المقالة مقدمة موجزة حول استخدام PyTorch وTensorflow والتدريب الموزع لتطوير نماذج التعلم العميق وضبطها على Azure Databricks. كما يتضمن ارتباطات إلى صفحات تتضمن أمثلة على دفاتر ملاحظات توضح كيفية استخدام هذه الأدوات.

• للحصول على إرشادات عامة حول تحسين مهام سير عمل التعلم العميق على Azure Databricks، راجع أفضل الممارسات للتعلم العميق على Azure Databricks.
• للحصول على معلومات حول العمل مع نماذج اللغات الكبيرة الذكاء الاصطناعي التوليدية على Azure Databricks، راجع:
  • نماذج اللغات الكبيرة (LLMs) على Databricks.
  • الذكاء الاصطناعي والتعلم الآلي على Databricks.

PyTorch

يتم تضمين PyTorch في التعلم الآلي من Databricks Runtime ويوفر حساب موتر مسرع لوحدة معالجة الرسومات ووظائف عالية المستوى لبناء شبكات التعلم العميق. يمكنك إجراء تدريب عقدة واحدة أو تدريب موزع باستخدام PyTorch على Databricks. راجع PyTorch.

TensorFlow

يتضمن التعلم الآلي من Databricks Runtime TensorFlow وTensorBoard، بحيث يمكنك استخدام هذه المكتبات دون تثبيت أي حزم. يدعم TensorFlow التعلم العميق والحسابات الرقمية العامة على وحدات المعالجة المركزية ووحدات معالجة الرسومات ومجموعات وحدات معالجة الرسومات. يوفر TensorBoard أدوات تصور لمساعدتك على تصحيح أخطاء التعلم الآلي وسير عمل التعلم العميق وتحسينها. راجع TensorFlow للحصول على عقدة واحدة وأمثلة التدريب الموزعة.

التدريب الموزع

نظرا لأن نماذج التعلم العميق هي بيانات وتدريب حسابي مكثف، يمكن أن يكون التدريب الموزع مهما. للحصول على أمثلة للتعلم العميق الموزع باستخدام عمليات التكامل مع Ray وS torchDistributor و DeepSpeed، راجع التدريب الموزع.

تتبع تطوير نموذج التعلم العميق

لا يزال التتبع حجر الزاوية في النظام البيئي ل MLflow وهو أمر حيوي بشكل خاص للطبيعة التكرارية للتعلم العميق. يستخدم Databricks MLflow لتتبع عمليات تشغيل التدريب على التعلم العميق وتطوير النماذج. راجع تعقب تطوير النموذج باستخدام MLflow.