horovod.spark: التعلم العميق الموزع باستخدام Horovod

تعرف على كيفية استخدام الحزمة horovod.spark لإجراء تدريب موزع لنماذج التعلم الآلي.

horovod.spark على Azure Databricks

يدعم Azure Databricks الحزمة horovod.spark ، والتي توفر واجهة برمجة تطبيقات المقدر التي يمكنك استخدامها في مسارات التعلم الآلي مع Keras وPyTorch. للحصول على التفاصيل، راجع Horovod على Spark، والذي يتضمن قسما حول Horovod على Databricks.

إشعار

• يقوم Azure Databricks بتثبيت الحزمة horovod مع التبعيات. إذا قمت بترقية هذه التبعيات أو تخفيضها، فقد تكون هناك مشكلات في التوافق.
• عند استخدام horovod.spark مع عمليات رد الاتصال المخصصة في Keras، يجب حفظ النماذج بتنسيق TensorFlow SaveModel.
  • باستخدام TensorFlow 2.x، استخدم اللاحقة .tf في اسم الملف.
  • باستخدام TensorFlow 1.x، قم بتعيين الخيار save_weights_only=True.

المتطلبات

Databricks Runtime ML 7.4 أو أعلى.

إشعار

horovod.sparkلا يدعم إصدارات pyarrow 11.0 والإصدارات الأحدث (راجع مشكلة GitHub ذات الصلة). يتضمن Databricks Runtime 15.0 ML إصدار pyarrow 14.0.1. للاستخدام horovod.spark مع Databricks Runtime 15.0 ML أو أعلى، يجب تثبيت pyarrow يدويا، مع تحديد إصدار أقل من 11.0.

مثال: دالة التدريب الموزعة

فيما يلي مثال أساسي لتشغيل دالة تدريب موزعة باستخدام horovod.spark:

def train():
  import horovod.tensorflow as hvd
  hvd.init()

import horovod.spark
horovod.spark.run(train, num_proc=2)

مثال على دفاتر الملاحظات: مقدرات Horovod Spark باستخدام Keras وPyTorch

توضح دفاتر الملاحظات التالية كيفية استخدام واجهة برمجة تطبيقات Horovod Spark Estimator مع Keras وPyTorch.

دفتر ملاحظات Horovod Spark Estimator Keras

الحصول على دفتر الملاحظات

دفتر ملاحظات Horovod Spark Estimator PyTorch

الحصول على دفتر الملاحظات