horovod.spark: Horovod ile dağıtılmış derin öğrenme
Önemli
Horovod ve HorovodRunner artık kullanım dışı bırakıldı. 15.4 LTS ML sonrasındaki sürümlerde bu paket önceden yüklenmez. Dağıtılmış derin öğrenme için Databricks, PyTorch ile dağıtılmış eğitim için TorchDistributor veya tf.distribute.Strategy TensorFlow ile dağıtılmış eğitim için API kullanılmasını önerir.
Makine öğrenmesi modellerinin horovod.spark dağıtılmış eğitimini gerçekleştirmek için paketi kullanmayı öğrenin.
horovod.spark Azure Databricks'te
Azure Databricks, Keras ve PyTorch ile ML işlem hatlarında kullanabileceğiniz bir tahmin api'si sağlayan paketi destekler horovod.spark . Ayrıntılar için bkz. Spark'ta Horovod, Databricks'te Horovod ile ilgili bir bölüm içerir.
Not
- Azure Databricks paketi bağımlılıklarla yükler
horovod. Bu bağımlılıkları yükseltirseniz veya düşürerseniz, uyumluluk sorunları olabilir. - Keras'ta özel geri çağırmalarla kullanırken
horovod.spark, modelleri TensorFlow SavedModel biçiminde kaydetmeniz gerekir.- TensorFlow 2.x ile dosya adındaki son eki kullanın
.tf. - TensorFlow 1.x ile seçeneğini
save_weights_only=Trueayarlayın.
- TensorFlow 2.x ile dosya adındaki son eki kullanın
Gereksinimler
Databricks Runtime ML 7.4 veya üzeri.
Not
horovod.spark pyarrow 11.0 ve üzeri sürümleri desteklemez (ilgili GitHub Sorununa bakın). Databricks Runtime 15.0 ML, pyarrow sürüm 14.0.1'i içerir. Databricks Runtime 15.0 ML veya üzeri ile kullanmak horovod.spark için, 11.0'ın altında bir sürüm belirterek el ile pyarrow yüklemeniz gerekir.
Örnek: Dağıtılmış eğitim işlevi
Aşağıda kullanarak horovod.sparkdağıtılmış bir eğitim işlevini çalıştırmaya örnek verilmiştir:
def train():
import horovod.tensorflow as hvd
hvd.init()
import horovod.spark
horovod.spark.run(train, num_proc=2)
Örnek not defterleri: Keras ve PyTorch kullanan Horovod Spark tahmin araçları
Aşağıdaki not defterlerinde Horovod Spark Estimator API'sinin Keras ve PyTorch ile nasıl kullanılacağı gösterilmektedir.