horovod.spark: elosztott mélytanulás a Horovodtal

  • Cikk

Megtudhatja, hogyan használhatja a csomagot a horovod.spark gépi tanulási modellek elosztott betanítására.

horovod.spark az Azure Databricksen

Az Azure Databricks támogatja a horovod.spark csomagot, amely egy becslő API-t biztosít, amelyet az ML-folyamatokban a Keras és a PyTorch használatával használhat. További részletekért lásd: Horovod a Sparkon, amely a Databricks horovodról szóló szakaszát tartalmazza.

Feljegyzés

  • Az Azure Databricks függőségekkel telepíti a horovod csomagot. Ha frissíti vagy visszaminősítette ezeket a függőségeket, kompatibilitási problémák merülhetnek fel.
  • Ha egyéni visszahívásokat használ horovod.spark a Kerasban, a modelleket TensorFlow SavedModel formátumban kell mentenie.
    • A TensorFlow 2.x esetén használja a .tf fájlnév utótagját.
    • A TensorFlow 1.x esetén állítsa be a beállítást save_weights_only=True.

Követelmények

Databricks Runtime ML 7.4 vagy újabb.

Feljegyzés

horovod.spark nem támogatja a Pyarrow 11.0-s és újabb verzióit (lásd a GitHub vonatkozó problémáját). A Databricks Runtime 15.0 ML tartalmazza a Pyarrow 14.0.1-es verzióját. A Databricks Runtime 15.0 ML vagy újabb verziójának használatához horovod.spark manuálisan kell telepítenie a Pyarrow-t, és meg kell adnia a 11.0-s verzió alatti verziót.

Példa: Elosztott betanítási függvény

Az alábbi egyszerű példa egy elosztott betanítási függvény futtatására a következő használatával horovod.spark:

def train():
  import horovod.tensorflow as hvd
  hvd.init()

import horovod.spark
horovod.spark.run(train, num_proc=2)

Példajegyzetfüzetek: Horovod Spark-becslők a Keras és a PyTorch használatával

Az alábbi jegyzetfüzetek bemutatják, hogyan használható a Horovod Spark Estimator API a Keras és a PyTorch használatával.

Horovod Spark Estimator Keras-jegyzetfüzet

Jegyzetfüzet beszerzése

Horovod Spark Estimator PyTorch-jegyzetfüzet

Jegyzetfüzet beszerzése