horovod.spark: Horovod를 사용한 배포된 딥 러닝

  • 아티클
  • 읽는 데 2분 걸림

Azure Databricks는 Keras 및 PyTorch와 함께 ML 파이프라인에서 사용할 수 있는 추정기 API를 제공하는 horovod.spark 패키지를 지원합니다. 자세한 내용은 Databricks의 Horovod 섹션이 포함된 Horovod on Spark를 참조하세요.

참고

  • Azure Databricks는 종속성과 함께 horovod 패키지를 설치합니다. 이러한 종속성을 업그레이드하거나 다운그레이드하면 호환성 문제가 있을 수 있습니다.
  • Keras에서 사용자 지정 콜백과 함께 horovod.spark를 사용하는 경우 TensorFlow SavedModel 형식으로 모델을 저장해야 합니다.
    • TensorFlow 2.x에서는 파일 이름에 .tf 접미사를 사용합니다.
    • TensorFlow 1.x에서는 save_weights_only=True 옵션을 설정합니다.

요구 사항

Databricks Runtime ML 7.4 이상.

예제

horovod.spark를 사용하여 분산 학습 함수를 실행하는 기본 예제는 다음과 같습니다.

def train():
  import horovod.tensorflow as hvd
  hvd.init()

import horovod.spark
horovod.spark.run(train, num_proc=2)

노트북 예제

이 Notebooks는 Keras 및 PyTorch와 함께 Horovod Spark Estimator API를 사용하는 방법을 보여 줍니다.

Horovod Spark Estimator Keras Notebook

Notebook 가져오기

Horovod Spark Estimator PyTorch Notebook

Notebook 가져오기