horovod.spark: Horovod를 사용한 배포된 딥 러닝
Azure Databricks는 Keras 및 PyTorch와 함께 ML 파이프라인에서 사용할 수 있는 추정기 API를 제공하는 horovod.spark 패키지를 지원합니다. 자세한 내용은 Databricks의 Horovod 섹션이 포함된 Horovod on Spark를 참조하세요.
참고
- Azure Databricks는 종속성과 함께
horovod패키지를 설치합니다. 이러한 종속성을 업그레이드하거나 다운그레이드하면 호환성 문제가 있을 수 있습니다. - Keras에서 사용자 지정 콜백과 함께
horovod.spark를 사용하는 경우 TensorFlow SavedModel 형식으로 모델을 저장해야 합니다.- TensorFlow 2.x에서는 파일 이름에
.tf접미사를 사용합니다. - TensorFlow 1.x에서는
save_weights_only=True옵션을 설정합니다.
- TensorFlow 2.x에서는 파일 이름에
요구 사항
Databricks Runtime ML 7.4 이상.
예제
horovod.spark를 사용하여 분산 학습 함수를 실행하는 기본 예제는 다음과 같습니다.
def train():
import horovod.tensorflow as hvd
hvd.init()
import horovod.spark
horovod.spark.run(train, num_proc=2)
노트북 예제
이 Notebooks는 Keras 및 PyTorch와 함께 Horovod Spark Estimator API를 사용하는 방법을 보여 줍니다.