ディープ ラーニング

この記事では、Azure Databricks でディープ ラーニング モデルを開発および微調整するための PyTorch、Tensorflow、分散トレーニングの使用について簡単に説明します。 また、これらのツールの使用方法を示すノートブックの例を含むページへのリンクも含まれています。

• Azure Databricks でのディープ ラーニング ワークフローの最適化に関する一般的なガイドラインについては、Azure Databricks でのディープ ラーニングの推奨事項に関する記事をご覧ください。
• Azure Databricks で大規模な言語モデルと生成 AI を使用する方法については、次をご覧ください。
  • Databricks の大規模言語モデル (LLM)。
  • Azure Databricks の生成 AI と 大規模言語モデル (LLM)。

PyTorch

PyTorch は Databricks Runtime ML に含まれており、GPU で高速化されたテンソル計算と、ディープ ラーニング ネットワークを構築するための高度な機能を提供します。 Databricks で PyTorch を使用して、単一ノード トレーニングまたは分散トレーニングを実行できます。 「PyTorch」を参照してください。

TensorFlow

Databricks Runtime ML には TensorFlow と TensorBoard が含まれているため、パッケージをインストールせずにこれらのライブラリを使用できます。 TensorFlow は、CPU、GPU、GPU のクラスターでのディープラーニングや、一般的な数値計算をサポートしています。 TensorBoard には、機械学習とディープ ラーニングのワークフローのデバッグと最適化に役立つ視覚化ツールが用意されています。 単一ノード トレーニングと分散トレーニングの例については、「TensorFlow」を参照してください。

分散トレーニング

ディープ ラーニング モデルはデータ集中型で計算を集中的に行うため、分散トレーニングが重要になる場合があります。 Horovod、spark-tensorflow-distributor、TorchDistributor、DeepSpeed との統合を使用した分散ディープ ラーニングの例については、「分散トレーニング」を参照してください。

ディープ ラーニング モデルの開発を追跡する

追跡は依然として MLflow エコシステムの基礎であり、ディープ ラーニングの反復的な性質にとって特に重要です。 Databricks では、MLflow を使用してディープ ラーニング トレーニングの実行とモデル開発を追跡します。 「MLflow を使用してモデル開発を追跡する」を参照してください。