Derin öğrenme

Bu makalede Azure Databricks'te derin öğrenme modelleri geliştirmek ve bunlara ince ayar yapmak için PyTorch, Tensorflow ve dağıtılmış eğitim kullanımına kısa bir giriş sağlanmaktadır. Ayrıca, bu araçların nasıl kullanılacağını gösteren örnek not defterlerine sahip sayfaların bağlantılarını da içerir.

PyTorch

PyTorch, Databricks Runtime ML'ye dahildir ve derin öğrenme ağları oluşturmak için GPU hızlandırılmış tensor hesaplaması ve üst düzey işlevler sağlar. Databricks üzerinde PyTorch ile tek düğümlü eğitim veya dağıtılmış eğitim gerçekleştirebilirsiniz. Bkz. PyTorch.

TensorFlow

Databricks Runtime ML, TensorFlow ve TensorBoard'u içerdiği için bu kitaplıkları paket yüklemeden kullanabilirsiniz. TensorFlow, CPU'lar, GPU'lar ve GPU kümeleri üzerinde derin öğrenme ve genel sayısal hesaplamaları destekler. TensorBoard, makine öğrenmesi ve derin öğrenme iş akışlarında hata ayıklamanıza ve iyileştirmenize yardımcı olacak görselleştirme araçları sağlar. Tek düğüm ve dağıtılmış eğitim örnekleri için bkz . TensorFlow .

Dağıtılmış eğitim

Derin öğrenme modelleri veri ve hesaplama açısından yoğun olduğundan dağıtılmış eğitim önemli olabilir. Horovod, spark-tensorflow-distributor, TorchDistributor ve DeepSpeed ile tümleştirmeleri kullanarak dağıtılmış derin öğrenme örnekleri için bkz . Dağıtılmış eğitim.

Derin öğrenme modeli geliştirmeyi izleme

İzleme, MLflow ekosisteminin temel taşı olmaya devam eder ve derin öğrenmenin yinelemeli doğası için özellikle hayati önem taşır. Databricks, derin öğrenme eğitim çalıştırmalarını ve model geliştirmeyi izlemek için MLflow kullanır. Bkz. MLflow kullanarak model geliştirmeyi izleme.