Derin öğrenme

Bu makalede Azure Databricks'te derin öğrenme modelleri geliştirmek ve bunlara ince ayar yapmak için PyTorch, Tensorflow ve dağıtılmış eğitim kullanımına kısa bir giriş sağlanmaktadır. Ayrıca, bu araçların nasıl kullanılacağını gösteren örnek not defterlerine sahip sayfaların bağlantılarını da içerir.

• Azure Databricks'te derin öğrenme iş akışlarını iyileştirmeye ilişkin genel yönergeler için bkz . Azure Databricks'te derin öğrenme için en iyi yöntemler.
• Azure Databricks'te büyük dil modelleriyle ve üretken yapay zekayla çalışma hakkında bilgi için bkz:
  • Databricks'te büyük dil modelleri (LLM'ler).
  • Databricks'te yapay zeka ve makine öğrenmesi.

• Tek ve çok düğümlü derin öğrenme iş yükleri için sunucusuz GPU işlem kullanma hakkında bilgi ve kılavuz için bkz. Sunucusuz GPU işlem.

PyTorch

PyTorch, Databricks Runtime ML'ye dahildir ve derin öğrenme ağları oluşturmak için GPU hızlandırılmış tensor hesaplaması ve üst düzey işlevler sağlar. Databricks üzerinde PyTorch ile tek düğümlü eğitim veya dağıtılmış eğitim gerçekleştirebilirsiniz. Bkz. PyTorch. PyTorch ve MLflow kullanan uçtan uca öğretici not defteri için bkz . Öğretici: Azure Databricks'te uçtan uca derin öğrenme modelleri.

TensorFlow

Databricks Runtime ML, TensorFlow ve TensorBoard'u içerdiği için bu kitaplıkları paket yüklemeden kullanabilirsiniz. TensorFlow, CPU'lar, GPU'lar ve GPU kümeleri üzerinde derin öğrenme ve genel sayısal hesaplamaları destekler. TensorBoard, makine öğrenmesi ve derin öğrenme iş akışlarında hata ayıklamanıza ve iyileştirmenize yardımcı olacak görselleştirme araçları sağlar. Tek düğüm ve dağıtılmış eğitim örnekleri için bkz . TensorFlow .

Dağıtılmış eğitim

Derin öğrenme modelleri veri ve hesaplama açısından yoğun olduğundan dağıtılmış eğitim önemli olabilir. Ray, TorchDistributor ve DeepSpeed ile tümleştirmeleri kullanarak dağıtılmış derin öğrenme örnekleri için bkz . Dağıtılmış eğitim.

Derin öğrenme modeli geliştirmeyi izleme

İzleme, MLflow ekosisteminin temel taşı olmaya devam eder ve derin öğrenmenin yinelemeli doğası için özellikle hayati önem taşır. Databricks, derin öğrenme eğitim çalıştırmalarını ve model geliştirmeyi izlemek için MLflow kullanır. Bkz. MLflow kullanarak model geliştirmeyi izleme.