Aracılığıyla paylaş

Derin öğrenme (Önizleme)

  • Makale

Azure Synapse Analytics'teki Apache Spark, büyük verilerle makine öğrenmesine olanak sağlayarak büyük miktarlarda yapılandırılmış, yapılandırılmamış ve hızlı hareket eden verilerden değerli içgörüler elde etme olanağı sağlar. Azure Synapse Analytics'te Azure Spark kullanarak makine öğrenmesi modellerini eğitirken çeşitli seçenekler vardır: Apache Spark MLlib, Azure Machine Learning ve diğer çeşitli açık kaynak kitaplıkları.

Uyarı

  • GPU hızlandırılmış önizlemesi Apache Spark 3.2 (Destek Sonu duyuruldu) çalışma zamanıyla sınırlıdır. Apache Spark 3.2 için Azure Synapse Runtime desteğinin sona erdiği 8 Temmuz 2023'te duyuruldu. Destek Sonu duyurulu çalışma zamanlarında hata ve özellik düzeltmeleri olmayacaktır. Güvenlik düzeltmeleri, risk değerlendirmesine göre geri aktarılacaktır. Spark 3.2'de bu çalışma zamanı ve ilgili GPU hızlandırılmış önizlemesi 8 Temmuz 2024 itibarıyla kullanımdan kaldırılacak ve devre dışı bırakılacaktır.
  • GPU hızlandırılmış önizlemesi artık Azure Synapse 3.1 (desteklenmeyen) çalışma zamanında desteklenmiyor. Apache Spark 3.1 için Azure Synapse Runtime, 26 Ocak 2023 itibarıyla Destek Sonuna ulaşmıştır ve resmi destek 26 Ocak 2024 tarihinden itibaren sona ermiştir ve bu tarihten sonra destek biletlerini, hata düzeltmelerini veya güvenlik güncelleştirmelerini ele almamaktadır.

GPU özellikli Apache Spark havuzları

Azure Synapse, havuz oluşturma ve yönetme sürecini basitleştirmek için düşük düzeyli kitaplıkları önceden yükleme ve işlem düğümleri arasında tüm karmaşık ağ gereksinimlerini ayarlama işlemlerini üstlenir. Bu tümleştirme, kullanıcıların yalnızca birkaç dakika içinde GPU hızlandırılmış havuzları kullanmaya başlamasını sağlar.

Not

  • GPU hızlandırmalı havuzlar Doğu ABD, Doğu Avustralya ve Kuzey Avrupa'da bulunan çalışma alanlarında oluşturulabilir.
  • GPU hızlandırmalı havuzlar yalnızca Apache Spark 3.1 (desteklenmeyen) ve 3.2 çalışma zamanı ile kullanılabilir.
  • GPU özellikli kümeler oluşturmak için bir sınır artışı istemeniz gerekebilir.

GPU ML Ortamı

Azure Synapse Analytics derin öğrenme altyapısı için yerleşik destek sağlar. Apache Spark 3 için Azure Synapse Analytics çalışma zamanları TensorFlow ve PyTorch gibi en yaygın derin öğrenme kitaplıkları için destek içerir. Azure Synapse çalışma zamanı, dağıtılmış eğitim için yaygın olarak kullanılan Petastorm ve Horovod gibi destekleyici kitaplıkları da içerir.

Tensorflow

TensorFlow, tüm geliştiriciler için açık kaynak bir makine öğrenmesi çerçevesidir. Makine öğrenmesi ve derin öğrenme uygulamalarını uygulamak için kullanılır.

Tensorflow hakkında daha fazla bilgi için Tensorflow API belgelerini ziyaret edebilirsiniz.

PyTorch

PyTorch, GPU'ları ve CPU'ları kullanarak derin öğrenme için iyileştirilmiş bir tensor kitaplığıdır.

PyTorch hakkında daha fazla bilgi için PyTorch belgelerini ziyaret edebilirsiniz.

Horovod

Horovod, TensorFlow, Keras ve PyTorch için dağıtılmış bir derin öğrenme eğitim çerçevesidir. Horovod, dağıtılmış derin öğrenmeyi hızlı ve kullanımı kolay hale getirmek için geliştirilmiştir. Bu çerçeveyle, mevcut bir eğitim betiğinin ölçeği, yalnızca birkaç kod satırı halinde yüzlerce GPU üzerinde çalıştırılacak şekilde artırılabilir. Buna ek olarak Horovod, Apache Spark üzerinde çalışabilir ve bu sayede veri işleme ve model eğitimini tek bir işlem hattında birleştirmeyi mümkün hale getirir.

Azure Synapse Analytics'te dağıtılmış eğitim işlerini çalıştırma hakkında daha fazla bilgi edinmek için şu öğreticileri ziyaret edebilirsiniz: - Öğretici: Horovod ve PyTorch - ile dağıtılmış eğitim Öğreticisi: Horovod ve Tensorflow ile dağıtılmış eğitim

Horovod hakkında daha fazla bilgi için Horovod belgelerini ziyaret edebilirsiniz,

Petastorm

Petastorm, derin öğrenme modellerinin tek düğümlü veya dağıtılmış eğitimine olanak tanıyan bir açık kaynak veri erişim kitaplığıdır. Bu kitaplık doğrudan Apache Parquet biçimindeki veri kümelerinden ve önceden Apache Spark DataFrame olarak yüklenmiş veri kümelerinden eğitim sağlar. Petastorm, Tensorflow ve PyTorch gibi popüler eğitim çerçevelerini destekler.

Petastorm hakkında daha fazla bilgi için Petastorm GitHub sayfasını veya Petastorm API belgelerini ziyaret edebilirsiniz.

Sonraki adımlar

Bu makalede, Azure Synapse Analytics'teki Apache Spark havuzlarında makine öğrenmesi modellerini eğitmeye yönelik çeşitli seçeneklere genel bir bakış sunulmaktadır. Aşağıdaki öğreticiyi izleyerek model eğitimi hakkında daha fazla bilgi edinebilirsiniz: