Aracılığıyla paylaş

Machine Learning için Databricks Runtime

Bu sayfada Machine Learning için Databricks Runtime açıklanır ve bunu kullanan klasik bir işlem kaynağının nasıl oluşturulacağı konusunda rehberlik sağlanır.

Machine Learning için Databricks Runtime nedir?

Machine Learning için Databricks Runtime (Databricks Runtime ML), en yaygın ML ve DL kitaplıkları dahil olmak üzere önceden oluşturulmuş makine öğrenmesi ve derin öğrenme altyapısı ile bir işlem kaynağı oluşturmayı otomatikleştirir.

Databricks Runtime ML'de bulunan kitaplıklar

Databricks Runtime ML, çeşitli popüler ML kitaplıkları içerir. Kitaplıklar her sürümle birlikte yeni özellikler ve düzeltmeler içerecek şekilde güncelleştirilir.

Databricks, desteklenen kitaplıkların bir alt kümesini üst katman kitaplıkları olarak belirlemiştir. Bu kitaplıklar için Databricks, her çalışma zamanı sürümüyle birlikte (bağımlılık çakışmaları hariç) en son paket sürümlerine güncelleyerek daha hızlı bir güncelleme ritmi sağlar. Databricks ayrıca en üst katman kitaplıklar için gelişmiş destek, test ve tümleşik iyileştirmeler sağlar. Üst düzey kütüphaneler yalnızca ana sürümlerle eklenir veya kaldırılır.

  • Üst düzey ve sağlanan diğer kitaplıkların tam listesi için Databricks Runtime ML sürüm notlarına bakın.
  • Kitaplıkların ne sıklıkta güncelleştirildiğini ve kitaplıkların ne zaman kullanım dışı bırakıldığından bilgi için bkz.Databricks Runtime ML bakım ilkesi .

Not defteriniz veya işlem kaynağınız için özel bir ortam oluşturmak üzere ek kitaplıklar yükleyebilirsiniz.

  • Bir kitaplığı bir hesaplama kaynağında çalışan tüm not defterleri için kullanılabilir hale getirmek için hesaplama kapsamlı bir kitaplık oluşturun. İşlem oluşturma sırasında kitaplıkları yüklemek için bir init betiği de kullanabilirsiniz.
  • Yalnızca belirli bir not defteri oturumu için kullanılabilen bir kitaplık yüklemek için Not Defteri kapsamlı Python kitaplıklarını kullanın.

ML için Databricks Runtime ile işlem kaynağı oluşturma

ML için Databricks Runtime kullanan bir işlem kaynağı oluşturmak için işlem kullanıcı arabirimi oluşturma bölümünde Makine öğrenmesi onay kutusunu seçin. Hesabınızın ayrılmış kullanıcı olmasıyla erişim modunu otomatik olarak Ayrılmış konumuna ayarlar. İşlem kullanıcı arabirimi oluşturma işleminin Gelişmiş bölümünde işlem kaynağını el ile farklı bir kullanıcıya veya gruba atayabilirsiniz.

GPU tabanlı işlem için Çalışan türü açılan menüsünde GPU özellikli örnek türünü seçin. Desteklenen GPU türlerinin tam listesi için bkz. Desteklenen örnek türleri.

Photon ve Databricks Runtime ML

Databricks Runtime 15.2 ML veya üzerini çalıştıran bir işlem kaynağı oluşturduğunuzda , Photon'u etkinleştirmeyi seçebilirsiniz. Foton, Spark SQL, Spark DataFrames, özellik mühendisliği, GraphFrames ve xgboost4j kullanan uygulamalar için performansı artırır. Spark RDD'leri, Pandas UDF'leri ve Python gibi JVM dışı dilleri kullanan uygulamalarda performansın artırılması beklenmemektedir. Bu nedenle XGBoost, PyTorch ve TensorFlow gibi Python paketleri Photon ile ilgili bir iyileştirme görmez.

Spark RDD API'leri ve Spark MLlib ' in Photon ile uyumluluğu sınırlıdır. Spark RDD veya Spark MLlib kullanarak büyük veri kümelerini işlerken Spark bellek sorunlarıyla karşılaşabilirsiniz. Bkz. Spark bellek sorunları.

Databricks Runtime ML için işlem erişim modu

Databricks Runtime ML çalıştıran bir işlem kaynağındaki Unity Kataloğu'ndaki verilere erişmek için erişim modunu Ayrılmış olarak ayarlamanız gerekir. Erişim modu, Makine öğrenmesi onay kutusunu seçtiğinizde işlem oluşturma kullanıcı arabiriminde otomatik olarak ayarlanır.

Bir işlem kaynağı Ayrılmış erişim moduna sahip olduğunda, kaynak tek bir kullanıcıya veya gruba atanabilir. Bir gruba atandığında, kullanıcının izinleri otomatik olarak grubun izinlerinin kapsamını daraltır ve kullanıcının kaynağı grubun diğer üyeleriyle güvenli bir şekilde paylaşmasına olanak tanır.

Ayrılmış erişim modu kullanılırken, aşağıdaki özellikler yalnızca Databricks Runtime 15.4 LTS ML ve üzerinde kullanılabilir:

  • Last updated on