Paket deposundan kitaplıkları yükleme

Azure Databricks PyPI, Maven ve CRAN paket depolarından kitaplıkları yüklemek için araçlar sağlar. Detaylı kitaplık uyumluluğu bilgileri için Bilgisayar kapsamlı kitaplıklar bölümüne bakınız.

Önemli

Kitaplıklar Databricks Runtime 14.3 LTS ve altı kullanılırken DBFS'den yüklenebilir. Ancak, herhangi bir çalışma alanı kullanıcısı DBFS'de depolanan kitaplık dosyalarını değiştirebilir. Azure Databricks çalışma alanında kitaplıkların güvenliğini artırmak için, kitaplık dosyalarını DBFS kökünde depolamak, Databricks Runtime 15.1 ve üzerinde varsayılan olarak kullanım dışıdır ve devre dışıdır. Bkz DBFS kökünde kitaplıkları depolamak kullanım dışıdır ve varsayılan olarak devre dışıdır.

Bunun yerine, Databricks Python kitaplıkları, JAR dosyaları ve Spark bağlayıcıları dahil olmak üzere tüm kitaplıkların çalışma alanı dosyalarına veya Unity Kataloğu birimlerine yüklenmesini ya da kitaplık paketi depolarının kullanılmasını önerir. İş yükünüz bu desenleri desteklemiyorsa, bulut nesne depolama alanında depolanan kitaplıkları da kullanabilirsiniz.

PyPI paketi

1. Kitaplık Kaynağı düğme listesinde PyPI'yi seçin.

2. Bir PyPI paket adı girin. Kitaplığın belirli bir sürümünü yüklemek için şu biçimi kitaplık için kullanın: <library>==<version>. Örneğin, scikit-learn==0.19.1.

   Not

   Databricks, işler için yeniden üretilebilir bir ortam sağlamak için bir kitaplık sürümü belirtmenizi önerir. Kitaplık sürümü tam olarak belirtilmemişse Databricks en son eşleşen sürümü kullanır. Bu, yeni sürümler yayımlandıkça aynı işin, farklı zamanlarda çalıştırılmalarının farklı kütüphane sürümleri kullanabileceği anlamına gelir. Kütüphane sürümünün belirtilmesi, kütüphanelerdeki yeni ve bozucu nitelikteki değişikliklerin işlerinizde kesintilere yol açmasını önler.

3. (İsteğe bağlı) Dizin URL'si alanına bir PyPI dizin URL'si girin.

4. Yükle'ye tıklayın.

Maven veya Spark paketi

Önemli

Maven kitaplıklarını standart erişim modu (eski adıyla paylaşılan erişim modu) ile yapılandırılan işlemde yüklemek için, işlem üzerinde CAN ATTACH ve CAN MANAGE izinlerini ayarlamanız ve Maven koordinatlarını izin verilenler listesine eklemeniz gerekir. Bkz. İzin verilenler listesine Maven koordinatları ekleme.

Önemli

Databricks Runtime 14.3 LTS ve altı için Databricks, Maven paketlerini çözmek için Apache Ivy 2.4.0'ı kullanır. Databricks Runtime 15.0 ve üzeri için, Databricks Ivy 2.5.1 veya üzerini kullanır ve belirli Ivy sürümü Databricks Runtime sürüm notları ve uyumluluk bölümünde listelenmiştir.

Maven paketlerinin yükleme sırası, kitaplıkların yüklenme sırasını etkileyebilecek son bağımlılık ağacını etkileyebilir.

1. Kitaplık Kaynağı düğme listesinde Maven'ı seçin.

2. Maven koordinatı belirtin. Aşağıdakilerden birini yapın:

   • Koordinat alanına, yüklenecek kitaplığın Maven koordinatını girin. Maven koordinatları biçimindedir groupId:artifactId:version; örneğin, com.databricks:spark-avro_2.10:1.0.0.
   • Tam koordinatı bilmiyorsanız, kitaplık adını girin ve Paketleri Ara'ya tıklayın. Eşleşen paketlerin listesi görüntülenir. Bir paketle ilgili ayrıntıları görüntülemek için paketin adına tıklayın. Paketleri ada, kuruluşa ve derecelendirmeye göre sıralayabilirsiniz. Ayrıca arama çubuğuna bir sorgu yazarak sonuçları filtreleyebilirsiniz. Sonuçlar otomatik olarak yenilenir.
     1. Sol üstteki açılan listeden Maven Central veya Spark Packages'ı seçin.
     2. İsteğe bağlı olarak Sürümler sütunundan paket sürümünü seçin.
     3. Paketin yanındaki + Seç'e tıklayın. Koordinat alanı seçili paket ve sürümle doldurulur.

3. (İsteğe bağlı) Depo alanına bir Maven deposu URL'si girebilirsiniz.

   Not

   İç Maven depoları için, spark.databricks.driver.disableDefaultMavenCentralResolver veya spark.databricks.driver.disableSparkPackagesResolver ayarlarını yaparak varsayılan Maven Central çözümleyicisini devre dışı bırakmanız gerekir. Bu yeni yapılandırma spark.databricks.driver.preferredMavenCentralMirrorUrl devre dışı bırakmıyor.

4. Dışlamalar alanında, hariç tutmak istediğiniz bağımlılıkların groupId ve artifactId'sini isteğe bağlı olarak sağlayın (örneğin, log4j:log4j).

   Not

   Maven, köke en yakın sürümü kullanarak çalışır ve farklı bağımlılıklara sahip sürümler için iki paket olması durumunda sıra önemlidir, bu nedenle eski bir bağımlılığı olan paket ilk kez yüklendiğinde başarısız olabilir.

   Bu sorunu aşmak için çakışan kütüphaneyi kaldırın. Örneğin, com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22 koordinatı ile paketi yüklerken Dışlamalar alanını com.nimbusds:oauth2-oidc-sdk:RELEASE olarak ayarlayın, böylece MSAL4J'in en son sürümü yüklenir ve eventhubs bağımlılığı karşılanır.

5. Yükle'ye tıklayın.

CRAN paketi

1. Kitaplık Kaynağı düğme listesinde CRAN'ı seçin.
2. Paket alanına paketin adını girin.
3. (İsteğe bağlı) Depo alanına CRAN deposu URL'sini girebilirsiniz.
4. Yükle'ye tıklayın.

Not

CRAN aynaları bir kütüphanenin en son sürümünü sunar. Sonuç olarak, kitaplığı farklı kümelere farklı zamanlarda eklerseniz R paketinin farklı sürümleriyle karşılaşabilirsiniz. Databricks'te R paketi sürümlerini yönetmeyi ve düzeltmeyi öğrenmek için bkz. Bilgi Bankası.