Kitaplık yardımcı programı (dbutils.library) (eski)

Not

dbutils.library.install ve dbutils.library.installPyPI API'leri Databricks Runtime 11.0 ve üzeri sürümleriyle kaldırılır. Çoğu kitaplık yardımcı programı komutu kullanım dışıdır. Çoğu kitaplık yardımcı programı Databricks Runtime ML'de kullanılamaz. hakkında dbutils.library.restartPythonbilgi için bkz . Azure Databricks'te Python işlemini yeniden başlatma.

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir. Bu içerikte belirtilen ürünler, hizmetler veya teknolojiler artık desteklenmemektedir.

Databricks, not defteri kapsamlı kitaplıkları yüklemek için sihirli komutların kullanılmasını %pip kesinlikle önerir. Bkz. Not defteri kapsamlı Python kitaplıkları.

Databricks yardımcı programları işlevselliğiyle ilgili tam belgeler için bkz . Databricks Utilities (dbutils) başvurusu.

Komutlar: install, installPyPI, list, restartPython), updateCondaEnv

Kitaplık yardımcı programı Python kitaplıklarını yüklemenize ve kapsamı not defteri oturumu olan bir ortam oluşturmanıza olanak tanır. Kitaplıklar hem sürücüde hem de yürütücülerde kullanılabilir, böylece bunlara kullanıcı tanımlı işlevlerde başvurabilirsiniz. Bu, şunları etkinleştirir:

• Not defterinin kendi içinde düzenlenecek kitaplık bağımlılıkları.
• Bir kümeyi girişim olmadan paylaşmak için farklı kitaplık bağımlılıklarına sahip not defteri kullanıcıları.

Not defterini ayırmak bu ortamı yok eder. Ancak, not defterinde kitaplık install API komutlarını yeniden çalıştırarak yeniden oluşturabilirsiniz. restartPython Ortamınızı kaybetmeden not defterinizin durumunu nasıl sıfırlayabileceğinizi öğrenmek için API'ye bakın.

Kitaplık yardımcı programları varsayılan olarak etkindir. Bu nedenle, varsayılan olarak her not defterinin Python ortamı, not defteri kümeye eklendiğinde oluşturulan ve kümedeki varsayılan Python ortamını devralan ayrı bir Python yürütülebilir dosyası kullanılarak yalıtılır. Azure Databricks Python ortamına bir başlatma betiği aracılığıyla yüklenen kitaplıklar hala kullanılabilir. olarak ayarlayarak spark.databricks.libraryIsolation.enabled falsebu özelliği devre dışı bırakabilirsiniz.

Bu API, kullanıcı arabirimi ve Kitaplıklar API'sini kullanarak küme genelindeki mevcut kitaplık yüklemesiyle uyumludur. Bu API aracılığıyla yüklenen kitaplıklar, küme genelindeki kitaplıklardan daha yüksek önceliğe sahiptir.

Kullanılabilir komutları listelemek için komutunu çalıştırın dbutils.library.help().

install(path: String): boolean -> Install the library within the current notebook session
installPyPI(pypiPackage: String, version: String = "", repo: String = "", extras: String = ""): boolean -> Install the PyPI library within the current notebook session
list: List -> List the isolated libraries added for the current notebook session via dbutils
restartPython: void -> Restart python process for the current notebook session
updateCondaEnv(envYmlContent: String): boolean -> Update the current notebook's Conda environment based on the specification (content of environment

install komutu (dbutils.library.install)

Bir kitaplığın yolu verilip bu kitaplığı geçerli not defteri oturumuna yükler. Bu komut çağrılarak yüklenen kitaplıklar yalnızca geçerli not defteri tarafından kullanılabilir.

Bu komutla ilgili yardım görüntülemek için komutunu çalıştırın dbutils.library.help("install").

Bu örnek, not .egg defterine bir veya .whl kitaplığı yükler.

Önemli

dbutils.library.install Databricks Runtime 11.0 ve üzeri sürümlerine kaldırıldı.

Databricks, tüm kitaplık yükleme komutlarınızı not defterinizin ilk hücresine yerleştirmenizi ve bu hücrenin sonuna çağırmanızı restartPython önerir. Python not defteri durumu çalıştırıldıktan restartPythonsonra sıfırlanır; not defteri yerel değişkenler, içeri aktarılan kitaplıklar ve diğer kısa ömürlü durumlar dahil ancak bunlarla sınırlı olmamak üzere tüm durumunu kaybeder. Bu nedenle, kitaplıkları yüklemenizi ve ilk not defteri hücresindeki not defteri durumunu sıfırlamanızı öneririz.

Kabul edilen kitaplık kaynakları , , abfssadlve wasbsşeklindedirdbfs.

dbutils.library.install("abfss:/path/to/your/library.egg")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

dbutils.library.install("abfss:/path/to/your/library.whl")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

Not

kullanarak %pipözel tekerlek dosyalarını doğrudan yükleyebilirsiniz. Aşağıdaki örnekte, kitaplık tekerlek dosyanızı DBFS'ye yüklediğiniz varsayılır:

%pip install /dbfs/path/to/your/library.whl

Yumurta dosyaları pip tarafından desteklenmez ve tekerlek dosyaları Python için derleme ve ikili paketleme için standart olarak kabul edilir. Ancak, bir yumurta dosyasını ile %pipuyumlu bir şekilde kullanmak istiyorsanız aşağıdaki geçici çözümü kullanabilirsiniz:

# This step is only needed if no %pip commands have been run yet.
# It will trigger setting up the isolated notebook environment
%pip install <any-lib>  # This doesn't need to be a real library; for example "%pip install any-lib" would work

import sys
# Assuming the preceding step was completed, the following command
# adds the egg file to the current notebook environment
sys.path.append("/local/path/to/library.egg")

installPyPI komutu (dbutils.library.installPyPI)

Python Paket Dizini (PyPI) paketi verilip bu paketi geçerli not defteri oturumuna yükleyin. Bu komut çağrılarak yüklenen kitaplıklar not defterleri arasında yalıtılır.

Bu komutla ilgili yardım görüntülemek için komutunu çalıştırın dbutils.library.help("installPyPI").

Bu örnek, not defterine bir PyPI paketi yükler. version, repove extras isteğe bağlıdır. extras Ek özellikler özelliğini (ek gereksinimler) belirtmek için bağımsız değişkenini kullanın.

dbutils.library.installPyPI("pypipackage", version="version", repo="repo", extras="extras")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this command.

Önemli

dbutils.library.installPyPI Databricks Runtime 11.0 ve üzeri sürümlerine kaldırıldı.

version ve extras anahtarları PyPI paket dizesinin parçası olamaz. Örneğin: dbutils.library.installPyPI("azureml-sdk[databricks]==1.19.0") geçerli değil. version sürüm ve ek bilgileri aşağıdaki gibi belirtmek için ve extras bağımsız değişkenlerini kullanın:

dbutils.library.installPyPI("azureml-sdk", version="1.19.0", extras="databricks")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this command.

Not

Komutları komutlarla %pip değiştirirken dbutils.library.installPyPI Python yorumlayıcısı otomatik olarak yeniden başlatılır. Yükleme komutunu aşağıdaki gibi çalıştırabilirsiniz:

%pip install azureml-sdk[databricks]==1.19.0

Bu örnek, bir not defterindeki kitaplık gereksinimlerini belirtir ve diğerinde kullanarak %run bunları yükler. Bunu yapmak için önce bir not defterine yüklenecek kitaplıkları tanımlayın. Bu örnekte adlı InstallDependenciesbir not defteri kullanılır.

dbutils.library.installPyPI("torch")
dbutils.library.installPyPI("scikit-learn", version="1.19.1")
dbutils.library.installPyPI("azureml-sdk", extras="databricks")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

Ardından bunları bu bağımlılıklara ihtiyaç duyan not defterine yükleyin.

%run /path/to/InstallDependencies # Install the dependencies in the first cell.

import torch
from sklearn.linear_model import LinearRegression
import azureml
...

Bu örnek, ortamı korurken Python not defteri durumunu sıfırlar. Bu teknik yalnızca Python not defterlerinde kullanılabilir. Örneğin, farklı bir sürümle önceden yüklenmiş Azure Databricks kitaplıklarını yeniden yüklemek için bu tekniği kullanabilirsiniz:

dbutils.library.installPyPI("numpy", version="1.15.4")
dbutils.library.restartPython()

# Make sure you start using the library in another cell.
import numpy

Bu tekniği, işlem başlatma sırasında yüklenmesi gereken tensorflow gibi kitaplıkları yüklemek için de kullanabilirsiniz:

dbutils.library.installPyPI("tensorflow")
dbutils.library.restartPython()

# Use the library in another cell.
import tensorflow

list komutu (dbutils.library.list)

Kitaplık yardımcı programı aracılığıyla geçerli not defteri oturumu için eklenen yalıtılmış kitaplıkları listeler. Bu, kümeye bağlı kitaplıkları içermez.

Bu komutla ilgili yardım görüntülemek için komutunu çalıştırın dbutils.library.help("list").

Bu örnekte not defterine yüklenen kitaplıklar listelenmiştir.

dbutils.library.list()

Not

bu komutun kullanan %pip eşdeğeri:

%pip freeze

updateCondaEnv komutu (dbutils.library.updateCondaEnv)

Geçerli not defterinin Conda ortamını içeriğine environment.ymlgöre güncelleştirir. Bu yöntem yalnızca Conda'daki Databricks Runtime için desteklenir.

Bu komutla ilgili yardım görüntülemek için komutunu çalıştırın dbutils.library.help("updateCondaEnv").

Bu örnek, sağlanan belirtimin içeriğine göre geçerli not defterinin Conda ortamını güncelleştirir.

dbutils.library.updateCondaEnv(
"""
channels:
  - anaconda
dependencies:
  - gensim=3.4
  - nltk=3.4
""")