Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Databricks Yardımcı Programları (
Bu makale Databricks Yardımcı Programları (dbutils) için referans içerir. Yardımcı programlar, not defterlerinden Databricks ortamınızla çalışmanızı sağlayan komutlar sağlar. Örneğin, dosyaları ve nesne depolamayı yönetebilir ve gizli verilerle çalışabilirsiniz.
dbutils Python, R ve Scala not defterlerinde kullanılabilir.
Not
dbutils yalnızca DBFS kullanan işlem ortamlarını destekler.
Yardımcı Programı modülleri
Aşağıdaki tabloda, dbutils.help()kullanarak alabildiğiniz Databricks Yardımcı Programları modülleri listelenir.
| Modül | Açıklama |
|---|---|
| veri | Veri kümelerini anlama ve veri kümeleriyle etkileşim kurma yardımcı programları (DENEYSEL) |
| Fs | Databricks dosya sistemine (DBFS) erişmek için yardımcı programlar |
| işler | İş özelliklerinden yararlanmaya yönelik yardımcı programlar |
| kütüphane | Kullanım Dışı. Oturum odaklı kitaplıkları yönetmeye yönelik araçlar |
| defter | Not defterlerinin denetim akışını yönetmeye yönelik yardımcı programlar (DENEYSEL) |
| gizli sırlar | Not defterleri içinde gizli bilgilerden yararlanma için yardımcı programlar |
| widget | Not defterlerini parametreleştirmeye yönelik yardımcı programlar. |
| API | Uygulama derlemelerini yönetmeye yönelik yardımcı programlar |
Komut yardımı
Bir yardımcı program modülünün komutlarını ve her komutun kısa açıklamasını listelemek için yardımcı program modülünün adının arkasına .help() ekleyin. Aşağıdaki örnek, not defteri yardımcı programı için kullanılabilir komutları listeler:
dbutils.notebook.help()
The notebook module.
exit(value: String): void -> This method lets you exit a notebook with a value
run(path: String, timeoutSeconds: int, arguments: Map): String -> This method runs a notebook and returns its exit value
Komutla ilgili yardım çıktısı almak için dbutils.<utility-name>.help("<command-name>")çalıştırın. Aşağıdaki örnek, dbutils.fs.cpdosya sistemi yardımcı programları kopyalama komutu için yardım görüntüler:
dbutils.fs.help("cp")
/**
* Copies a file or directory, possibly across FileSystems.
*
* Example: cp("/mnt/my-folder/a", "dbfs:/a/b")
*
* @param from FileSystem URI of the source file or directory
* @param to FileSystem URI of the destination file or directory
* @param recurse if true, all files and directories will be recursively copied
* @return true if all files were successfully copied
*/
cp(from: java.lang.String, to: java.lang.String, recurse: boolean = false): boolean
Veri yardımcı programı (dbutils.data)
Önemli
Bu özellik Genel Önizlemededir.
Not
Databricks Runtime 9.0 ve üzeri sürümleriyle kullanılabilir.
Veri yardımcı programı, veri kümelerini anlamanıza ve veri kümeleriyle etkileşim kurmanıza olanak tanır.
Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.data.help()kullanılarak elde edilebilir.
| Komut | Açıklama |
|---|---|
| özetleme | Hızlı içgörüler elde etmek için Spark DataFrame'i özetleyin ve istatistikleri görselleştirin |
özetle komutu (dbutils.data.summarize)
Not
Bu özellik Genel Önizlemededir.
summarize(df: Object, precise: boolean): void
Apache Spark DataFrame veya pandas DataFrame'in özet istatistiklerini hesaplar ve görüntüler. Bu komut Python, Scala ve R için kullanılabilir.
Önemli
Bu komut, DataFrame'in tüm içeriğini analiz eder. Çok büyük DataFrame'ler için bu komutu çalıştırmak çok pahalı olabilir.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.data.help("summarize")
Databricks Runtime 10.4 LTS ve üzerinde hesaplanan istatistiklerin duyarlığı ayarlamak için ek precise parametreyi kullanabilirsiniz.
-
preciseFalse (varsayılan) olarak ayarlandığında, döndürülen bazı istatistikler çalışma süresini kısaltmak için yaklaşık değerleri içerir.- Kategorik sütunlar için ayrı değerlerin sayısı, yüksek kardinaliteli sütunlar için yaklaşık %5 göreli hataya sahip olabilir.
- Sık kullanılan değer sayılarında, ayrı değerlerin sayısı 10000'den büyük olduğunda %0,01'e varan bir hata olabilir.
- Histogramlar ve yüzdebirlik tahminler, toplam satır sayısına göre %0,01'e varan bir hataya sahip olabilir.
-
precisetrue olarak ayarlandığında istatistikler daha yüksek hassasiyetle hesaplanır. Sayısal sütunların histogramları ve yüzdebirlik değerleri dışındaki tüm istatistikler artık tam olarak belirlendi.- Histogramlar ve yüzdebirlik tahminlerde toplam satır sayısına göre %0,0001'e kadar hata olabilir.
Veri özeti çıktısının üstündeki yardım balonu, mevcut çalıştırmanın modunu gösterir.
Örnek
Bu örnek, varsayılan olarak yaklaşık değerlerin etkinleştirildiği bir Apache Spark DataFrame'in özet istatistiklerini görüntüler. Sonuçları görmek için bu komutu bir not defterinde çalıştırın. Bu örnek, Örnek veri kümeleri temel alınarak hazırlanmıştır.
Piton
df = spark.read.format('csv').load(
'/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv',
header=True,
inferSchema=True
)
dbutils.data.summarize(df)
R
df <- read.df("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", source = "csv", header="true", inferSchema = "true")
dbutils.data.summarize(df)
Scala programlama dili
val df = spark.read.format("csv")
.option("inferSchema", "true")
.option("header", "true")
.load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
dbutils.data.summarize(df)
Görselleştirme, 0,01'den küçük veya 10000'den büyük sayısal değerleri kısa bir şekilde işlemek için SI gösterimi kullanır. Örneğin, sayısal değer 1.25e-15 olarak 1.25f işlenir. Bir istisna: Görselleştirme, "B" yerine "1.0e9" (giga) için “G” kullanır.
Dosya sistemi yardımcı programı (dbutils.fs)
Dosya sistemi yardımcı programı DBFS nedir? öğesine erişmenizi sağlar.
Çalışma alanı dosyalarına erişmek için %sh lsgibi kabuk komutlarını kullanın, çünkü çalışma alanı dosyalarıyla komut kullanırken bazı dbutils.fssınırlamalar vardır.
Uyarı
Tüm dbutils.fs yöntemlerin Python uygulaması, anahtar sözcük biçimlendirmesi için snake_case yerine camelCase kullanır.
Örneğin, dbutils.fs.help() için extraConfigs seçeneğini dbutils.fs.mount() görüntüler. Ancak Python'da anahtar sözcüğünü extra_configskullanabilirsiniz.
Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.fs.help()kullanılarak elde edilebilir.
| Komut | Açıklama |
|---|---|
| Cp | Muhtemelen FileSystems arasında bir dosyayı veya dizini kopyalar. |
| baş | Verilen dosyanın ilk 'max_bytes' baytını UTF-8'de kodlanmış bir Dize olarak döndürür |
| Ls | Dizinin içeriğini listeler |
| mkdirs | Mevcut değilse verilen dizini oluşturur ve ayrıca gerekli üst dizinleri oluşturur |
| bağlama | Verilen kaynak dizini verilen bağlama noktasında DBFS'ye bağlar |
| monte eder | DBFS'ye nelerin bağlı olduğu hakkındaki bilgileri görüntüler |
| Mv | Dosya veya dizini büyük olasılıkla FileSystems arasında taşır |
| koymak | Verilen Dizeyi UTF-8 ile kodlanmış bir dosyaya yazar |
| BağlantılarıYenile | Bu kümedeki tüm makineleri bağlama önbelleğini yenilemeye zorlayarak en son bilgileri almalarını sağlar |
| Rm | Bir dosyayı veya dizini kaldırır |
| çıkarmak | DBFS bağlama noktasını siler |
| updateMount | Bağlamaya() benzer, ancak yeni bir bağlama noktası oluşturmak yerine mevcut bir bağlama noktasını güncelleştirir |
Bahşiş
Not defterlerinde, DBFS'ye erişmek için sihirli komutunu kullanabilirsiniz %fs . Örneğin %fs ls /Volumes/main/default/my-volume/ ile dbutils.fs.ls("/Volumes/main/default/my-volume/") aynıdır. Bkz . sihirli komutlar.
cp komutu (dbutils.fs.cp)
cp(from: String, to: String, recurse: boolean = false): boolean
Bir dosya veya dizini, mümkünse dosya sistemleri arasında, kopyalar.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("cp")
Örnek
Aynı birimde data.csv'den /Volumes/main/default/my-volume/'ye new-data.csv adlı dosyayı kopyalar.
Piton
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")
# Out[4]: True
R
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")
# [1] TRUE
Scala programlama dili
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")
// res3: Boolean = true
head komutu (dbutils.fs.head)
head(file: String, max_bytes: int = 65536): String
Belirtilen dosyada belirtilen en fazla bayt sayısını döndürür. Baytlar UTF-8 ile kodlanmış bir dize olarak döndürülür.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("head")
Örnek
Bu örnek, içinde data.csvbulunan dosyanın /Volumes/main/default/my-volume/ ilk 25 baytını görüntüler.
Piton
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)
# [Truncated to first 25 bytes]
# Out[12]: 'Year,First Name,County,Se'
R
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)
# [1] "Year,First Name,County,Se"
Scala programlama dili
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)
// [Truncated to first 25 bytes]
// res4: String =
// "Year,First Name,County,Se"
ls komutu (dbutils.fs.ls)
ls(dir: String): Seq
Bir dizinin içeriğini listeler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("ls")
Örnek
Bu örnek, /Volumes/main/default/my-volume/ içeriğinin bilgilerini görüntüler. Bu modificationTime alan Databricks Runtime 10.4 LTS ve üzerinde kullanılabilir. R'de dize modificationTime olarak döndürülür.
Piton
dbutils.fs.ls("/Volumes/main/default/my-volume/")
# Out[13]: [FileInfo(path='dbfs:/Volumes/main/default/my-volume/data.csv', name='data.csv', size=2258987, modificationTime=1711357839000)]
R
dbutils.fs.ls("/Volumes/main/default/my-volume/")
# For prettier results from dbutils.fs.ls(<dir>), please use `%fs ls <dir>`
# [[1]]
# [[1]]$path
# [1] "/Volumes/main/default/my-volume/data.csv"
# [[1]]$name
# [1] "data.csv"
# [[1]]$size
# [1] 2258987
# [[1]]$isDir
# [1] FALSE
# [[1]]$isFile
# [1] TRUE
# [[1]]$modificationTime
# [1] "1711357839000"
Scala programlama dili
dbutils.fs.ls("/tmp")
// res6: Seq[com.databricks.backend.daemon.dbutils.FileInfo] = WrappedArray(FileInfo(/Volumes/main/default/my-volume/data.csv, 2258987, 1711357839000))
mkdirs komutu (dbutils.fs.mkdirs)
mkdirs(dir: String): boolean
Mevcut değilse verilen dizini oluşturur. Ayrıca gerekli üst dizinleri de oluşturur.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("mkdirs")
Örnek
Bu örnek, my-data dizinini /Volumes/main/default/my-volume/ içinde oluşturur.
Piton
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")
# Out[15]: True
R
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")
# [1] TRUE
Scala programlama dili
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")
// res7: Boolean = true
mount komutu (dbutils.fs.mount)
mount(source: String, mountPoint: String, encryptionType: String = "",
owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean
Belirtilen kaynak dizini belirtilen bağlama noktasında DBFS'ye bağlar.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("mount")
Örnek
Piton
dbutils.fs.mount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})
Scala programlama dili
dbutils.fs.mount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
mountPoint = "/mnt/<mount-name>",
extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))
Ek kod örnekleri için bkz. Azure Data Lake Storage'a bağlanma ve Blob Depolama.
mounts komutu (dbutils.fs.mounts)
mounts: Seq
DBFS'de şu anda nelerin bağlı olduğu hakkındaki bilgileri görüntüler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("mounts")
Örnek
Uyarı
dbutils.fs.refreshMounts() ile yeni bağlamayı yaymak için diğer tüm çalışan kümelerde çağrı yapın. Bkz . refreshMounts komutu (dbutils.fs.refreshMounts).
Piton
dbutils.fs.mounts()
Scala programlama dili
dbutils.fs.mounts()
Ek kod örnekleri için bkz. Azure Data Lake Storage'a bağlanma ve Blob Depolama.
mv komutu (dbutils.fs.mv)
mv(from: String, to: String, recurse: boolean = false): boolean
Bir dosyayı veya dizini büyük olasılıkla dosya sistemleri arasında taşır. Taşıma, dosya sistemleri içindeki taşımalar için bile bir kopya ve ardından silme işlemidir.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("mv")
Örnek
Bu örnek, dosyayı rows.csv konumundan /Volumes/main/default/my-volume/ konumuna taşır.
Piton
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")
# Out[2]: True
R
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")
# [1] TRUE
Scala programlama dili
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")
// res1: Boolean = true
put komutu (dbutils.fs.put)
put(file: String, contents: String, overwrite: boolean = false): boolean
Belirtilen dizeyi bir dosyaya yazar. Dize UTF-8 kodludur.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("put")
Örnek
Bu örnek Hello, Databricks! dizisini hello.txt konumunda /Volumes/main/default/my-volume/ adlı bir dosyaya yazar. Eğer dosya mevcutsa, üzerine yazılacaktır.
Piton
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", True)
# Wrote 2258987 bytes.
# Out[6]: True
R
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", TRUE)
# [1] TRUE
Scala programlama dili
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", true)
// Wrote 2258987 bytes.
// res2: Boolean = true
refreshMounts komut (dbutils.fs.refreshMounts)
refreshMounts: boolean
Kümedeki tüm makineleri bağlama önbelleğini yenilemeye zorlayarak en son bilgileri almalarını sağlar.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("refreshMounts")
Örnek
Piton
dbutils.fs.refreshMounts()
Scala programlama dili
dbutils.fs.refreshMounts()
Ek kod örnekleri için bkz. Azure Data Lake Storage'a bağlanma ve Blob Depolama .
rm komutu (dbutils.fs.rm)
rm(dir: String, recurse: boolean = false): boolean
Bir dosyayı veya dizini ve isteğe bağlı olarak tüm içeriğini kaldırır. Bir dosya belirtilirse, recurse parametresi yoksayılır. Bir dizin belirtilmişse, recurse devre dışı bırakıldığında ve dizin boş değilse bir hata oluşur.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("rm")
Örnek
Bu örnek, içindekiler de dahil olmak üzere tüm dizini /Volumes/main/default/my-volume/my-data/ kaldırır.
Piton
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", True)
# Out[8]: True
R
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", TRUE)
# [1] TRUE
Scala programlama dili
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", true)
// res6: Boolean = true
unmount komutu (dbutils.fs.unmount)
unmount(mountPoint: String): boolean
DBFS bağlama noktasını siler.
Uyarı
Hataları önlemek için, diğer işlemler onun üzerinde okuma veya yazma yaparken bağlama noktasını hiçbir zaman değiştirmeyin. Bağlantıyı değiştirdikten sonra, tüm bağlantı güncellemelerini yaymak için her zaman çalışan diğer tüm kümelerde dbutils.fs.refreshMounts() komutunu çalıştırın. Bkz . refreshMounts komutu (dbutils.fs.refreshMounts).
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("unmount")
Örnek
dbutils.fs.unmount("/mnt/<mount-name>")
Ek kod örnekleri için bkz. Azure Data Lake Storage'a bağlanma ve Blob Depolama.
updateMount komutu (dbutils.fs.updateMount)
updateMount(source: String, mountPoint: String, encryptionType: String = "",
owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean
Komutuna dbutils.fs.mount benzer, ancak yeni bir bağlama noktası oluşturmak yerine mevcut bir bağlama noktasını güncelleştirir. Bağlama noktası yoksa bir hata döndürür.
Uyarı
Hataları önlemek için, diğer işlemler onun üzerinde okuma veya yazma yaparken bağlama noktasını hiçbir zaman değiştirmeyin. Bağlantıyı değiştirdikten sonra, tüm bağlantı güncellemelerini yaymak için her zaman çalışan diğer tüm kümelerde dbutils.fs.refreshMounts() komutunu çalıştırın. Bkz . refreshMounts komutu (dbutils.fs.refreshMounts).
Bu komut Databricks Runtime 10.4 LTS ve üzerinde kullanılabilir.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.fs.help("updateMount")
Örnek
Piton
dbutils.fs.updateMount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})
Scala programlama dili
dbutils.fs.updateMount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
mountPoint = "/mnt/<mount-name>",
extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))
İşler yardımcı programı (dbutils.jobs)
İş özelliklerinden yararlanmaya yönelik yardımcı programlar sağlar.
Not
Bu yardımcı program yalnızca Python için kullanılabilir.
Aşağıdaki tabloda, dbutils.jobs.help()kullanarak alabildiğiniz bu yardımcı program için kullanılabilir modüller listelenir.
| Altmodül | Açıklama |
|---|---|
| görevDeğerleri | İş görev değerlerinden yararlanmaya yönelik yardımcı programlar sağlar |
taskValues alt yardımcı programı (dbutils.jobs.taskValues)
Not
Bu alt yardımcı program yalnızca Python için kullanılabilir.
İş görev değerlerinden yararlanmaya yönelik komutlar sağlar.
Bir iş çalıştırması sırasında isteğe bağlı değerler ayarlamak ve almak için bu alt aracı kullanın. Bu değerler görev değerleri olarak adlandırılır. Herhangi bir görev, yukarı akış görevleri tarafından ayarlanan değerleri alabilir ve kullanılacak aşağı akış görevlerinin değerlerini ayarlayabilir.
Her görev değerinin aynı görev içinde benzersiz bir anahtarı vardır. Bu benzersiz anahtar, görev değerinin anahtarı olarak bilinir. Görev adı ve görev değerinin anahtarı kullanılarak bir görev değerine erişilir. Aynı iş çalıştırması içindeki görevler arasında bilgiyi aktarmak için bunu kullanabilirsiniz. Örneğin, bir iş çalıştırması içindeki farklı görevler arasında makine öğrenmesi modelinin değerlendirmesiyle ilgili bilgiler gibi tanımlayıcıları veya ölçümleri geçirebilirsiniz.
Aşağıdaki tabloda, dbutils.jobs.taskValues.help()kullanarak alabildiğiniz bu alt yardımcı program için kullanılabilir komutlar listelenir.
| Komut | Açıklama |
|---|---|
| al | Geçerli iş çalıştırmasında belirtilen bir görev için belirlenen görev değerinin içeriğini getirir. |
| ayarla | Görev değerini ayarlar veya güncelleştirir. Bir iş yürütümü için en fazla 250 görev değeri ayarlayabilirsiniz. |
get komutu (dbutils.jobs.taskValues.get)
Not
Bu komut yalnızca Python için kullanılabilir.
Databricks Runtime 10.4 ve önceki sürümlerinde, get görevi bulamazsa, bir yerine bir ValueError oluşturulur.
get(taskKey: String, key: String, default: int, debugValue: int): Seq
Geçerli iş çalıştırmasında belirtilen bir görev için belirlenen görev değerinin içeriğini getirir.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.jobs.taskValues.help("get")
Örnek
Örneğin:
dbutils.jobs.taskValues.get(taskKey = "my-task", \
key = "my-key", \
default = 7, \
debugValue = 42)
Yukarıdaki örnekte:
-
taskKey, görev değerini ayarlayan görevin adıdır. Eğer komut bu görevi bulamazsa, birValueErrortetiklenir. -
key, set komutuyla ayarladığınız görev değerinin anahtarının adıdır (dbutils.jobs.taskValues.set). Komut bu görev değerinin anahtarını bulamazsa, birValueErroroluşturulur (belirtilmediği sürecedefault). -
default, bulunamazsakeydöndürülen isteğe bağlı bir değerdir.defaultNoneolamaz. -
debugValue, bir işin dışında çalışan bir not defterinin içinden görev değerini almaya çalışırsanız döndürülen isteğe bağlı bir değerdir. Bu, not defterinizi elle çalıştırarak ve varsayılan olarakTypeErroryükseltmek yerine bir değer döndürerek hata ayıklama sırasında yararlı olabilir.debugValueNoneolamaz.
bir işin dışında çalışan bir not defterinin içinden bir görev değeri almaya çalışırsanız, bu komut varsayılan olarak bir TypeError oluşturur. Ancak, debugValue bağımsız değişken komutta belirtilirse, debugValue oluşturmak yerine TypeError değeri döndürülür.
set komutu (dbutils.jobs.taskValues.set)
Not
Bu komut yalnızca Python için kullanılabilir.
set(key: String, value: String): boolean
Görev değerini ayarlar veya güncelleştirir. Bir iş yürütümü için en fazla 250 görev değeri ayarlayabilirsiniz.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.jobs.taskValues.help("set")
Örnek
Bazı Örnekler:
dbutils.jobs.taskValues.set(key = "my-key", \
value = 5)
dbutils.jobs.taskValues.set(key = "my-other-key", \
value = "my other value")
Yukarıdaki örneklerde:
-
keygörev değerinin anahtarıdır. Bu anahtar göreve özgü olmalıdır. Diğer bir ifadeyle, her biri anahtarıylaKbir görev değeri ayarlayan iki farklı görev değeri varsa, bunlar aynı anahtaraKsahip iki farklı görev değeridir. -
value, bu görev değerinin anahtarının değeridir. Bu komutun değeri dahili olarak JSON biçiminde temsil edebilmesi gerekir. Değerin JSON gösteriminin boyutu 48 KiB'ı aşamaz.
bir işin dışında çalışan bir not defterinin içinden bir görev değeri ayarlamaya çalışırsanız, bu komut hiçbir şey yapmaz.
Kitaplık yardımcı programı (dbutils.library)
Alt modüldeki yöntemlerin dbutils.library çoğu kullanım dışıdır. Bkz. Kütüphane yardımcı programı (dbutils.library) (eski).
Yerel olarak yüklenen veya yükseltilen kitaplıkların geçerli SparkSession'ınız için Python çekirdeğinde düzgün çalıştığından emin olmak için Azure Databricks'te Python işlemini program aracılığıyla yeniden başlatmanız gerekebilir. Bunu yapmak için dbutils.library.restartPython komutunu çalıştırın. Bkz. Azure Databricks'te Python işlemini yeniden başlatma.
Not defteri yardımcı programı (dbutils.notebook)
Not defteri yardımcı programı, not defterlerini birbirine bağlamanıza ve sonuçlarına göre işlem yapmanızı sağlar. Bkz. Not defterlerini düzenleme venot defterlerinde kodu modüler hale getirme.
Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.notebook.help()kullanılarak elde edilebilir.
| Komut | Açıklama |
|---|---|
| çıkış | Not defterinden bir değerle çıkış yapar |
| çalıştır | Not defterini çalıştırır ve çıkış değerini döndürür |
exit komutu (dbutils.notebook.exit)
exit(value: String): void
Bir defterden bir değerle çıkış yapar.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.notebook.help("exit")
Örnek
Bu örnek, Exiting from My Other Notebook değeriyle not defterinden çıkar.
Piton
dbutils.notebook.exit("Exiting from My Other Notebook")
# Notebook exited: Exiting from My Other Notebook
R
dbutils.notebook.exit("Exiting from My Other Notebook")
# Notebook exited: Exiting from My Other Notebook
Scala programlama dili
dbutils.notebook.exit("Exiting from My Other Notebook")
// Notebook exited: Exiting from My Other Notebook
Not
Çalışmanın arka planda yapılandırılmış akış ile çalışan bir sorgusu varsa, dbutils.notebook.exit() çağrısı çalışmayı sonlandırmaz. Sorgu arka planda yürütülürken çalışma devam eder. Sorgunun hücresinde İptal'e tıklayarak veya komutunu çalıştırarak query.stop()sorgunun arka planda çalışmasını durdurabilirsiniz. Sorgu durduğunda çalıştırmayı sonlandırmak için dbutils.notebook.exit() kullanabilirsiniz.
çalıştır komutu (dbutils.notebook.run)
run(path: String, timeoutSeconds: int, arguments: Map): String
Not defterini çalıştırır ve çıkış değerini döndürür. Defter mevcut kümede çalışacaktır.
Not
Komuttan run döndürülen dize değerinin uzunluğu üst sınırı 5 MB'tır. Bkz. Tek bir çalıştırmanın çıktısını alma (GET /jobs/runs/get-output).
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.notebook.help("run")
Örnek
Bu örnek, çağıran not defteriyle aynı konumda My Other Notebook adlı bir not defterini çalıştırır. Çağrılan not defteri kod dbutils.notebook.exit("Exiting from My Other Notebook")satırıyla biter. Çağrılan not defteri 60 saniye içinde çalışmayı tamamlamazsa bir istisna fırlatılır.
Piton
dbutils.notebook.run("My Other Notebook", 60)
# Out[14]: 'Exiting from My Other Notebook'
Scala programlama dili
dbutils.notebook.run("My Other Notebook", 60)
// res2: String = Exiting from My Other Notebook
Gizli yardımcı aracı (dbutils.secrets)
Gizlilik aracı, hassas kimlik bilgilerini not defterlerinde görünür kılmadan depolamanıza ve erişmenize olanak tanır. Bkz Gizli bilgi yönetimi ve 3. Adım: Not defterinde gizli bilgileri kullanma.
Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.secrets.help()kullanılarak elde edilebilir.
| Komut | Açıklama |
|---|---|
| al | Kapsam ve anahtarla birlikte gizli bir değerin dize gösterimini alır. |
| getBytes | Kapsam ve anahtar ile bir gizli değerin bayt cinsinden gösterimini alır. |
| liste | Kapsama alanındaki gizli bilgiler için gizli meta verileri listeler |
| listScopes | Gizli kapsamları listeler |
get komutu (dbutils.secrets.get)
get(scope: String, key: String): String
Belirtilen gizli değer kapsamı ve anahtarı için bir gizli değerin dize gösterimini alır.
Uyarı
Yöneticiler, gizli dizi oluşturucuları ve izin verilen kullanıcılar Azure Databricks gizli dizilerini okuyabilir. Azure Databricks, defterlerde görüntülenebilen gizli değerleri gizlemek için çaba gösterse de, bu tür kullanıcıların bu gizli bilgileri okumasını engellemek mümkün değildir. Daha fazla bilgi için bkz Gizli düzenleme.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.secrets.help("get")
Örnek
Bu örnek, my-scope adlı kapsam ve my-key adlı anahtar için gizli değerin dize biçimini alır.
Piton
dbutils.secrets.get(scope="my-scope", key="my-key")
# Out[14]: '[REDACTED]'
R
dbutils.secrets.get(scope="my-scope", key="my-key")
# [1] "[REDACTED]"
Scala programlama dili
dbutils.secrets.get(scope="my-scope", key="my-key")
// res0: String = [REDACTED]
getBytes komutu (dbutils.secrets.getBytes) - bu komut, verileri bayt cinsinden elde etmenizi sağlar.
getBytes(scope: String, key: String): byte[]
Belirtilen kapsam ve anahtar için gizli bir değerin bayt temsili elde eder.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.secrets.help("getBytes")
Örnek
Bu örnek, a1!b2@c3# adlı kapsam için ve my-scope adlı anahtarın, gizli değerinin (buradaki örnekte my-key) bayt gösterimini alır.
Piton
dbutils.secrets.getBytes(scope="my-scope", key="my-key")
# Out[1]: b'a1!b2@c3#'
R
dbutils.secrets.getBytes(scope="my-scope", key="my-key")
# [1] 61 31 21 62 32 40 63 33 23
Scala programlama dili
dbutils.secrets.getBytes(scope="my-scope", key="my-key")
// res1: Array[Byte] = Array(97, 49, 33, 98, 50, 64, 99, 51, 35)
list komut (dbutils.secrets.list)
list(scope: String): Seq
Belirtilen kapsamdaki gizli bilgiler için meta verileri listeler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.secrets.help("list")
Örnek
Bu örnekte, my-scope kapsamındaki sırların meta verileri listelenir.
Piton
dbutils.secrets.list("my-scope")
# Out[10]: [SecretMetadata(key='my-key')]
R
dbutils.secrets.list("my-scope")
# [[1]]
# [[1]]$key
# [1] "my-key"
Scala programlama dili
dbutils.secrets.list("my-scope")
// res2: Seq[com.databricks.dbutils_v1.SecretMetadata] = ArrayBuffer(SecretMetadata(my-key))
listScopes komutu (dbutils.secrets.listScopes)
listScopes: Seq
Kullanılabilir kapsamları listeler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.secrets.help("listScopes")
Örnek
Bu örnekte kullanılabilir kapsamlar listelenir.
Piton
dbutils.secrets.listScopes()
# Out[14]: [SecretScope(name='my-scope')]
R
dbutils.secrets.listScopes()
# [[1]]
# [[1]]$name
# [1] "my-scope"
Scala programlama dili
dbutils.secrets.listScopes()
// res3: Seq[com.databricks.dbutils_v1.SecretScope] = ArrayBuffer(SecretScope(my-scope))
Widget yardımcı programı (dbutils.widgets)
Pencere öğeleri aracı, defterleri parametreleştirmenizi sağlar. Bkz. Databricks pencere öğeleri.
Bu yardımcı program için kullanılabilir komutlar aşağıdaki tabloda listelenmiştir ve dbutils.widgets.help()kullanılarak elde edilebilir.
| Komut | Açıklama |
|---|---|
| kombinasyon kutusu | Belirli bir ada, varsayılan bir değere ve seçeneklere sahip bir açılır liste widget'ı oluşturur |
| açılır menü | Belirtilen ad, varsayılan değer ve seçeneklerle bir açılır menü oluşturur. |
| al | Bir giriş pencere öğesinin mevcut değerini getirir. |
| tümünü al | Tüm pencere öğesi adlarının ve değerlerinin haritasını alır |
| getArgument | Kullanım Dışı. Get ile eşdeğer bir terim |
| çoklu seçim | Verilen bir isim, varsayılan değer ve seçeneklerle çok seçimli bir girdi bileşeni oluşturur. |
| kaldır | Defterden giriş bileşenini kaldırır |
| tüm kaldırma | Not defterindeki tüm pencere öğelerini kaldırır |
| Metin | Belirtilen bir adla ve varsayılan değere sahip bir metin girişi bileşeni oluşturur |
combobox komutu (dbutils.widgets.combobox)
combobox(name: String, defaultValue: String, choices: Seq, label: String): void
Belirtilen programatik ad, varsayılan değer, seçenekler ve isteğe bağlı etikete sahip bir combobox pencere öğesi oluşturur ve görüntüler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("combobox")
Örnek
Bu örnekte programatik adıyla fruits_combobox bir birleşik giriş kutusu pencere öğesi oluşturulur ve görüntülenir.
apple, banana, coconut ve dragon fruit seçeneklerini sunar ve banana ilk değeri olarak ayarlanır. Bu combobox pencere öğesinin eşlik eden bir etiketi vardır Fruits. Bu örnek, açılır kutu pencere öğesinin banana ilk değerini yazdırarak sona erer.
Piton
dbutils.widgets.combobox(
name='fruits_combobox',
defaultValue='banana',
choices=['apple', 'banana', 'coconut', 'dragon fruit'],
label='Fruits'
)
print(dbutils.widgets.get("fruits_combobox"))
# banana
R
dbutils.widgets.combobox(
name='fruits_combobox',
defaultValue='banana',
choices=list('apple', 'banana', 'coconut', 'dragon fruit'),
label='Fruits'
)
print(dbutils.widgets.get("fruits_combobox"))
# [1] "banana"
Scala programlama dili
dbutils.widgets.combobox(
"fruits_combobox",
"banana",
Array("apple", "banana", "coconut", "dragon fruit"),
"Fruits"
)
print(dbutils.widgets.get("fruits_combobox"))
// banana
SQL
CREATE WIDGET COMBOBOX fruits_combobox DEFAULT "banana" CHOICES SELECT * FROM (VALUES ("apple"), ("banana"), ("coconut"), ("dragon fruit"))
SELECT :fruits_combobox
-- banana
açılır menü komutu (dbutils.widgets.dropdown)
dropdown(name: String, defaultValue: String, choices: Seq, label: String): void
Belirtilen program adı, varsayılan değer, seçenekler ve isteğe bağlı etiket içeren bir açılan pencere öğesi oluşturur ve görüntüler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("dropdown")
Örnek
Bu örnek, programatik adıyla toys_dropdown bir açılır pencere öğesi oluşturur ve görüntüler.
alphabet blocks, basketball, cape ve doll seçeneklerini sunar ve basketball ilk değeri olarak ayarlanır. Bu açılan pencere öğesinde eşlik eden bir etiket Toysvardır. Bu örnek, açılan pencere öğesinin ilk değerini yazdırarak sona erer basketball.
Piton
dbutils.widgets.dropdown(
name='toys_dropdown',
defaultValue='basketball',
choices=['alphabet blocks', 'basketball', 'cape', 'doll'],
label='Toys'
)
print(dbutils.widgets.get("toys_dropdown"))
# basketball
R
dbutils.widgets.dropdown(
name='toys_dropdown',
defaultValue='basketball',
choices=list('alphabet blocks', 'basketball', 'cape', 'doll'),
label='Toys'
)
print(dbutils.widgets.get("toys_dropdown"))
# [1] "basketball"
Scala programlama dili
dbutils.widgets.dropdown(
"toys_dropdown",
"basketball",
Array("alphabet blocks", "basketball", "cape", "doll"),
"Toys"
)
print(dbutils.widgets.get("toys_dropdown"))
// basketball
SQL
CREATE WIDGET DROPDOWN toys_dropdown DEFAULT "basketball" CHOICES SELECT * FROM (VALUES ("alphabet blocks"), ("basketball"), ("cape"), ("doll"))
SELECT :toys_dropdown
-- basketball
get komutu (dbutils.widgets.get)
get(name: String): String
Belirtilen programatik ad ile pencere öğesinin geçerli değerini alır. Bu program adı aşağıdakilerden biri olabilir:
- Not defterindeki özel pencere öğesinin adı( örneğin,
fruits_comboboxveyatoys_dropdown). - Not defteri görevinin parçası olarak not defterine geçirilen özel parametrenin adı( örneğin
name, veyaage). Daha fazla bilgi için, işler kullanıcı arabirimindeki not defteri görevleri için parametrelerin kapsamına veya İşler API'sindekinotebook_params() işlemindekiPOST /jobs/run-nowalanına bakın.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("get")
Örnek
Bu örnek, program adı fruits_comboboxolan pencere öğesinin değerini alır.
Piton
dbutils.widgets.get('fruits_combobox')
# banana
R
dbutils.widgets.get('fruits_combobox')
# [1] "banana"
Scala programlama dili
dbutils.widgets.get("fruits_combobox")
// res6: String = banana
SQL
SELECT :fruits_combobox
-- banana
Bu örnek, program adı ageolan not defteri görev parametresinin değerini alır. Bu parametre, ilgili not defteri görevinin çalıştırıldığı zaman olarak ayarlandı 35 .
Piton
dbutils.widgets.get('age')
# 35
R
dbutils.widgets.get('age')
# [1] "35"
Scala programlama dili
dbutils.widgets.get("age")
// res6: String = 35
SQL
SELECT :age
-- 35
getAll komutu (dbutils.widgets.getAll) - tüm elemanları getir
getAll: map
Mevcut tüm pencere öğesi adlarının ve değerlerinin eşlemesini alır. Bu, pencere öğesi değerlerini hızlı bir şekilde spark.sql() bir sorguya geçirmek için özellikle yararlı olabilir.
Bu komut Databricks Runtime 13.3 LTS ve üstünde kullanılabilir. Yalnızca Python ve Scala için kullanılabilir.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("getAll")
Örnek
Bu örnek, pencere öğesi değerlerinin haritasını alır ve bir Spark SQL sorgusunda parametre olarak geçirir.
Piton
df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()
# Query output
Scala programlama dili
val df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()
// res6: Query output
getArgument komutu (dbutils.widgets.getArgument)
getArgument(name: String, optional: String): String
Belirtilen programatik ad ile pencere öğesinin geçerli değerini alır. Pencere öğesi mevcut değilse, isteğe bağlı bir mesaj döndürülebilir.
Not
Bu komut kullanım dışıdır. Bunun yerine dbutils.widgets.get kullanın.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("getArgument")
Örnek
Bu örnek, program adı fruits_comboboxolan pencere öğesinin değerini alır. Bu widget yoksa, ileti Error: Cannot find fruits combobox geri döndürülür.
Piton
dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')
# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# Out[3]: 'banana'
R
dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')
# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# [1] "banana"
Scala programlama dili
dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
// command-1234567890123456:1: warning: method getArgument in trait WidgetsUtils is deprecated: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
// dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
// ^
// res7: String = banana
multiselect komutu (dbutils.widgets.multiselect)
multiselect(name: String, defaultValue: String, choices: Seq, label: String): void
Belirtilen programatik ad, varsayılan değer, seçenekler ve isteğe bağlı etiket ile çoklu seçimli bir pencere öğesi oluşturur ve görüntüler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("multiselect")
Örnek
Bu örnek, programatik adıyla days_multiselect çok seçimli bir pencere öğesi oluşturur ve görüntüler.
Monday aracılığıyla Sunday seçeneklerini sunar ve Tuesday ilk değerine ayarlanır. Bu çoklu seçim pencere öğesinin eşlik eden bir etiketi Days of the Weekvardır. Bu örnek, çok seçimli pencere öğesinin Tuesdayilk değerini yazdırarak sona erer.
Piton
dbutils.widgets.multiselect(
name='days_multiselect',
defaultValue='Tuesday',
choices=['Monday', 'Tuesday', 'Wednesday', 'Thursday',
'Friday', 'Saturday', 'Sunday'],
label='Days of the Week'
)
print(dbutils.widgets.get("days_multiselect"))
# Tuesday
R
dbutils.widgets.multiselect(
name='days_multiselect',
defaultValue='Tuesday',
choices=list('Monday', 'Tuesday', 'Wednesday', 'Thursday',
'Friday', 'Saturday', 'Sunday'),
label='Days of the Week'
)
print(dbutils.widgets.get("days_multiselect"))
# [1] "Tuesday"
Scala programlama dili
dbutils.widgets.multiselect(
"days_multiselect",
"Tuesday",
Array("Monday", "Tuesday", "Wednesday", "Thursday",
"Friday", "Saturday", "Sunday"),
"Days of the Week"
)
print(dbutils.widgets.get("days_multiselect"))
// Tuesday
SQL
CREATE WIDGET MULTISELECT days_multiselect DEFAULT "Tuesday" CHOICES SELECT * FROM (VALUES ("Monday"), ("Tuesday"), ("Wednesday"), ("Thursday"), ("Friday"), ("Saturday"), ("Sunday"))
SELECT :days_multiselect
-- Tuesday
remove komutu (dbutils.widgets.remove)
remove(name: String): void
Belirtilen programatik adla pencere öğesini kaldırır.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("remove")
Önemli
Pencere öğesini kaldırmak için bir komut eklerseniz, aynı hücrede pencere öğesi oluşturmak için sonraki bir komut ekleyemezsiniz. Pencere öğesini başka bir hücrede oluşturmalısınız.
Örnek
Bu örnek, fruits_combobox program adıyla pencere öğesini kaldırır.
Piton
dbutils.widgets.remove('fruits_combobox')
R
dbutils.widgets.remove('fruits_combobox')
Scala programlama dili
dbutils.widgets.remove("fruits_combobox")
SQL
REMOVE WIDGET fruits_combobox
removeAll komutu (dbutils.widgets.removeAll) - Tüm bileşenleri kaldırır
removeAll: void
Not defterinden tüm pencere öğelerini kaldırır.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("removeAll")
Önemli
Tüm pencere öğelerini kaldırmak için bir komut eklerseniz, aynı hücrede pencere öğesi oluşturmak için sonraki bir komut ekleyemezsiniz. Widgetları başka bir hücrede oluşturmanız gerekir.
Örnek
Bu örnek, not defterinden tüm pencere öğelerini kaldırır.
Piton
dbutils.widgets.removeAll()
R
dbutils.widgets.removeAll()
Scala programlama dili
dbutils.widgets.removeAll()
text komutu (dbutils.widgets.text)
text(name: String, defaultValue: String, label: String): void
Belirtilen program adı, varsayılan değer ve isteğe bağlı etikete sahip bir metin pencere öğesi oluşturur ve görüntüler.
Bu komutla ilgili tam yardımı görüntülemek için şunu çalıştırın:
dbutils.widgets.help("text")
Örnek
Bu örnek, programatik adıyla your_name_text bir metin pencere öğesi oluşturur ve görüntüler. başlangıç değerine Enter your nameayarlanır. Bu metin pencere öğesinin eşlik eden bir etiketi Your namevardır. Bu örnek, Enter your namemetin pencere öğesinin ilk değerini yazdırarak sona erer.
Piton
dbutils.widgets.text(
name='your_name_text',
defaultValue='Enter your name',
label='Your name'
)
print(dbutils.widgets.get("your_name_text"))
# Enter your name
R
dbutils.widgets.text(
name='your_name_text',
defaultValue='Enter your name',
label='Your name'
)
print(dbutils.widgets.get("your_name_text"))
# [1] "Enter your name"
Scala programlama dili
dbutils.widgets.text(
"your_name_text",
"Enter your name",
"Your name"
)
print(dbutils.widgets.get("your_name_text"))
// Enter your name
SQL
CREATE WIDGET TEXT your_name_text DEFAULT "Enter your name"
SELECT :your_name_text
-- Enter your name
Databricks Yardımcı Programları API kitaplığı
Önemli
Databricks Utilities API (dbutils-api) kitaplığı kullanım dışıdır . Databricks bunun yerine aşağıdakilerden birini kullanmanızı önerir:
Uygulama geliştirmeyi hızlandırmak için, uygulamaları üretim işi olarak dağıtmadan önce derlemek, derlemek ve test etmek yararlı olabilir. Databricks Yardımcı Programları'na karşı derleyebilmeniz için Databricks dbutils-api kitaplığını sağlar. Maven Repository sitesindeki dbutils-api web sayfasından kitaplığını indirebilir veya derleme dosyanıza bir bağımlılık ekleyerek bu kitaplığı dahil edebilirsiniz.
SBT
libraryDependencies += "com.databricks" % "dbutils-api_TARGET" % "VERSION"Maven
<dependency> <groupId>com.databricks</groupId> <artifactId>dbutils-api_TARGET</artifactId> <version>VERSION</version> </dependency>Gradle
compile 'com.databricks:dbutils-api_TARGET:VERSION'
TARGET'yı istenen hedefle (örneğin, 2.12) ve VERSION'yi istenen sürümle (örneğin, 0.0.5) değiştirin. Kullanılabilir hedeflerin ve sürümlerin listesi için Maven Deposu web sitesindeki DBUtils API web sayfasına bakın.
Uygulamanızı bu kitaplık karşısında inşa ettikten sonra uygulamayı dağıtabilirsiniz.
Önemli
Kitaplık dbutils-api, dbutils kullanan bir uygulamayı yalnızca yerel olarak derlemenize izin verir, ancak çalıştırmanıza izin vermez. Uygulamayı çalıştırmak için Azure Databricks'te dağıtmanız gerekir.
Sınırlamalar
Yürütücülerin içinde dbutils çağrılması beklenmeyen sonuçlara veya hatalara neden olabilir.
dbutilskullanarak yürütücülerde dosya sistemi işlemlerini çalıştırmanız gerekiyorsa, Dosya sistemi işlemlerini paralelleştirme bölümüne bakın.
Yürütücüler hakkında bilgi için Apache Spark web sitesinde Küme Moduna Genel Bakış bölümüne bakın.