Megosztás:

Databricks Utilities (dbutils) referencia

Ez a cikk a Databricks Utilities (dbutils) hivatkozását tartalmazza. A segédprogramok olyan parancsokat biztosítanak, amelyek lehetővé teszik a Databricks-környezet jegyzetfüzetekből való használatát. Kezelheti például a fájlokat és az objektumtárolókat, és titkos kulcsokkal dolgozhat. dbutils Python-, R- és Scala-jegyzetfüzetekben érhetők el.

Feljegyzés

dbutils csak a DBFS-t használó számítási környezeteket támogatja.

segédprogrammodulok

Az alábbi táblázat a Databricks Utilities modulokat sorolja fel, amelyeket dbutils.help()használatával kérdezhet le.

Modul Leírás
adat Segédprogramok az adathalmazok megértéséhez és kezeléséhez (KÍSÉRLETI)
Fs Segédprogramok a Databricks fájlrendszer (DBFS) eléréséhez
munkák Segédprogramok a feladatok funkcióinak kihasználásához
könyvtár Elavult. Segédprogramok munkamenet-hatókörű kódtárak kezeléséhez
jegyzetfüzet Segédprogramok a jegyzetfüzetek vezérlési folyamatának kezeléséhez (KÍSÉRLETI)
titkos kódok Segédprogramok a titkos kódok jegyzetfüzeteken belüli kihasználásához
widgetek Segédprogramok a jegyzetfüzetek paraméterezéséhez.
Api Segédprogramok az alkalmazás buildjeinek kezeléséhez

Parancsok súgója

Ha egy segédprogrammodul parancsait és az egyes parancsok rövid leírását szeretné felsorolni, fűzze hozzá .help() a segédprogrammodul neve után. Az alábbi példa a jegyzetfüzet segédprogramhoz elérhető parancsokat sorolja fel:

dbutils.notebook.help()

The notebook module.

exit(value: String): void -> This method lets you exit a notebook with a value
run(path: String, timeoutSeconds: int, arguments: Map): String -> This method runs a notebook and returns its exit value

A parancsok súgójának megjelenítéséhez futtassa a dbutils.<utility-name>.help("<command-name>"). Az alábbi példa a fájlrendszer segédprogramok másolási parancsának súgóját jeleníti meg, dbutils.fs.cp:

dbutils.fs.help("cp")

/**
* Copies a file or directory, possibly across FileSystems.
*
* Example: cp("/mnt/my-folder/a", "dbfs:/a/b")
*
* @param from FileSystem URI of the source file or directory
* @param to FileSystem URI of the destination file or directory
* @param recurse if true, all files and directories will be recursively copied
* @return true if all files were successfully copied
*/
cp(from: java.lang.String, to: java.lang.String, recurse: boolean = false): boolean

Adat segédprogram (dbutils.data)

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

Feljegyzés

Elérhető a Databricks Runtime 9.0 és újabb verziókban.

Az adat segédprogram lehetővé teszi az adathalmazok megértését és a velük való interakciót.

Az alábbi táblázat a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket a dbutils.data.help()használatával lekérhet.

Parancs Leírás
összegez Spark DataFrame összegzése és a statisztikák vizualizációja a gyors elemzésekhez

összegző parancs (dbutils.data.summarize)

Feljegyzés

Ez a funkció a nyilvános előzetes verzióban érhető el.

summarize(df: Object, precise: boolean): void

Kiszámítja és megjeleníti az Apache Spark DataFrame vagy a pandas DataFrame összesített statisztikáit. Ez a parancs Python, Scala és R esetén érhető el.

Fontos

Ez a parancs elemzi a DataFrame teljes tartalmát. A parancs nagyon nagy méretű DataFrame-ekhez való futtatása nagyon költséges lehet.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.data.help("summarize")

A Databricks Runtime 10.4 LTS és újabb verzióiban a további precise paraméter használatával módosíthatja a kiszámított statisztikák pontosságát.

  • Ha precise hamis (alapértelmezett) értékre van állítva, néhány visszaadott statisztika a futási idő csökkentésére vonatkozó közelítéseket tartalmaz.
    • A kategorikus oszlopok eltérő értékeinek száma ~5%-os relatív hibát okozhat a magas számosságú oszlopok esetében.
    • A gyakori értékek száma akár 0,01%-os hibát is okozhat, ha a különböző értékek száma meghaladja az 10000-et.
    • A hisztogramok és a percentilisbecslések akár 0,01%-os hibát is okozhatnak a sorok teljes számához képest.
  • Ha precise igaz értékre van állítva, a statisztikák nagyobb pontossággal lesznek kiszámítva. A numerikus oszlopok hisztogramjai és percentilisei kivételével minden statisztika pontos.
    • A hisztogramok és a percentilisbecslések legfeljebb 0,0001%-os hibát okozhatnak a sorok teljes számához képest.

Az adatösszesítő kimenet tetején található elemleírás az aktuális futtatás módját jelzi.

Példa

Ez a példa az Apache Spark DataFrame összesített statisztikáit jeleníti meg, alapértelmezés szerint engedélyezett közelítésekkel. Az eredmények megtekintéséhez futtassa ezt a parancsot egy jegyzetfüzetben. Ez a példa mintaadatkészleteken alapul.

Python
df = spark.read.format('csv').load(
  '/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv',
  header=True,
  inferSchema=True
)
dbutils.data.summarize(df)
R
df <- read.df("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", source = "csv", header="true", inferSchema = "true")
dbutils.data.summarize(df)
Scala
val df = spark.read.format("csv")
  .option("inferSchema", "true")
  .option("header", "true")
  .load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
dbutils.data.summarize(df)

A vizualizáció SI-jelölést használ a 0,01-nél kisebb vagy 10000-nél nagyobb numerikus értékek tömör megjelenítéséhez. A numerikus érték 1.25e-15 például a következőképpen jelenik meg 1.25f. Egy kivétel: a megjelenítés a "B" helyett a "1.0e9" (G) értéket használja.

Fájlrendszer segédprogram (dbutils.fs)

A fájlrendszer-kezelő segédprogram lehetővé teszi számodra, hogy hozzáférj a következőhöz: Mi az a DBFS?. A munkaterületi fájlokeléréséhez használjon olyan rendszerhéjparancsokat, mint a %sh ls, mivel vannak bizonyos korlátozások a dbutils.fs parancsok munkaterületi fájlokkal való használatakor.

Figyelmeztetés

A Python-implementáció az összes dbutils.fs metódushoz a snake_case használja kulcsszóformázáshoz a camelCase helyett.

A dbutils.fs.help() például a következőhöz tartozó lehetőséget extraConfigsdbutils.fs.mount()jeleníti meg: A Pythonban azonban a kulcsszót extra_configshasználná.

Az alábbi táblázat a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket a dbutils.fs.help()használatával lekérhet.

Parancs Leírás
Cp Fájl vagy könyvtár másolása, esetleg fájlrendszerek között
fej Az adott fájl első "max_bytes" bájtját adja vissza UTF-8-ban kódolt sztringként.
Ls Címtár tartalmának listázása
mkdirs Létrehozza az adott könyvtárat, ha nem létezik, és létrehozza a szükséges szülőkönyvtárakat is
szerelés A megadott forráskönyvtár csatlakoztatása a DBFS-be az adott csatlakoztatási ponton
rögzítők Információkat jelenít meg arról, hogy mi van csatlakoztatva a DBFS-ben
Mv Fájl vagy könyvtár áthelyezése, esetleg fájlrendszerek között.
helyezze Az adott sztringet egy UTF-8 kóddal kódolt fájlba írja ki
refreshMounts Kényszeríti a fürt összes gépét a csatlakoztatási gyorsítótár frissítésére, biztosítva, hogy megkapják a legfrissebb információkat
mikrométer Fájl vagy könyvtár eltávolítása
leválaszt DBFS-csatlakoztatási pont törlése
frissítésTárolás Hasonló a csatlakoztatáshoz(), de egy meglévő csatlakoztatási pontot frissít ahelyett, hogy újat hoz létre

Borravaló

Jegyzetfüzetekben a %fs magic parancsot használhatja a DBFS eléréséhez. Például %fs ls /Volumes/main/default/my-volume/ ugyanaz, mint dbutils.fs.ls("/Volumes/main/default/my-volume/"). Tekintse meg a varázsparancsokat.

cp parancs (dbutils.fs.cp)

cp(from: String, to: String, recurse: boolean = false): boolean

Fájl vagy könyvtár másolása, esetleg fájlrendszerek között.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("cp")

Példa

Ez a példa a névvel ellátott data.csv/Volumes/main/default/my-volume/new-data.csv fájlt ugyanabba a kötetbe másolja.

Python
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# Out[4]: True
R
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# [1] TRUE
Scala
dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

// res3: Boolean = true

head command (dbutils.fs.head)

head(file: String, max_bytes: int = 65536): String

A megadott maximális bájtszámot adja vissza az adott fájlban. A bájtok UTF-8 kódolású sztringként lesznek visszaadva.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("head")

Példa

Ez a példa a fájl data.csv/Volumes/main/default/my-volume/első 25 bájtját jeleníti meg.

Python
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [Truncated to first 25 bytes]
# Out[12]: 'Year,First Name,County,Se'
R
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [1] "Year,First Name,County,Se"
Scala
dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

// [Truncated to first 25 bytes]
// res4: String =
// "Year,First Name,County,Se"

ls parancs (dbutils.fs.ls)

ls(dir: String): Seq

Egy könyvtár tartalmát sorolja fel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("ls")

Példa

Ez a példa a tartalommal /Volumes/main/default/my-volume/kapcsolatos információkat jeleníti meg. A modificationTime mező a Databricks Runtime 10.4 LTS és újabb verziókban érhető el. Az R-ben modificationTime sztringként lesz visszaadva.

Python
dbutils.fs.ls("/Volumes/main/default/my-volume/")

# Out[13]: [FileInfo(path='dbfs:/Volumes/main/default/my-volume/data.csv', name='data.csv', size=2258987, modificationTime=1711357839000)]
R
dbutils.fs.ls("/Volumes/main/default/my-volume/")

# For prettier results from dbutils.fs.ls(<dir>), please use `%fs ls <dir>`

# [[1]]
# [[1]]$path
# [1] "/Volumes/main/default/my-volume/data.csv"

# [[1]]$name
# [1] "data.csv"

# [[1]]$size
# [1] 2258987

# [[1]]$isDir
# [1] FALSE

# [[1]]$isFile
# [1] TRUE

# [[1]]$modificationTime
# [1] "1711357839000"
Scala
dbutils.fs.ls("/tmp")

// res6: Seq[com.databricks.backend.daemon.dbutils.FileInfo] = WrappedArray(FileInfo(/Volumes/main/default/my-volume/data.csv, 2258987, 1711357839000))

mkdirs parancs (dbutils.fs.mkdirs)

mkdirs(dir: String): boolean

Létrehozza a megadott könyvtárat, ha nem létezik. Emellett létrehozza a szükséges szülőkönyvtárakat is.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mkdirs")

Példa

Ez a példa létrehozza a könyvtárat my-data a /Volumes/main/default/my-volume/ belül.

Python
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# Out[15]: True
R
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# [1] TRUE
Scala
dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

// res7: Boolean = true

csatlakoztatási parancs (dbutils.fs.mount)

mount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Csatlakoztatja a megadott forráskönyvtárat a DBFS-be a megadott csatlakoztatási ponton.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mount")

Példa

Python
dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})
Scala
dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

További példakódok: Csatlakozás az Azure Data Lake Storage-hoz és a Blob Storage-hoz.

csatolások parancs (dbutils.fs.mounts)

mounts: Seq

Információkat jelenít meg arról, hogy mi van jelenleg csatlakoztatva a DBFS-ben.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mounts")

Példa

Figyelmeztetés

Az új csatlakozás terjesztéséhez futtassa a dbutils.fs.refreshMounts() parancsot az összes többi működő fürtön. Lásd: refreshMounts parancs (dbutils.fs.refreshMounts).

Python
dbutils.fs.mounts()
Scala
dbutils.fs.mounts()

További példakódok: Csatlakozás az Azure Data Lake Storage-hoz és a Blob Storage-hoz.

mv parancs (dbutils.fs.mv)

mv(from: String, to: String, recurse: boolean = false): boolean

Áthelyez egy fájlt vagy könyvtárat, esetleg fájlrendszerek között. Az áthelyezés egy másolat, amelyet törlés követ, még a fájlrendszereken belüli áthelyezésekhez is.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("mv")

Példa

Ez a példa áthelyezi a fájlt rows.csv/Volumes/main/default/my-volume/-ról /Volumes/main/default/my-volume/my-data/-re.

Python
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# Out[2]: True
R
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# [1] TRUE
Scala
dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

// res1: Boolean = true

put parancs (dbutils.fs.put)

put(file: String, contents: String, overwrite: boolean = false): boolean

A megadott sztringet egy fájlba írja. A sztring UTF-8 kódolású.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("put")

Példa

Ez a példa a(z) Hello, Databricks! karakterláncot a(z) hello.txt nevű fájlba írja /Volumes/main/default/my-volume/-ben. Ha a fájl létezik, a program felülírja.

Python
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", True)

# Wrote 2258987 bytes.
# Out[6]: True
R
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", TRUE)

# [1] TRUE
Scala
dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", true)

// Wrote 2258987 bytes.
// res2: Boolean = true

refreshMounts parancs (dbutils.fs.refreshMounts)

refreshMounts: boolean

Kényszeríti a fürt összes gépét a csatlakoztatási gyorsítótár frissítésére, biztosítva, hogy megkapják a legfrissebb információkat.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("refreshMounts")

Példa

Python
dbutils.fs.refreshMounts()
Scala
dbutils.fs.refreshMounts()

További kódpéldákért lásd: Csatlakozás az Azure Data Lake Storage-hoz és a Blob Storage-hoz.

rm parancs (dbutils.fs.rm)

rm(dir: String, recurse: boolean = false): boolean

Eltávolít egy fájlt vagy könyvtárat, és szükség esetén az összes tartalmát. Ha egy fájl meg van adva, a recurse paraméter figyelmen kívül lesz hagyva. Ha egy könyvtár meg van adva, hiba történik, ha recurse le van tiltva, és a címtár nem üres.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("rm")

Példa

Ez a példa eltávolítja a teljes könyvtárat /Volumes/main/default/my-volume/my-data/ , beleértve annak tartalmát is.

Python
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", True)

# Out[8]: True
R
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", TRUE)

# [1] TRUE
Scala
dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", true)

// res6: Boolean = true

csatolás megszüntetési parancs (dbutils.fs.unmount)

unmount(mountPoint: String): boolean

DbFS-csatlakoztatási pont törlése.

Figyelmeztetés

A hibák elkerülése érdekében soha ne módosítsa a csatlakoztatási pontot, amíg más feladatok olvasnak vagy írnak hozzá. A csatlakoztatás módosítása után mindig futtassa dbutils.fs.refreshMounts() az összes többi futó fürtön a csatlakoztatási frissítések propagálásához. Lásd: refreshMounts parancs (dbutils.fs.refreshMounts).

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("unmount")

Példa

dbutils.fs.unmount("/mnt/<mount-name>")

További példakódok: Csatlakozás az Azure Data Lake Storage-hoz és a Blob Storage-hoz.

updateMount parancs (dbutils.fs.updateMount)

updateMount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

Hasonló a dbutils.fs.mount parancshoz, de egy meglévő csatlakoztatási pontot frissít ahelyett, hogy újat hoz létre. Hibát ad vissza, ha a csatlakoztatási pont nincs jelen.

Figyelmeztetés

A hibák elkerülése érdekében soha ne módosítsa a csatlakoztatási pontot, amíg más feladatok olvasnak vagy írnak hozzá. A csatlakoztatás módosítása után mindig futtassa dbutils.fs.refreshMounts() az összes többi futó fürtön a csatlakoztatási frissítések propagálásához. Lásd: refreshMounts parancs (dbutils.fs.refreshMounts).

Ez a parancs a Databricks Runtime 10.4 LTS és újabb verziókban érhető el.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.fs.help("updateMount")

Példa

Python
dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})
Scala
dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

Feladatok segédprogram (dbutils.jobs)

Segédprogramokat biztosít a feladatok funkcióinak használatához.

Feljegyzés

Ez a segédprogram csak Pythonhoz érhető el.

Az alábbi táblázat a segédprogram elérhető moduljait sorolja fel, amelyeket dbutils.jobs.help()használatával lehet lekérni.

Submodule Leírás
feladatértékek Segédprogramokat biztosít a feladatok tevékenységértékeinek kihasználásához

taskValues részfunkció (dbutils.jobs.taskValues)

Feljegyzés

Ez a segédprogram csak Pythonhoz áll rendelkezésre.

Parancsokat biztosít a feladatok tevékenységértékeinek kihasználásához.

Ezzel az alművelettel tetszőleges értékeket állíthat be és kérhet le egy feladat futtatása során. Ezeket az értékeket feladatértékeknek nevezzük. Bármely tevékenység lekérheti a felsőbb rétegbeli tevékenységek által beállított értékeket, és beállíthatja az alsóbb rétegbeli tevékenységekhez tartozó értékeket.

Minden tevékenységérték egyedi kulccsal rendelkezik ugyanazon a tevékenységen belül. Ezt az egyedi kulcsot a tevékenység értékének kulcsának nevezzük. A tevékenységérték a tevékenység nevével és a tevékenység értékének kulcsával érhető el. Ezt arra használhatja, hogy egy feladatról egy másik feladatra továbbítson adatokat ugyanazon feladatfuttatás során. Például azonosítókat vagy metrikákat, például egy gépi tanulási modell kiértékelési adatait adhat át a feladatfuttatás különböző tevékenységei között.

Az alábbi táblázat felsorolja az altartalmához elérhető parancsokat, amelyeket a dbutils.jobs.taskValues.help()használatával lehet lekérni.

Parancs Leírás
szerezze meg Lekéri a megadott feladatérték tartalmát a jelenlegi munkamenet futásában.
beállítása Tevékenységérték beállítása vagy frissítése. Egy feladatfuttatáshoz legfeljebb 250 tevékenységértéket állíthat be.

get parancs (dbutils.jobs.taskValues.get)

Feljegyzés

Ez a parancs csak Pythonhoz érhető el.

A Databricks Runtime 10.4 és korábbi verzióiban, ha a get nem találja a feladatot, akkor Py4JJavaError-t emel ki ahelyett, hogy egy ValueError.

get(taskKey: String, key: String, default: int, debugValue: int): Seq

Lekéri a megadott feladatérték tartalmát a jelenlegi munkamenet futásában.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.jobs.taskValues.help("get")

Példa

Példa:

dbutils.jobs.taskValues.get(taskKey    = "my-task", \
                            key        = "my-key", \
                            default    = 7, \
                            debugValue = 42)

Az előző példában:

  • taskKey a tevékenység értékét beállító tevékenység neve. Ha a parancs nem találja ezt a feladatot, megjelenik egy ValueError .
  • key a feladat értékének a set paranccsal (dbutils.jobs.taskValues.set) beállított kulcsának neve. Ha a parancs nem találja ennek a tevékenységértéknek a kulcsát, a rendszer felvesz egy ValueError értéket (hacsak nincs default megadva).
  • default egy nem kötelező érték, amely akkor lesz visszaadva, ha key nem található. default nem lehet None.
  • debugValue nem kötelező érték, amelyet akkor ad vissza a rendszer, ha egy feladaton kívül futó jegyzetfüzetből próbálja lekérni a feladat értékét. Ez hasznos lehet a hibakeresés során, amikor manuálisan szeretné futtatni a notebookot, és valamilyen értéket szeretne visszaadni az alapértelmezett TypeError helyett. debugValue nem lehet None.

Ha egy feladaton kívül futó jegyzetfüzetből próbál feladatértéket lekérni, ez a parancs alapértelmezés szerint előhoz egy TypeError értéket. Ha azonban az debugValue argumentum meg van adva a parancsban, a függvény az érték értékét debugValue adja vissza ahelyett, hogy egy értéket emelne ki TypeError.

set parancs (dbutils.jobs.taskValues.set)

Feljegyzés

Ez a parancs csak Pythonhoz érhető el.

set(key: String, value: String): boolean

Tevékenységérték beállítása vagy frissítése. Egy feladatfuttatáshoz legfeljebb 250 tevékenységértéket állíthat be.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.jobs.taskValues.help("set")

Példa

Néhány példa:

dbutils.jobs.taskValues.set(key   = "my-key", \
                            value = 5)

dbutils.jobs.taskValues.set(key   = "my-other-key", \
                            value = "my other value")

Az előző példákban:

  • key a tevékenység értékének kulcsa. Ennek a kulcsnak egyedinek kell lennie a tevékenységhez. Vagyis ha két különböző tevékenység egy tevékenységértéket állít be kulccsal K, akkor két különböző tevékenységértékről van szó, amelyek ugyanazt a kulcsot Khasználják.
  • value a tevékenységérték kulcsának értéke. Ennek a parancsnak képesnek kell lennie az érték belső JSON formátumban való megjelenítésére. Az érték JSON-ábrázolásának mérete nem haladhatja meg a 48 KiB-t.

Ha egy feladaton kívül futó jegyzetfüzetből próbál feladatértéket beállítani, ez a parancs nem tesz semmit.

Könyvtár segédprogram (dbutils.library)

Az dbutils.library almodul legtöbb metódusa elavult. Lásd: Library segédprogram (dbutils.library) (régi).

Előfordulhat, hogy programozott módon újra kell indítania a Python-folyamatot az Azure Databricksben, hogy a helyileg telepített vagy frissített kódtárak megfelelően működjenek a Python-kernelben az aktuális SparkSession esetében. Ehhez futtassa a dbutils.library.restartPython parancsot. Lásd: A Python-folyamat újraindítása az Azure Databricksben.

Notebook segédprogram (dbutils.notebook)

A jegyzetfüzet segédprogram lehetővé teszi a jegyzetfüzetek összefűzését és az eredményeik alapján történő cselekvést. Lásd jegyzetfüzetek vezénylése és a kód modularizálása a jegyzetfüzetekben.

Az alábbi táblázat a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket a dbutils.notebook.help()használatával lekérhet.

Parancs Leírás
kilépés Kilép egy értékkel rendelkező jegyzetfüzetből
fut Notebook futtatása és kilépési értékének visszaadása.

kilépési parancs (dbutils.notebook.exit)

exit(value: String): void

Kilép egy értékekkel rendelkező jegyzetfüzetből.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.notebook.help("exit")

Példa

A példa Exiting from My Other Notebook értékkel lép ki a jegyzetfüzetből.

Python
dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook
R
dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook
Scala
dbutils.notebook.exit("Exiting from My Other Notebook")

// Notebook exited: Exiting from My Other Notebook

Feljegyzés

Ha a futtatás olyan lekérdezéssel rendelkezik, amely a háttérben futó strukturált streameléssel rendelkezik, a hívás dbutils.notebook.exit() nem szakítja meg a futtatás befejezését. A futtatás addig folytatódik, amíg a lekérdezés a háttérben fut. A háttérben futó lekérdezés leállításához kattintson a Mégse gombra a lekérdezés cellájában, vagy futtassa a parancsotquery.stop(). Ha a lekérdezés leáll, a futtatás leállhat a következővel dbutils.notebook.exit(): .

futtatási parancs (dbutils.notebook.run)

run(path: String, timeoutSeconds: int, arguments: Map): String

Futtat egy jegyzetfüzetet, és visszaadja a kilépési értékét. A jegyzetfüzet az aktuális fürtben fog futni.

Feljegyzés

A parancsból run visszaadott sztringérték maximális hossza 5 MB. Lásd: Egyetlen futtatás kimenetének lekérése (GET /jobs/runs/get-output).

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.notebook.help("run")

Példa

Ez a példa egy, a hívó jegyzetfüzetével azonos helyen lévő My Other Notebook jegyzetfüzetet futtat. Az említett jegyzetfüzet a kódsorra, dbutils.notebook.exit("Exiting from My Other Notebook") végződik. Ha a hívott jegyzetfüzet nem fejeződik be 60 másodpercen belül, a rendszer kivételt jelez.

Python
dbutils.notebook.run("My Other Notebook", 60)

# Out[14]: 'Exiting from My Other Notebook'
Scala
dbutils.notebook.run("My Other Notebook", 60)

// res2: String = Exiting from My Other Notebook

Titkos kulcsok segédprogram (dbutils.secrets)

A titkos kulcsok segédprogram lehetővé teszi a bizalmas hitelesítő adatok tárolását és elérését anélkül, hogy a jegyzetfüzetekben láthatóvá tenné őket. Lásd: Titkos kódok kezelése és 3. lépés: A titkos kódok használata egy jegyzetfüzetben.

Az alábbi táblázat a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket a dbutils.secrets.help()használatával lekérhet.

Parancs Leírás
szerezze meg Lekéri egy titkos érték karakterláncát a hatókörrel és a kulccsal
getBytes Lekéri egy titkos érték bájtos ábrázolását megadott hatókörrel és kulccsal
lista Egy hatókör titkos metaadatainak listázása
listScopes Titkos hatóköri listák

get parancs (dbutils.secrets.get)

get(scope: String, key: String): String

A megadott hatókörhöz és kulcshoz tartozó titkos érték karaktersorozatát lekéri.

Figyelmeztetés

A rendszergazdák, a titkos kódok létrehozói és az engedéllyel rendelkező felhasználók elolvashatják az Azure Databricks titkos kulcsait. Bár az Azure Databricks törekszik a jegyzetfüzetekben esetleg megjelenő titkos értékek újrakódosítására, nem lehet megakadályozni, hogy az ilyen felhasználók titkos kulcsokat olvasnak. További információért tekintse meg a titkos szerkesztést.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("get")

Példa

Ez a példa a my-scope nevű hatókör és a my-key nevű kulcs titkos értékének szöveges ábrázolását adja meg.

Python
dbutils.secrets.get(scope="my-scope", key="my-key")

# Out[14]: '[REDACTED]'
R
dbutils.secrets.get(scope="my-scope", key="my-key")

# [1] "[REDACTED]"
Scala
dbutils.secrets.get(scope="my-scope", key="my-key")

// res0: String = [REDACTED]

getBytes parancs (dbutils.secrets.getBytes)

getBytes(scope: String, key: String): byte[]

Lekéri a titkos érték bájtokbeli ábrázolását a megadott hatókör és kulcs alapján.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("getBytes")

Példa

Ez a példa lekéri a a1!b2@c3# nevű hatókör és a my-scope nevű kulcs titkos értékének bájtos ábrázolását (ebben a példában my-key).

Python
dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# Out[1]: b'a1!b2@c3#'
R
dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# [1] 61 31 21 62 32 40 63 33 23
Scala
dbutils.secrets.getBytes(scope="my-scope", key="my-key")

// res1: Array[Byte] = Array(97, 49, 33, 98, 50, 64, 99, 51, 35)

list parancs (dbutils.secrets.list)

list(scope: String): Seq

A megadott hatókörben lévő titkos kódok metaadatait sorolja fel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("list")

Példa

Ez a példa a névvel ellátott my-scopehatókör titkos kulcsainak metaadatait sorolja fel.

Python
dbutils.secrets.list("my-scope")

# Out[10]: [SecretMetadata(key='my-key')]
R
dbutils.secrets.list("my-scope")

# [[1]]
# [[1]]$key
# [1] "my-key"
Scala
dbutils.secrets.list("my-scope")

// res2: Seq[com.databricks.dbutils_v1.SecretMetadata] = ArrayBuffer(SecretMetadata(my-key))

listScopes parancs (dbutils.secrets.listScopes)

listScopes: Seq

Felsorolja az elérhető hatóköröket.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.secrets.help("listScopes")

Példa

Ez a példa az elérhető hatóköröket sorolja fel.

Python
dbutils.secrets.listScopes()

# Out[14]: [SecretScope(name='my-scope')]
R
dbutils.secrets.listScopes()

# [[1]]
# [[1]]$name
# [1] "my-scope"
Scala
dbutils.secrets.listScopes()

// res3: Seq[com.databricks.dbutils_v1.SecretScope] = ArrayBuffer(SecretScope(my-scope))

Widgets segédprogram (dbutils.widgets)

A widgetek segédprogram lehetővé teszi a jegyzetfüzetek paraméterezését. Lásd a Databricks-vezérlőket.

Az alábbi táblázat a segédprogramhoz elérhető parancsokat sorolja fel, amelyeket a dbutils.widgets.help()használatával lekérhet.

Parancs Leírás
kombinált mező Kombinált lista beviteli mező létrehozása adott névvel, alapértelmezett értékkel és választási lehetőségekkel
legördülő menü Létrehoz egy legördülő beviteli vezérlőt a megadott névvel, alapértelmezett értékkel és választási lehetőségekkel
szerezze meg Egy bemeneti widget aktuális értékének lekérése
getAll Lekéri az összes widget nevét és értékeit tartalmazó térképet
getArgument Elavult. Egyenértékű a beszerzéssel
többszörös kijelölés Több kijelöléses beviteli vezérlő létrehozása adott névvel, alapértelmezett értékkel és választási lehetőségekkel
eltávolítása Beviteli vezérlő eltávolítása a jegyzetfüzetből
távolítsa el mindet Eltávolítja a jegyzetfüzet összes widgetét
szöveg Szövegbeviteli vezérlő létrehozása adott névvel és alapértelmezett értékkel

combobox parancs (dbutils.widgets.combobox)

combobox(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy kombinált lista widgetet a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("combobox")

Példa

Ez a példa egy fruits_combobox programozási névvel ellátott kombinált lista widgetet hoz létre és jelenít meg. Lehetőséget kínál apple, banana, coconut és dragon fruit, és a kezdeti érték banana-ra van állítva. Ez a kombinált lista widget egy kísérő címkével Fruitsrendelkezik. Ez a példa a legördülő lista widget kezdeti értékének kiírásával fejeződik be. banana

Python
dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=['apple', 'banana', 'coconut', 'dragon fruit'],
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# banana
R
dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=list('apple', 'banana', 'coconut', 'dragon fruit'),
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# [1] "banana"
Scala
dbutils.widgets.combobox(
  "fruits_combobox",
  "banana",
  Array("apple", "banana", "coconut", "dragon fruit"),
  "Fruits"
)

print(dbutils.widgets.get("fruits_combobox"))

// banana
SQL
CREATE WIDGET COMBOBOX fruits_combobox DEFAULT "banana" CHOICES SELECT * FROM (VALUES ("apple"), ("banana"), ("coconut"), ("dragon fruit"))

SELECT :fruits_combobox

-- banana

dropdown parancs (dbutils.widgets.dropdown)

dropdown(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy legördülő vezérlőt a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("dropdown")

Példa

Ez a példa egy programozott nevű toys_dropdownlegördülő vezérlőt hoz létre és jelenít meg. Lehetőséget kínál alphabet blocks, basketball, cape és doll, és a kezdeti érték basketball-ra van állítva. Ez a legördülő vezérlő egy kísérő címkével Toysrendelkezik. Ez a példa a legördülő vezérlő kezdeti értékének nyomtatásával fejeződik be. basketball

Python
dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=['alphabet blocks', 'basketball', 'cape', 'doll'],
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# basketball
R
dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=list('alphabet blocks', 'basketball', 'cape', 'doll'),
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# [1] "basketball"
Scala
dbutils.widgets.dropdown(
  "toys_dropdown",
  "basketball",
  Array("alphabet blocks", "basketball", "cape", "doll"),
  "Toys"
)

print(dbutils.widgets.get("toys_dropdown"))

// basketball
SQL
CREATE WIDGET DROPDOWN toys_dropdown DEFAULT "basketball" CHOICES SELECT * FROM (VALUES ("alphabet blocks"), ("basketball"), ("cape"), ("doll"))

SELECT :toys_dropdown

-- basketball

get parancs (dbutils.widgets.get)

get(name: String): String

Lekéri a widget aktuális értékét a megadott programozott neve alapján. Ez a programozott név a következő lehet:

  • Egy egyéni widget neve a jegyzetfüzetben, például fruits_comboboxtoys_dropdown.
  • A jegyzetfüzethez egy jegyzetfüzet-feladat részeként megadott egyéni paraméter neve, például name vagy age. További információkért tekintse meg a jegyzetfüzet-tevékenységek paramétereinek lefedettségét a feladatok felhasználói felületén vagy a mezőt az új feladat futtatásának indítása (notebook_params) műveletnél a Jobs API-ban.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("get")

Példa

Ez a példa a programozott nevű fruits_comboboxwidget értékét adja meg.

Python
dbutils.widgets.get('fruits_combobox')

# banana
R
dbutils.widgets.get('fruits_combobox')

# [1] "banana"
Scala
dbutils.widgets.get("fruits_combobox")

// res6: String = banana
SQL
SELECT :fruits_combobox

-- banana

Ez a példa a programozott nevet agetartalmazó jegyzetfüzet-tevékenységparaméter értékét adja meg. Ez a paraméter a 35 kapcsolódó jegyzetfüzet-feladat futtatásakor lett beállítva.

Python
dbutils.widgets.get('age')

# 35
R
dbutils.widgets.get('age')

# [1] "35"
Scala
dbutils.widgets.get("age")

// res6: String = 35
SQL
SELECT :age

-- 35

getAll parancs (dbutils.widgets.getAll)

getAll: map

Lekéri az összes aktuális widgetnevet és értéket. Ez különösen hasznos lehet a widgetértékek lekérdezéshez való gyors továbbításához spark.sql() .

Ez a parancs a Databricks Runtime 13.3 LTS-ben és újabb verziókban érhető el. Csak Python és Scala esetén érhető el.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("getAll")

Példa

Ez a példa lekéri a widgetértékek térképét, és paraméterargumentumként adja át egy Spark SQL-lekérdezésben.

Python
df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

# Query output
Scala
val df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

// res6: Query output

getArgument parancs (dbutils.widgets.getArgument)

getArgument(name: String, optional: String): String

Lekéri a widget aktuális értékét a megadott programozott neve alapján. Ha a widget nem létezik, opcionális üzenet küldhető vissza.

Feljegyzés

Ez a parancs elavult. Ehelyett használja a dbutils.widgets.get parancsot .

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("getArgument")

Példa

Ez a példa a programozott nevű fruits_comboboxwidget értékét adja meg. Ha ez a widget nem létezik, a rendszer visszaadja az üzenetet Error: Cannot find fruits combobox .

Python
dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# Out[3]: 'banana'
R
dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# [1] "banana"
Scala
dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")

// command-1234567890123456:1: warning: method getArgument in trait WidgetsUtils is deprecated: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
// dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
//                 ^
// res7: String = banana

multiselect parancs (dbutils.widgets.multiselect)

multiselect(name: String, defaultValue: String, choices: Seq, label: String): void

Létrehoz és megjelenít egy több kijelölési vezérlőt a megadott programozott névvel, alapértelmezett értékkel, választási lehetőségekkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("multiselect")

Példa

Ez a példa létrehoz és megjelenít egy többkijelölős vezérlőt a programozott névvel days_multiselect. A választási lehetőségeket Monday és Sunday között kínálja, és kezdeti értékként Tuesday van beállítva. Ez a multiselect widget egy kísérő címkével Days of the Weekrendelkezik. Ez a példa a multiselect widget Tuesdaykezdeti értékének nyomtatásával fejeződik be.

Python
dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=['Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'],
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# Tuesday
R
dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=list('Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'),
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# [1] "Tuesday"
Scala
dbutils.widgets.multiselect(
  "days_multiselect",
  "Tuesday",
  Array("Monday", "Tuesday", "Wednesday", "Thursday",
    "Friday", "Saturday", "Sunday"),
  "Days of the Week"
)

print(dbutils.widgets.get("days_multiselect"))

// Tuesday
SQL
CREATE WIDGET MULTISELECT days_multiselect DEFAULT "Tuesday" CHOICES SELECT * FROM (VALUES ("Monday"), ("Tuesday"), ("Wednesday"), ("Thursday"), ("Friday"), ("Saturday"), ("Sunday"))

SELECT :days_multiselect

-- Tuesday

parancs eltávolítása (dbutils.widgets.remove)

remove(name: String): void

Eltávolítja a widgetet a megadott programozott névvel.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("remove")

Fontos

Amikor egy widget eltávolítására szolgáló parancsot ad hozzá, nem adhat hozzá egy következő parancsot ugyanabban a cellában widget létrehozására. A widgetet egy másik cellában kell létrehoznia.

Példa

Ez a példa eltávolítja a programozott nevű widgetet fruits_combobox.

Python
dbutils.widgets.remove('fruits_combobox')
R
dbutils.widgets.remove('fruits_combobox')
Scala
dbutils.widgets.remove("fruits_combobox")
SQL
REMOVE WIDGET fruits_combobox

removeAll parancs (dbutils.widgets.removeAll)

removeAll: void

Eltávolítja az összes widgetet a jegyzetfüzetből.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("removeAll")

Fontos

Ha parancsot ad az összes widget eltávolítására, nem adhat hozzá további parancsot, amely bármilyen widgetet hozna létre ugyanabban a cellában. A widgeteket egy másik cellában kell létrehoznia.

Példa

Ez a példa eltávolítja az összes widgetet a jegyzetfüzetből.

Python
dbutils.widgets.removeAll()
R
dbutils.widgets.removeAll()
Scala
dbutils.widgets.removeAll()

szöveg parancs (dbutils.widgets.text)

text(name: String, defaultValue: String, label: String): void

Létrehoz és megjelenít egy szöveg widgetet a megadott programozott névvel, alapértelmezett értékkel és opcionális címkével.

A parancs teljes súgójának megjelenítéséhez futtassa a következőt:

dbutils.widgets.help("text")

Példa

Ez a példa egy programozott nevű your_name_textszöveg widgetet hoz létre és jelenít meg. A beállítás a kezdeti értékre Enter your namevan állítva. Ez a szöveg widget egy kísérő címkével Your namerendelkezik. Ez a példa a szöveg widget kezdeti értékének nyomtatásával fejeződik be. Enter your name

Python
dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# Enter your name
R
dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# [1] "Enter your name"
Scala
dbutils.widgets.text(
  "your_name_text",
  "Enter your name",
  "Your name"
)

print(dbutils.widgets.get("your_name_text"))

// Enter your name
SQL
CREATE WIDGET TEXT your_name_text DEFAULT "Enter your name"

SELECT :your_name_text

-- Enter your name

Databricks Utilities API-kódtár

Fontos

A Databricks Utilities API (dbutils-api) könyvtár elavult. A Databricks a következők egyikét javasolja:

Az alkalmazásfejlesztés felgyorsítása érdekében hasznos lehet az alkalmazások fordítása, összeállítása és tesztelése, mielőtt éles feladatként üzembe helyezené őket. Annak érdekében, hogy a Databricks segédprogramokkal fordíthasson, a Databricks biztosítja a dbutils-api könyvtárat. A kódtárat letöltheti a dbutils-apiDBUtils API webhelyéről a Maven-adattár webhelyén, vagy hozzáadhatja a tárat egy függőség hozzáadásával a buildfájlhoz:

  • SBT

    libraryDependencies += "com.databricks" % "dbutils-api_TARGET" % "VERSION"

  • Maven

    <dependency>
    <groupId>com.databricks</groupId>
    <artifactId>dbutils-api_TARGET</artifactId>
    <version>VERSION</version>
</dependency>

  • Gradle

    compile 'com.databricks:dbutils-api_TARGET:VERSION'

Cserélje le TARGET a kívánt célra (például 2.12) és VERSION a kívánt verzióra (például 0.0.5). Az elérhető célok és verziók listájáért tekintse meg a DBUtils API weboldalát a Maven-adattár webhelyén.

Miután ezt a könyvtárat felhasználva felépítette az alkalmazását, üzembe helyezheti az alkalmazást.

Fontos

A dbutils-api könyvtár csak helyileg teszi lehetővé egy alkalmazás lefordítását, amely dbutils-t használ, de a futtatását nem. Az alkalmazás futtatásához üzembe kell helyeznie az Azure Databricksben.

Korlátozások

A végrehajtókon belüli dbutils hívása váratlan eredményeket vagy hibákat eredményezhet.

Ha fájlrendszerműveleteket kell futtatnia a végrehajtókon keresztül dbutilshasználatával, tekintse meg a Fájlrendszerműveletek párhuzamosításacímű témakört.

A végrehajtókkal kapcsolatos információkért tekintse meg a fürtmód áttekintését az Apache Spark webhelyén.

  • Last updated on