RuntimeConfig

API konfigurasi yang menghadap pengguna, dapat diakses melalui SparkSession.conf.

Mendukung Spark Connect

Opsi yang diatur di sini secara otomatis disebarluaskan ke konfigurasi Hadoop selama I/O.

Sintaksis

spark.conf.set(key, value)
spark.conf.get(key)

Karakteristik

Harta benda	Deskripsi
getAll	Mengembalikan semua properti yang diatur dalam konfigurasi ini sebagai dict.

Metode

Metode	Deskripsi
set(key, value)	Mengatur properti konfigurasi runtime Spark yang diberikan. value dapat berupa string, bilangan bulat, atau boolean.
get(key, default)	Mengembalikan nilai properti konfigurasi untuk kunci yang diberikan. Mengembalikan default jika kunci tidak ada. Menimbulkan pengecualian jika kunci tidak diatur dan tidak ada default yang disediakan.
unset(key)	Mengatur ulang properti konfigurasi untuk kunci yang diberikan.
isModifiable(key)	Mengembalikan True jika properti konfigurasi untuk kunci yang diberikan dapat dimodifikasi dalam sesi saat ini.

Examples

Atur dan ambil properti konfigurasi:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Ambil properti dengan nilai default:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Batalkan set properti konfigurasi:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Ambil semua properti konfigurasi:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}