RuntimeConfig

Uživatelské rozhraní API konfigurace přístupné prostřednictvím SparkSession.confrozhraní API pro konfiguraci

Podporuje Spark Connect.

Zde nastavené možnosti se automaticky rozšíří do konfigurace Hadoopu během vstupně-výstupních operací.

Syntaxe

spark.conf.set(key, value)
spark.conf.get(key)

Vlastnosti

Vlastnictví	Description
getAll	Vrátí všechny vlastnosti nastavené v této konfiguraci jako diktování.

Methods

Metoda	Description
set(key, value)	Nastaví danou vlastnost konfigurace modulu runtime Sparku. value může být řetězec, celé číslo nebo logická hodnota.
get(key, default)	Vrátí hodnotu vlastnosti konfigurace pro daný klíč. Vrátí default , pokud klíč neexistuje. Vyvolá výjimku, pokud klíč není nastavený a není k dispozici žádná výchozí hodnota.
unset(key)	Obnoví vlastnost konfigurace pro daný klíč.
isModifiable(key)	Vrátí True , pokud je vlastnost konfigurace pro daný klíč upravitelná v aktuální relaci.

Příklady

Nastavení a načtení vlastnosti konfigurace:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Načtení vlastnosti s výchozí hodnotou:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Zrušení nastavení vlastnosti konfigurace:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Načtení všech vlastností konfigurace:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}