RuntimeConfig

Gebruikersgerichte configuratie-API, toegankelijk via SparkSession.conf.

Ondersteunt Spark Connect

Opties die hier worden ingesteld, worden automatisch doorgegeven aan de Hadoop-configuratie tijdens I/O.

Syntaxis

spark.conf.set(key, value)
spark.conf.get(key)

Eigenschappen

Vastgoed	Beschrijving
getAll	Retourneert alle eigenschappen die in deze configuratie zijn ingesteld als een dict.

Methods

Methode	Beschrijving
set(key, value)	Hiermee stelt u de opgegeven configuratie-eigenschap van spark-runtime in. value kan een tekenreeks, geheel getal of booleaanse waarde zijn.
get(key, default)	Retourneert de waarde van de configuratie-eigenschap voor de opgegeven sleutel. Retourneert default als de sleutel niet bestaat. Hiermee wordt een uitzondering gegenereerd als de sleutel niet is ingesteld en er geen standaardwaarde is opgegeven.
unset(key)	Hiermee stelt u de configuratie-eigenschap voor de opgegeven sleutel opnieuw in.
isModifiable(key)	Retourneert True als de configuratie-eigenschap voor de opgegeven sleutel kan worden gewijzigd in de huidige sessie.

Examples

Een configuratie-eigenschap instellen en ophalen:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Een eigenschap met een standaardwaarde ophalen:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Een configuratie-eigenschap ongedaan maken:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Alle configuratie-eigenschappen ophalen:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}