RuntimeConfig

API di configurazione rivolta all'utente, accessibile tramite SparkSession.conf.

Supporta Spark Connect

Le opzioni impostate qui vengono propagate automaticamente alla configurazione di Hadoop durante l'I/O.

Sintassi

spark.conf.set(key, value)
spark.conf.get(key)

Proprietà

Proprietà	Descrizione
getAll	Restituisce tutte le proprietà impostate in questa configurazione come elemento dict.

Methods

metodo	Descrizione
set(key, value)	Imposta la proprietà di configurazione del runtime spark specificata. value può essere una stringa, un numero intero o un valore booleano.
get(key, default)	Restituisce il valore della proprietà di configurazione per la chiave specificata. Restituisce default se la chiave non esiste. Genera un'eccezione se la chiave non è impostata e non viene fornito alcun valore predefinito.
unset(key)	Reimposta la proprietà di configurazione per la chiave specificata.
isModifiable(key)	Restituisce True se la proprietà di configurazione per la chiave specificata è modificabile nella sessione corrente.

Examples

Impostare e recuperare una proprietà di configurazione:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Recuperare una proprietà con un valore predefinito:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Annullare l'impostazione di una proprietà di configurazione:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Recuperare tutte le proprietà di configurazione:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}