RuntimeConfig

API de configuration orientée utilisateur, accessible via SparkSession.conf.

Prend en charge Spark Connect

Les options définies ici sont automatiquement propagées à la configuration Hadoop pendant les E/S.

Syntaxe

spark.conf.set(key, value)
spark.conf.get(key)

Propriétés

Propriété	Description
getAll	Retourne toutes les propriétés définies dans cette configuration en tant que dict.

Méthodes

Méthode	Description
set(key, value)	Définit la propriété de configuration du runtime Spark donnée. value peut être une chaîne, un entier ou une valeur booléenne.
get(key, default)	Retourne la valeur de la propriété de configuration pour la clé donnée. Retourne default si la clé n’existe pas. Déclenche une exception si la clé n’est pas définie et qu’aucune valeur par défaut n’est fournie.
unset(key)	Réinitialise la propriété de configuration de la clé donnée.
isModifiable(key)	Retourne True si la propriété de configuration de la clé donnée est modifiable dans la session active.

Exemples

Définissez et récupérez une propriété de configuration :

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Récupérez une propriété avec une valeur par défaut :

spark.conf.get("non-existent-key", "my_default")

'my_default'

Annuler l’ensemble d’une propriété de configuration :

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Récupérez toutes les propriétés de configuration :

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}