RuntimeConfig

API de configuración orientada al usuario, accesible a través de SparkSession.conf.

Admite Spark Connect

Las opciones establecidas aquí se propagan automáticamente a la configuración de Hadoop durante la E/S.

Sintaxis

spark.conf.set(key, value)
spark.conf.get(key)

Propiedades

Propiedad	Descripción
getAll	Devuelve todas las propiedades establecidas en esta configuración como un dict.

Methods

Método	Descripción
set(key, value)	Establece la propiedad de configuración del entorno de ejecución de Spark dada. value puede ser una cadena, un entero o un valor booleano.
get(key, default)	Devuelve el valor de la propiedad de configuración de la clave especificada. Devuelve default si la clave no existe. Genera una excepción si la clave no está establecida y no se proporciona ningún valor predeterminado.
unset(key)	Restablece la propiedad de configuración de la clave especificada.
isModifiable(key)	Devuelve True si la propiedad de configuración de la clave especificada se puede modificar en la sesión actual.

Ejemplos

Establezca y recupere una propiedad de configuración:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Recupere una propiedad con un valor predeterminado:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Desconjunte una propiedad de configuración:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Recuperar todas las propiedades de configuración:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}