RuntimeConfig

API de configuração voltada para o utilizador, acessível através de SparkSession.conf.

Suporta Spark Connect

As opções aqui definidas são automaticamente propagadas para a configuração Hadoop durante a I/O.

Sintaxe

spark.conf.set(key, value)
spark.conf.get(key)

Propriedades

Propriedade	Descrição
getAll	Devolve todas as propriedades definidas nesta configuração como um dict.

Methods

Método	Descrição
set(key, value)	Define a propriedade de configuração em tempo de execução do Spark dada. value pode ser uma cadeia, um inteiro ou um booleano.
get(key, default)	Devolve o valor da propriedade de configuração para a chave dada. Retorna default se a chave não existir. Levanta uma exceção se a chave não estiver definida e não for fornecido o padrão.
unset(key)	Redefine a propriedade de configuração para a chave dada.
isModifiable(key)	Retorna True se a propriedade de configuração para a chave dada for modificável na sessão atual.

Exemplos

Defina e recupere uma propriedade de configuração:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Recuperar uma propriedade com valor predefinido:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Desdefinir uma propriedade de configuração:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Recuperar todas as propriedades de configuração:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}