RuntimeConfig

Kullanıcıya yönelik yapılandırma API'sini kullanarak SparkSession.conferişilebilir.

Spark Connect'i destekler

Burada ayarlanan seçenekler G/Ç sırasında otomatik olarak Hadoop yapılandırmasına yayılır.

Sözdizimi

spark.conf.set(key, value)
spark.conf.get(key)

Özellikler

Mülkiyet	Açıklama
getAll	Bu yapılandırmada ayarlanan tüm özellikleri bir dikte olarak döndürür.

Methods

Yöntem	Açıklama
set(key, value)	Verilen Spark çalışma zamanı yapılandırma özelliğini ayarlar. value bir dize, tamsayı veya boole olabilir.
get(key, default)	Verilen anahtar için yapılandırma özelliğinin değerini döndürür. Anahtar yoksa döndürür default . Anahtar ayarlanmadıysa ve varsayılan ayar sağlanmadıysa bir özel durum oluşturur.
unset(key)	Verilen anahtarın yapılandırma özelliğini sıfırlar.
isModifiable(key)	Verilen anahtarın yapılandırma özelliği geçerli oturumda değiştirilebilirse döndürür True .

Örnekler

Yapılandırma özelliğini ayarlayın ve alın:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Varsayılan değere sahip bir özellik alın:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Yapılandırma özelliğinin kümesini kaldırın:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Tüm yapılandırma özelliklerini alma:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}