RuntimeConfig

Benutzerorientierte Konfigurations-API, über die zugegriffen werden kann SparkSession.conf.

Unterstützt Spark Connect

Hier festgelegte Optionen werden während der E/A automatisch an die Hadoop-Konfiguration weitergegeben.

Syntax

spark.conf.set(key, value)
spark.conf.get(key)

Eigenschaften

Eigentum	Beschreibung
getAll	Gibt alle in dieser Konfiguration festgelegten Eigenschaften als Diktat zurück.

Methodik

Methode	Beschreibung
set(key, value)	Legt die angegebene Spark-Laufzeitkonfigurationseigenschaft fest. value kann eine Zeichenfolge, eine ganze Zahl oder ein boolescher Wert sein.
get(key, default)	Gibt den Wert der Konfigurationseigenschaft für den angegebenen Schlüssel zurück. Gibt zurück default , wenn der Schlüssel nicht vorhanden ist. Löst eine Ausnahme aus, wenn der Schlüssel nicht festgelegt ist und kein Standardwert bereitgestellt wird.
unset(key)	Setzt die Konfigurationseigenschaft für den angegebenen Schlüssel zurück.
isModifiable(key)	Gibt zurück True , wenn die Konfigurationseigenschaft für den angegebenen Schlüssel in der aktuellen Sitzung geändert werden kann.

Beispiele

Festlegen und Abrufen einer Konfigurationseigenschaft:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Abrufen einer Eigenschaft mit einem Standardwert:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Festlegen einer Konfigurationseigenschaft:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Abrufen aller Konfigurationseigenschaften:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}