RuntimeConfig

API конфигурации для пользователей, доступный через SparkSession.conf.

Поддержка Spark Connect

Параметры, заданные здесь, автоматически распространяются в конфигурацию Hadoop во время ввода-вывода.

Синтаксис

spark.conf.set(key, value)
spark.conf.get(key)

Свойства

Недвижимость	Описание
getAll	Возвращает все свойства, заданные в этой конфигурации в виде дикта.

Методы

Метод	Описание
set(key, value)	Задает заданное свойство конфигурации среды выполнения Spark. value может быть строкой, целым числом или логическим.
get(key, default)	Возвращает значение свойства конфигурации для заданного ключа. Возвращает, default если ключ не существует. Вызывает исключение, если ключ не задан, и значение по умолчанию не задано.
unset(key)	Сбрасывает свойство конфигурации для заданного ключа.
isModifiable(key)	Возвращает, True можно ли изменить свойство конфигурации для заданного ключа в текущем сеансе.

Примеры

Задайте и получите свойство конфигурации:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Получение свойства со значением по умолчанию:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Отмена настройки свойства конфигурации:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Извлеките все свойства конфигурации:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}