面向用户的配置 API，可通过 SparkSession.conf.
支持 Spark Connect
此处设置的选项会在 I/O 期间自动传播到 Hadoop 配置。
Syntax
spark.conf.set(key, value)
spark.conf.get(key)
属性
| 财产 | 说明 |
|---|---|
getAll |
返回此配置中以听写的形式设置的所有属性。 |
方法
| 方法 | 说明 |
|---|---|
set(key, value) |
设置给定的 Spark 运行时配置属性。
value 可以是字符串、整数或布尔值。 |
get(key, default) |
返回给定键的配置属性的值。 如果键不存在，则返回 default 。 如果未设置密钥且未提供默认值，则引发异常。 |
unset(key) |
重置给定密钥的配置属性。 |
isModifiable(key) |
返回 True 当前会话中给定密钥的配置属性是否可修改。 |
示例
设置和检索配置属性：
spark.conf.set("key1", "value1")
spark.conf.get("key1")
'value1'
检索具有默认值的属性：
spark.conf.get("non-existent-key", "my_default")
'my_default'
取消设置配置属性：
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...
检索所有配置属性：
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll
{'key1': 'value1', 'key2': 'value2'}