面向使用者的配置 API，可透過 SparkSession.conf.存取。
支援 Spark Connect
此處設定的選項會在 I/O 時自動傳播至 Hadoop 配置。
語法
spark.conf.set(key, value)
spark.conf.get(key)
屬性
| 房產 | 說明 |
|---|---|
getAll |
以字典形式回傳此配置中設定的所有屬性。 |
方法
| 方法 | 說明 |
|---|---|
set(key, value) |
設定給定的 Spark 執行時設定屬性。
value 可以是字串、整數或布林。 |
get(key, default) |
回傳給定鍵的設定屬性值。 如果金鑰不存在，則會回傳 default 。 如果金鑰未被設定且沒有預設值，則會提出例外。 |
unset(key) |
重置給定鍵的配置屬性。 |
isModifiable(key) |
若該金鑰的設定屬性在當前會話中可修改，則回傳 True 。 |
Examples
設定並檢索一個配置屬性：
spark.conf.set("key1", "value1")
spark.conf.get("key1")
'value1'
取得一個預設值的屬性：
spark.conf.get("non-existent-key", "my_default")
'my_default'
解除設定屬性：
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...
檢索所有組態屬性：
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll
{'key1': 'value1', 'key2': 'value2'}