Spark バージョンを返します。 この文字列には 2 つのフィールドが含まれています。1 つ目はリリース バージョンで、2 つ目は git リビジョンです。
構文
from pyspark.sql import functions as sf
sf.version()
例示
例 1: Spark バージョンを取得する
from pyspark.sql import functions as sf
spark.range(1).select(sf.version()).show(truncate=False)
+----------------------------------------------+
|version() |
+----------------------------------------------+
|4.0.0 4f8d1f575e99aeef8990c63a9614af0fc5479330|
+----------------------------------------------+