konstruktor

Interfejs do budowy konfiguracji sesji.

Syntax

builder

Methods

Metoda	Opis
appName(name)	Ustala nazwę aplikacji, która jest wyświetlana w interfejsie webowym Sparka.
create()	Tworzy nową platformę SparkSession.
config(key, value, conf, map)	Ustawia opcję konfiguracji. Opcje są automatycznie propagowane do własnej konfiguracji platformy SparkConf i platformy SparkSession.
enableHiveSupport()	Umożliwia obsługę technologii Hive, w tym łączność z trwałym magazynem metadanych Hive.
getOrCreate()	Pobiera istniejącą platformę SparkSession lub, jeśli jej nie ma, tworzy nową na podstawie opcji ustawionych w tym konstruktorze.
master(master)	Ustawia główny adres URL platformy Spark do nawiązania połączenia.
remote(url)	Ustawia zdalny adres URL platformy Spark, aby nawiązać połączenie za pośrednictwem programu Spark Connect.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+