muratore

Interfaccia per costruire la configurazione della sessione.

Syntax

builder

Methods

metodo	Descrizione
appName(name)	Imposta un nome per l'applicazione, che viene mostrato nell'interfaccia web di Spark.
create()	Crea una nuova sessione SparkSession.
config(key, value, conf, map)	Imposta un'opzione di configurazione. Le opzioni vengono propagate automaticamente alla configurazione di SparkConf e SparkSession.
enableHiveSupport()	Abilita il supporto di Hive, inclusa la connettività a un metastore Hive persistente.
getOrCreate()	Ottiene un sparkSession esistente o, se non ne esiste uno esistente, ne crea uno nuovo in base alle opzioni impostate in questo generatore.
master(master)	Imposta l'URL master Spark a cui connettersi.
remote(url)	Imposta l'URL remoto spark per la connessione tramite Spark Connect.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+