constructor

Interfaz para construir la configuración de la sesión.

Syntax

builder

Methods

Método	Descripción
appName(name)	Establece un nombre para la aplicación, que aparece en la interfaz web de Spark.
create()	Crea una nueva sparkSession.
config(key, value, conf, map)	Establece una opción de configuración. Las opciones se propagan automáticamente a la configuración propia de SparkConf y SparkSession.
enableHiveSupport()	Habilita la compatibilidad con Hive, incluida la conectividad a un metastore de Hive persistente.
getOrCreate()	Obtiene una sparkSession existente o, si no hay ninguna existente, crea una nueva basada en las opciones establecidas en este generador.
master(master)	Establece la dirección URL maestra de Spark a la que se va a conectar.
remote(url)	Establece la dirección URL remota de Spark para conectarse a través de Spark Connect.

Examples

spark = (
    SparkSession.builder
        .master("local")
        .appName("Word Count")
        .config("spark.some.config.option", "some-value")
        .getOrCreate()
)

spark.sql("SELECT * FROM range(10) where id > 7").show()

+---+
| id|
+---+
|  8|
|  9|
+---+

spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()

+-----+---+
| name|age|
+-----+---+
|Alice|  1|
+-----+---+

spark.range(1, 7, 2).show()

+---+
| id|
+---+
|  1|
|  3|
|  5|
+---+