parquet (DataFrameWriter)

Guarda el contenido de DataFrame en formato Parquet en la ruta de acceso especificada.

Sintaxis

parquet(path, mode=None, partitionBy=None, compression=None)

Parámetros

Parámetro	Tipo	Descripción
path	str	Ruta de acceso en cualquier sistema de archivos compatible con Hadoop.
mode	str, opcional	Comportamiento cuando ya existen datos. Los valores aceptados son 'append', 'overwrite', 'ignore'y 'error' o 'errorifexists' (valor predeterminado).
partitionBy	str o list, opcional	Nombres de columnas de creación de particiones.
compression	str, opcional	Códec de compresión que se va a usar.

Devoluciones

Ninguno

Ejemplos

Escriba un DataFrame en un archivo Parquet y vuelva a leerlo.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+