load (DataStreamReader)

Carga un flujo de datos desde un origen de datos y lo devuelve como dataFrame.

Sintaxis

load(path=None, format=None, schema=None, **options)

Parámetros

Parámetro	Tipo	Descripción
path	str, opcional	Ruta de acceso para orígenes de datos respaldados por el sistema de archivos.
format	str, opcional	Formato del origen de datos. Tiene como valor predeterminado 'parquet'.
schema	StructType o str, opcional	Esquema de los datos de entrada como una cadena con formato StructType o DDL (por ejemplo, col0 INT, col1 DOUBLE).
**options		Todas las demás opciones de cadena.

Devoluciones

DataFrame

Ejemplos

Cargue una secuencia desde un archivo JSON temporal:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()