load (DataStreamReader)

Načte datový proud ze zdroje dat a vrátí ho jako datový rámec.

Syntaxe

load(path=None, format=None, schema=None, **options)

Parametry

Parameter	Typ	Description
path	str, volitelné	Cesta ke zdrojům dat založeným na systému souborů
format	str, volitelné	Formát zdroje dat Výchozí hodnota je 'parquet'.
schema	StructType nebo str, volitelné	Schéma vstupních dat jako řetězec ve formátu StructType nebo DDL (například col0 INT, col1 DOUBLE).
**options		Všechny ostatní možnosti řetězce.

Návraty

DataFrame

Příklady

Načtení datového proudu z dočasného souboru JSON:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()