load (DataStreamReader)

Ładuje strumień danych ze źródła danych i zwraca go jako ramkę danych.

Składnia

load(path=None, format=None, schema=None, **options)

Parametry

Parameter	Typ	Opis
path	str, opcjonalnie	Ścieżka do źródeł danych opartych na systemie plików.
format	str, opcjonalnie	Format źródła danych. Wartość domyślna to 'parquet'.
schema	Typ struktury lub str, opcjonalny	Schemat danych wejściowych jako ciąg w formacie StructType lub DDL (na przykład col0 INT, col1 DOUBLE).
**options		Wszystkie inne opcje ciągów.

Zwroty

DataFrame

Examples

Załaduj strumień z tymczasowego pliku JSON:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()