DataStreamReader

Rozhraní používané k načtení streamovaného datového rámce z externích systémů úložiště (například systémů souborů a úložišť klíč-hodnota). Používá spark.readStream se pro přístup k tomuto.

Syntaxe

# Access through SparkSession
spark.readStream

Methods

Metoda	Description
format(source)	Určuje formát vstupního zdroje dat.
schema(schema)	Určuje schéma streamovaného datového rámce.
option(key, value)	Přidá vstupní možnost pro podkladový zdroj dat.
options(**options)	Přidá více vstupních možností pro podkladový zdroj dat.
load(path)	Načte datový rámec streamování z dané cesty a vrátí ho.
json(path)	Načte datový proud souboru JSON a vrátí datový rámec.
orc(path)	Načte datový proud souboru ORC a vrátí datový rámec.
parquet(path)	Načte datový proud souboru Parquet a vrátí datový rámec.
text(path)	Načte datový proud textového souboru a vrátí datový rámec.
csv(path)	Načte datový proud souboru CSV a vrátí datový rámec.
xml(path)	Načte datový proud souboru XML a vrátí datový rámec.
table(tableName)	Načte streamovací tabulku Delta a vrátí datový rámec.
name(source_name)	Přiřadí zdroji streamování název pro vývoj kontrolních bodů.
changes(tableName)	Vrátí změny na úrovni řádků (Change Data Capture) ze zadané tabulky jako streamovaný datový rámec.

Příklady

spark.readStream
# <...streaming.readwriter.DataStreamReader object ...>

Načtení datového proudu rychlosti, použití transformace, zápisu do konzoly a zastavení po 3 sekundách.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()