DataStreamWriter

Rozhraní používané k zápisu streamovaného datového rámce do externích systémů úložiště (například systémů souborů a úložišť klíč-hodnota). Používá df.writeStream se pro přístup k tomuto.

Syntaxe

# Access through DataFrame
df.writeStream

Methods

Metoda	Description
outputMode(outputMode)	Určuje, jak se data streamovaného datového rámce zapisuje do jímky. Možnosti jsou append, completea update.
format(source)	Určuje formát výstupního zdroje dat.
option(key, value)	Přidá výstupní možnost pro podkladový zdroj dat.
options(**options)	Přidá několik možností výstupu pro podkladový zdroj dat.
partitionBy(*cols)	Rozdělí výstup podle zadaných sloupců v systému souborů.
clusterBy(*cols)	Seskupí výstup podle daných sloupců.
queryName(queryName)	Určuje název streamovacího dotazu.
trigger(**kwargs)	Nastaví aktivační událost pro spuštění dotazu streamování.
foreach(f)	Nastaví výstup streamovacího dotazu, který má být zpracován danou funkcí nebo objektem.
foreachBatch(func)	Nastaví výstup každého mikrobatchu, který se má zpracovat danou funkcí.
start(path)	Spustí spuštění streamovacího dotazu a vrátí StreamingQuery objekt.
table(tableName)	Alias pro toTable(). Zapíše data do zadané tabulky a vrátí StreamingQuery objekt.
toTable(tableName)	Spustí spuštění streamovacího dotazu a průběžně vypíše výsledky do dané tabulky.

Příklady

Načtení datového proudu rychlosti, použití transformace, zápisu do konzoly a zastavení po 3 sekundách.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()