DataStreamWriter Třída

Definice

Obor názvů:

Microsoft.Spark.Sql.Streaming

Sestavení:

Microsoft.Spark.dll

Balíček:

Microsoft.Spark v1.0.0

DataStreamWriter poskytuje funkce pro zápis streamování DataFrame do externích úložných systémů (např. systémů souborů, úložišť klíč-hodnota atd.).

public sealed class DataStreamWriter

type DataStreamWriter = class

Public NotInheritable Class DataStreamWriter

Dědičnost

Object

DataStreamWriter

Metody

Foreach(IForeachWriter)	Nastaví výstup dotazu streamování, který se má zpracovat pomocí zadaného objektu writer. Další IForeachWriter podrobnosti o životním cyklu a sémantice najdete v tématu .
ForeachBatch(Action<DataFrame,Int64>)	Nastaví výstup dotazu streamování, který se má zpracovat pomocí poskytnuté funkce. To je podporováno pouze v režimech mikrodávkového spouštění (to znamená, když trigger není průběžný). V každé mikrodávce bude zadaná funkce volána v každé mikrodávce s (i) výstupními řádky jako DataFrame a (ii) identifikátorem dávky. BatchId se dá použít k odstranění duplicit a transakčnímu zápisu výstupu (tj. poskytnuté datové sady) do externích systémů. Pro stejné batchId je zaručeno, že výstup DataFrame bude přesně stejný (za předpokladu, že všechny operace v dotazu jsou deterministické).
Format(String)	Určuje podkladový výstupní zdroj dat.
Option(String, Boolean)	Přidá možnost výstupu pro podkladový zdroj dat.
Option(String, Double)	Přidá možnost výstupu pro podkladový zdroj dat.
Option(String, Int64)	Přidá možnost výstupu pro podkladový zdroj dat.
Option(String, String)	Přidá možnost výstupu pro podkladový zdroj dat.
Options(Dictionary<String,String>)	Přidá možnosti výstupu pro podkladový zdroj dat.
OutputMode(OutputMode)	Určuje způsob zápisu dat streamovaného datového rámce do jímky streamování.
OutputMode(String)	Určuje způsob zápisu dat streamovaného datového rámce do jímky streamování.
PartitionBy(String[])	Rozdělí výstup podle zadaných sloupců v systému souborů. Pokud je zadaný, výstup se rozloží v systému souborů podobně jako schéma dělení Hive.
QueryName(String)	Určuje název , který StreamingQuery se dá začít s start(). Tento název musí být jedinečný mezi všemi aktuálně aktivními dotazy v přidruženém SQLContext.
Start(String)	Spustí dotaz streamování.
Trigger(Trigger)	Nastaví trigger pro dotaz streamu.