DataStreamWriter クラス

定義

名前空間:

Microsoft.Spark.Sql.Streaming

アセンブリ:

Microsoft.Spark.dll

パッケージ:

Microsoft.Spark v1.0.0

DataStreamWriter には、外部ストレージ システム (ファイル システム、キー値ストアなど) にストリーミング DataFrame を書き込む機能が用意されています。

public sealed class DataStreamWriter

type DataStreamWriter = class

Public NotInheritable Class DataStreamWriter

継承

Object

DataStreamWriter

メソッド

Foreach(IForeachWriter)	指定されたライター オブジェクトを使用して処理されるストリーミング クエリの出力を設定します。 ライフサイクルとセマンティクスの詳細については、「」を参照してください IForeachWriter 。
ForeachBatch(Action<DataFrame,Int64>)	指定された関数を使用して処理されるストリーミング クエリの出力を設定します。 これは、マイクロバッチ実行モード (つまり、トリガーが連続していない場合) でのみサポートされます。 すべてのマイクロバッチでは、提供された関数がすべてのマイクロバッチで呼び出され、(i) 出力行は として、(ii) バッチ識別子が DataFrame 使用されます。 batchId を使用して、出力 (つまり、指定されたデータセット) を外部システムに重複除去してトランザクションで書き込むことができます。 出力 DataFrame は、同じ batchId に対してまったく同じであることが保証されます (すべての操作がクエリで決定論的であると仮定します)。
Format(String)	基になる出力データ ソースを指定します。
Option(String, Boolean)	基になるデータ ソースの出力オプションを追加します。
Option(String, Double)	基になるデータ ソースの出力オプションを追加します。
Option(String, Int64)	基になるデータ ソースの出力オプションを追加します。
Option(String, String)	基になるデータ ソースの出力オプションを追加します。
Options(Dictionary<String,String>)	基になるデータ ソースの出力オプションを追加します。
OutputMode(OutputMode)	ストリーミング DataFrame のデータをストリーミング シンクに書き込む方法を指定します。
OutputMode(String)	ストリーミング DataFrame のデータをストリーミング シンクに書き込む方法を指定します。
PartitionBy(String[])	ファイル システム上の指定された列で出力をパーティション分割します。 指定した場合、出力は Hive のパーティション構成と同様にファイル システムにレイアウトされます。
QueryName(String)	で開始できる の StreamingQuery 名前を start()指定します。 この名前は、関連付けられている SQLContext 内の現在アクティブなすべてのクエリで一意である必要があります。
Start(String)	ストリーミング クエリの実行を開始します。
Trigger(Trigger)	ストリーム クエリのトリガーを設定します。