Microsoft.Spark.Sql 名前空間

クラス

ArrowFunctions	DataFrame 操作で使用できる関数。
Builder	データセットと DataFrame API を使用した Spark のプログラミングへのエントリ ポイント。
Column	Column クラスは、DataFrame 内のデータに基づいて計算される列を表します。
DataFrame	名前付き列に編成されたデータの分散コレクション。
DataFrameFunctions	マネージド DataFrame で使用できる関数。
DataFrameNaFunctions	で不足しているデータを操作するための機能を DataFrame提供します。
DataFrameReader	DataFrameReader には、外部ストレージ システム (ファイル システム、キー値ストアなど) から を DataFrame 読み込む機能が用意されています。
DataFrameStatFunctions	の統計関数を提供します DataFrame。
DataFrameUdfRegistrationExtensions	UdfRegistration の拡張メソッド。
DataFrameWriter	DataFrame を外部ストレージ システム (ファイル システム、キー値ストアなど) に書き込む際に使用されるインターフェイス。
DataFrameWriterV2	v2 API を使用して外部ストレージに を書き込 DataFrame む際に使用されるインターフェイス。
Functions	DataFrame 操作で使用できる関数。
GenericRow	SPARK の GenericRow と同等の RDD の行オブジェクトを表します。
RelationalGroupedDataset	DataFrame の集計に使用する一連のメソッド。
Row	SPARK の GenericRowWithSchema と同等の RDD の行オブジェクトを表します。
RuntimeConfig	Spark のランタイム構成インターフェイス。
SparkSession	データセットと DataFrame API を使用した Spark のプログラミングへのエントリ ポイント。
StorageLevel	RDD のストレージを制御するためのフラグ。 各 StorageLevel は、メモリを使用するかどうか、RDD をディスクにドロップするかどうか (メモリ不足の場合)、データを JAVA 固有のシリアル化された形式でメモリに保持するかどうか、および複数のノードで RDD パーティションをレプリケートするかどうかを記録します。 また、一般的に使用される一部のストレージ レベル (MEMORY_ONLY) の静的プロパティも含まれています。
UdfRegistration	ユーザー定義関数を登録するための関数。
UdfRegistrationExtensions	UdfRegistration の拡張メソッド。

インターフェイス

IForeachWriter

クエリによって生成されたデータを処理するカスタム ロジックを記述するためのインターフェイス。 これは、ストリーミング クエリの出力を任意のストレージ システムに書き込む場合によく使用されます。

列挙型

SaveMode

SaveMode は、DataFrame をデータ ソースに保存する場合に想定される動作を指定するために使用されます。