DataFrame.Observe(String, Column, Column[]) メソッド

定義

名前空間:

Microsoft.Spark.Sql

アセンブリ:

Microsoft.Spark.dll

パッケージ:

Microsoft.Spark v1.0.0

データセットで観察する (名前付き) メトリックを定義します。 このメソッドは、入力と同じ結果を返す 'observed' DataFrame を返します。次の保証があります。

1. その時点でデータセットを流れるすべてのデータに対して、定義された集計 (メトリック) が計算されます。
2. 完了ポイントに達するとすぐに、定義された集計列の値が報告されます。完了ポイントは、クエリの終了 (バッチ モード) またはストリーミング エポックの末尾のいずれかです。 集計の値には、前の完了ポイント以降に処理されたデータのみが反映されます。

継続的な実行は現在サポートされていないことに注意してください。

[Microsoft.Spark.Since("3.0.0")]
public Microsoft.Spark.Sql.DataFrame Observe (string name, Microsoft.Spark.Sql.Column expr, params Microsoft.Spark.Sql.Column[] exprs);

[<Microsoft.Spark.Since("3.0.0")>]
member this.Observe : string * Microsoft.Spark.Sql.Column * Microsoft.Spark.Sql.Column[] -> Microsoft.Spark.Sql.DataFrame

Public Function Observe (name As String, expr As Column, ParamArray exprs As Column()) As DataFrame

パラメーター

name

String

観察する名前付きメトリック

expr

Column

観察する定義された集計

exprs

Column[]

観察する定義された集計

戻り値

DataFrame

DataFrame オブジェクト

属性

SinceAttribute