ウィンドウ列からイベント時間を計算します。 列ウィンドウの値はウィンドウ集計演算子によって生成され、開始が包括的で終了が排他的である STRUCT<start: TIMESTAMP, end: TIMESTAMP> 型です。 ウィンドウ集計演算子によって生成されるレコードのイベント時間は、 window_time(window) として計算でき、 window.end - lit(1).alias("microsecond") されます (マイクロ秒はサポートされる最小イベント時間の有効桁数であるため)。 ウィンドウ列は、ウィンドウ集計演算子によって生成される列である必要があります。
対応する Databricks SQL 関数については、 window_time 関数を参照してください。
構文
from pyspark.databricks.sql import functions as dbf
dbf.window_time(windowColumn=<windowColumn>)
パラメーター
| パラメーター | タイプ | Description |
|---|---|---|
windowColumn |
pyspark.sql.Column または str |
ウィンドウ集計レコードのウィンドウ列。 |
返品ポリシー
pyspark.sql.Column: 計算結果の列。
例示
import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])
df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))