從視窗欄位計算事件時間。 欄位視窗值由視窗聚合運算子產生,且類型 STRUCT<start: TIMESTAMP, end: TIMESTAMP> 中開始為包含,結束為排斥。 視窗聚合運算子產生的紀錄事件時間可計算為 window_time(window) 和 ( window.end - lit(1).alias("microsecond") 微秒為最小支援事件時間精確度)。 視窗欄位必須由視窗聚合運算子產生。
關於對應的 Databricks SQL 函式,請參見 window_time 函數。
語法
from pyspark.databricks.sql import functions as dbf
dbf.window_time(windowColumn=<windowColumn>)
參數
| 參數 | 類型 | Description |
|---|---|---|
windowColumn |
pyspark.sql.Column 或 str |
視窗聚合的視窗欄位記錄。 |
退貨
pyspark.sql.Column: 欄位用於計算結果。
範例
import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])
df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))