window_time

Oblicza czas zdarzenia z kolumny okna. Wartości okna kolumny są generowane przez operatory agregujące okna i są typu STRUCT<start: TIMESTAMP, end: TIMESTAMP> , w którym początek jest włącznie, a koniec jest wyłączny. Czas zdarzenia rekordów generowanych przez operatory agregacji okien można obliczyć jako window_time(window) i są window.end - lit(1).alias("microsecond") (ponieważ mikrosekunda jest minimalną obsługiwaną precyzją czasu zdarzenia). Kolumna okna musi być jedną wygenerowaną przez operator agregacji okna.

Aby uzyskać odpowiednią funkcję SQL usługi Databricks, zobacz window_time funkcja.

Składnia

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Parametry

Parameter	Typ	Description
windowColumn	pyspark.sql.Column lub str	Kolumna okna agregacji rekordów okna.

Zwraca

pyspark.sql.Column: kolumna dla obliczonych wyników.

Przykłady

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))