window_time

Vypočítá čas události ze sloupce okna. Hodnoty okna sloupce jsou vytvářeny agregačními operátory oken a jsou typu STRUCT<start: TIMESTAMP, end: TIMESTAMP> , kde začátek je včetně a konec je výhradní. Čas události záznamů vytvořených agregačními operátory oken lze vypočítat jako window_time(window) a jsou window.end - lit(1).alias("microsecond") (jako mikrosekundy je minimální podporovaná přesnost času události). Sloupec okna musí být jeden vytvořený agregačním operátorem okna.

Odpovídající funkci SQL Databricks vizte funkcewindow_time.

Syntaxe

from pyspark.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Parametry

Parameter	Typ	Description
windowColumn	pyspark.sql.Column nebo str	Sloupec okna agregovaných záznamů okna

Návraty

pyspark.sql.Column: sloupec pro vypočítané výsledky.

Examples

import datetime
from pyspark.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))