window_time

Egy ablakoszlop eseményidejének kiszámítása. Az oszlopablak értékeit az ablak-összesítő operátorok állítják elő, és olyan típusúak STRUCT<start: TIMESTAMP, end: TIMESTAMP> , ahol a kezdet befogadó, a vége pedig kizárólagos. Az ablak-összesítő operátorok által létrehozott rekordok eseményideje a következőképpen számítható ki window_time(window) ( window.end - lit(1).alias("microsecond") mivel a mikroszekundum a minimálisan támogatott eseményidő pontossága). Az ablakoszlopnak egy ablakösszesítő operátor által előállítottnak kell lennie.

A megfelelő Databricks SQL-függvényhez lásd a függvénytwindow_time.

Szemantika

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Paraméterek

Paraméter	Típus	Description
windowColumn	pyspark.sql.Column vagy str	Egy ablak ablakoszlopa összesíti a rekordokat.

Visszatérítések

pyspark.sql.Column: a számított eredmények oszlopa.

Példák

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))