window_time

Вычисляет время события из столбца окна. Значения окна столбца создаются операторами агрегирования окон и имеют тип STRUCT<start: TIMESTAMP, end: TIMESTAMP> , в котором начало является инклюзивным и конечным является эксклюзивным. Время события записей, созданных операторами агрегирования окон, можно вычислить как window_time(window) и быть window.end - lit(1).alias("microsecond") (так как микросекунд является минимальной поддерживаемой точностью времени события). Столбец окна должен быть одним из них, созданным оператором агрегирования окна.

Для соответствующей функции Databricks SQL смотрите функцию window_time.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Параметры

Параметр	Тип	Description
windowColumn	pyspark.sql.Column или str	Столбец окна агрегированных записей окна.

Возвраты

pyspark.sql.Column: столбец для вычисляемых результатов.

Примеры

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))