time_diff

Возвращает разницу между двумя разами, измеряемой в указанных единицах.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.time_diff(unit=<unit>, start=<start>, end=<end>)

Параметры

Параметр	Тип	Description
unit	pyspark.sql.Column или str	Единица для усечения времени. Поддерживаемые единицы: HOUR, MINUTE, SECOND, MILLISECOND и MICROSECOND. Единица не учитывает регистр.
start	pyspark.sql.Column или str	Время начала.
end	pyspark.sql.Column или str	Время окончания.

Возвраты

pyspark.sql.Column: разница между двумя разами в указанных единицах.

Примеры

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame(
[("HOUR", "13:08:15", "21:30:28")], ['unit', 'start', 'end']).withColumn("start",
dbf.col("start").cast("time")).withColumn("end", dbf.col("end").cast("time"))
df.select('*', dbf.time_diff('unit', 'start', 'end')).show()