make_timestamp_ntz

Создайте локальное время даты из лет, месяцев, дней, часов, минут, с. Кроме того, попробуйте создать локальное время даты и времени из полей даты и времени. Если конфигурация spark.sql.ansi.enabled имеет значение false, функция возвращает значение NULL для недопустимых входных данных. В противном случае это приведет к возникновению ошибки.

Синтаксис

import pyspark.sql.functions as sf

# From individual components
sf.make_timestamp_ntz(years=<years>, months=<months>, days=<days>, hours=<hours>, mins=<mins>, secs=<secs>)

# From date and time
sf.make_timestamp_ntz(date=<date>, time=<time>)

Параметры

Параметр	Тип	Description
years	pyspark.sql.Column или str	Год для представления с 1 по 9999 год. Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с месяцами, днями, часами, минутами и с.
months	pyspark.sql.Column или str	Месяц для представления с 1 (январь) по 12 (декабрь). Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с годами, днями, часами, минутами и с.
days	pyspark.sql.Column или str	День месяца для представления от 1 до 31. Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с годами, месяцами, часами, минутами и с.
hours	pyspark.sql.Column или str	Час дня для представления от 0 до 23. Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с годами, месяцами, днями, минутами и с.
mins	pyspark.sql.Column или str	Минутное представление от 0 до 59. Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с годами, месяцами, днями, часами и с.
secs	pyspark.sql.Column или str	Вторую минуту и ее микро-дробь, чтобы представить, от 0 до 60. Значение может быть целым числом, например 13, или дробной частью, например 13,123. Если аргумент с равен 60, поле секунды равно 0 и 1 минуте добавляется в последнюю метку времени. Требуется при создании меток времени из отдельных компонентов. Необходимо использовать с годами, месяцами, днями, часами и минутами.
date	pyspark.sql.Column или str	Дата представления в допустимом формате DATE. Требуется при создании меток времени из компонентов даты и времени. Необходимо использовать только с параметром времени.
time	pyspark.sql.Column или str	Время представления в допустимом формате TIME. Требуется при создании меток времени из компонентов даты и времени. Необходимо использовать только с параметром даты.

Возвраты

pyspark.sql.Column: новый столбец, содержащий локальное время даты.

Примеры

Пример 1. Создание локального времени даты от лет, месяцев, дней, часов, минут, с.

import pyspark.sql.functions as sf
df = spark.createDataFrame([[2014, 12, 28, 6, 30, 45.887]],
    ['year', 'month', 'day', 'hour', 'min', 'sec'])
df.select(
    sf.make_timestamp_ntz('year', 'month', df.day, df.hour, df.min, df.sec)
).show(truncate=False)

+----------------------------------------------------+
|make_timestamp_ntz(year, month, day, hour, min, sec)|
+----------------------------------------------------+
|2014-12-28 06:30:45.887                             |
+----------------------------------------------------+

Пример 2. Создание локальной даты и времени с даты и времени.

import pyspark.sql.functions as sf
from datetime import date, time
df = spark.range(1).select(
    sf.lit(date(2014, 12, 28)).alias("date"),
    sf.lit(time(6, 30, 45, 887000)).alias("time")
)
df.select(sf.make_timestamp_ntz(date=df.date, time=df.time)).show(truncate=False)

+------------------------------+
|make_timestamp_ntz(date, time)|
+------------------------------+
|2014-12-28 06:30:45.887       |
+------------------------------+