до

Возвращает новый кадр данных, в котором каждая строка сопоставляется с указанной схемой.

Синтаксис

to(schema: StructType)

Параметры

Параметр	Тип	Описание
schema	ТипСтруктуры	Указанная схема.

Возвраты

DataFrame: согласованный кадр данных.

Примечания

• Переупорядочение столбцов и (или) внутренних полей по имени, чтобы соответствовать указанной схеме.
• Project от столбцов и (или) внутренних полей, которые не требуются указанной схемой. Отсутствующие столбцы и/или внутренние поля (присутствуют в указанной схеме, но не входные кадры данных) приводят к сбоям.
• Приведение столбцов и (или) внутренних полей для сопоставления типов данных в указанной схеме, если типы совместимы, например числовой числовый (ошибка при переполнении), но не строковый для int.
• Перенос метаданных из указанной схемы, а столбцы и (или) внутренние поля по-прежнему сохраняют собственные метаданные, если не перезаписываются указанной схемой.
• Сбой, если допустимость null несовместима. Например, столбец и (или) внутреннее поле допускает значение NULL, но указанная схема требует, чтобы они не допускали значение NULL.

Поддерживает Spark Connect.

Примеры

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+