ke

Mengembalikan DataFrame baru di mana setiap baris direkonsiliasi agar sesuai dengan skema yang ditentukan.

Sintaksis

to(schema: StructType)

Parameter-parameternya

Parameter Tipe Deskripsi
schema StructType Skema yang ditentukan.

Pengembalian Barang

DataFrame: DataFrame yang Direkonsiliasi.

Catatan

  • Urus ulang kolom dan/atau bidang dalam menurut nama agar sesuai dengan skema yang ditentukan.
  • Project kolom dan/atau bidang dalam yang tidak diperlukan oleh skema yang ditentukan. Kolom dan/atau bidang dalam yang hilang (ada dalam skema yang ditentukan tetapi tidak memasukkan DataFrame) menyebabkan kegagalan.
  • Transmisikan kolom dan/atau bidang dalam agar sesuai dengan jenis data dalam skema yang ditentukan, jika jenisnya kompatibel, misalnya, numerik ke numerik (kesalahan jika luapan), tetapi tidak string ke int.
  • Membawa metadata dari skema yang ditentukan, sementara kolom dan/atau bidang dalam masih menyimpan metadata mereka sendiri jika tidak ditimpa oleh skema yang ditentukan.
  • Gagal jika nullability tidak kompatibel. Misalnya, kolom dan/atau bidang dalam dapat diubah ke null, tetapi skema yang ditentukan mengharuskannya tidak dapat diubah ke null.

Mendukung Spark Connect.

Examples

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+