na

Zwraca nową ramkę danych, w której każdy wiersz jest uzgadniany w celu dopasowania do określonego schematu.

Składnia

to(schema: StructType)

Parametry

Parameter Typ Opis
schema Typ struktury Określony schemat.

Zwroty

DataFrame: uzgodniona ramka danych.

Notatki

  • Zmień kolejność kolumn i/lub pól wewnętrznych według nazwy w celu dopasowania do określonego schematu.
  • Project kolumn i/lub pól wewnętrznych, które nie są wymagane przez określony schemat. Brak kolumn i/lub pól wewnętrznych (obecnych w określonym schemacie, ale nie wejściowych ramek danych) prowadzą do błędów.
  • Rzutuj kolumny i/lub pola wewnętrzne, aby były zgodne z typami danych w określonym schemacie, jeśli typy są zgodne, np. numeryczne do liczbowych (błąd, jeśli przepełnia się), ale nie ciąg do int.
  • Przejmij metadane z określonego schematu, podczas gdy kolumny i/lub pola wewnętrzne nadal zachowują własne metadane, jeśli nie zostaną zastąpione przez określony schemat.
  • Niepowodzenie, jeśli wartość null nie jest zgodna. Na przykład pole kolumny i/lub wewnętrzne jest dopuszczane do wartości null, ale określony schemat wymaga, aby nie były dopuszczane wartości null.

Obsługuje program Spark Connect.

Examples

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+