dropFields

Quite los campos de una columna de estructura.

Sintaxis

dropFields(*fieldNames)

Parámetros

Parámetro	Tipo	Descripción
fieldNames	str	Uno o varios nombres de campo que se van a quitar

Devoluciones

Columna

Ejemplos

from pyspark.sql import Row
from pyspark.sql.functions import col, lit
df = spark.createDataFrame([
    Row(a=Row(b=1, c=2, d=3, e=Row(f=4, g=5, h=6)))])
df.withColumn('a', df['a'].dropFields('b')).show()

# +-----------------+
# |                a|
# +-----------------+
# |{2, 3, {4, 5, 6}}|
# +-----------------+

df.withColumn('a', df['a'].dropFields('b', 'c')).show()

# +--------------+
# |             a|
# +--------------+
# |{3, {4, 5, 6}}|
# +--------------+

Quitar varios campos anidados directamente:

df.withColumn("a", col("a").dropFields("e.g", "e.h")).show()

# +--------------+
# |             a|
# +--------------+
# |{1, 2, 3, {4}}|
# +--------------+

df.select(col("a").withField(
    "e", col("a.e").dropFields("g", "h")).alias("a")
).show()

# +--------------+
# |             a|
# +--------------+
# |{1, 2, 3, {4}}|
# +--------------+