to_variant_object

Convierte una columna que contiene datos anidados como matrices, mapas o estructuras en variantes, donde los mapas y las estructuras se convierten en objetos de tipo variant desordenados, a diferencia de las estructuras ordenadas en SQL. Los mapas de entrada solo pueden tener claves de cadena.

Syntax

from pyspark.sql import functions as sf

sf.to_variant_object(col)

Parámetros

Parámetro	Tipo	Description
col	pyspark.sql.Column o str	Columna con un esquema anidado o un nombre de columna.

Devoluciones

pyspark.sql.Column: una nueva columna de VariantType.

Examples

Ejemplo 1: Conversión de una matriz que contiene una estructura anidada en una variante

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, StructType, StructField, StringType, MapType
schema = StructType([
    StructField("i", StringType(), True),
    StructField("v", ArrayType(StructType([
        StructField("a", MapType(StringType(), StringType()), True)
    ]), True))
])
data = [("1", [{"a": {"b": 2}}])]
df = spark.createDataFrame(data, schema)
df.select(sf.to_variant_object(df.v))

DataFrame[to_variant_object(v): variant]

df.select(sf.to_variant_object(df.v)).show(truncate=False)

+--------------------+
|to_variant_object(v)|
+--------------------+
|[{"a":{"b":"2"}}]   |
+--------------------+