to_variant_object

Преобразует столбец, содержащий вложенные входные данные (массив/ карта или структуру) в варианты, в которых карты и структуры преобразуются в объекты вариантов, которые неупорядочены в отличие от структур SQL. Входные карты могут иметь только строковые ключи.

Синтаксис

from pyspark.sql import functions as sf

sf.to_variant_object(col)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Столбец со вложенной схемой или именем столбца.

Возвраты

pyspark.sql.Column: новый столбец VariantType.

Примеры

Пример 1. Преобразование массива, содержащего вложенную структуру в вариант

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, StructType, StructField, StringType, MapType
schema = StructType([
    StructField("i", StringType(), True),
    StructField("v", ArrayType(StructType([
        StructField("a", MapType(StringType(), StringType()), True)
    ]), True))
])
data = [("1", [{"a": {"b": 2}}])]
df = spark.createDataFrame(data, schema)
df.select(sf.to_variant_object(df.v))

DataFrame[to_variant_object(v): variant]

df.select(sf.to_variant_object(df.v)).show(truncate=False)

+--------------------+
|to_variant_object(v)|
+--------------------+
|[{"a":{"b":"2"}}]   |
+--------------------+