TableValuedFunction.explode

Vrátí datový rámec obsahující nový řádek pro každý prvek v daném poli nebo mapě. Výchozí název sloupce je col pro prvky v poli a keyvalue pro prvky v mapě. Pokud chcete použít různé názvy sloupců, zavolejte toDF() vrácený datový rámec.

Syntaxe

spark.tvf.explode(collection)

Parametry

Parameter	Typ	Description
collection	pyspark.sql.Column	Cílový sloupec, na který chcete pracovat.

Návraty

pyspark.sql.DataFrame: Datový rámec s novým řádkem pro každý prvek.

Examples

Příklad 1: Rozbalení sloupce pole

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array(sf.lit(1), sf.lit(2), sf.lit(3))).show()

+---+
|col|
+---+
|  1|
|  2|
|  3|
+---+

Příklad 2: Rozbalení sloupce mapy

import pyspark.sql.functions as sf
spark.tvf.explode(
    sf.create_map(sf.lit("a"), sf.lit("b"), sf.lit("c"), sf.lit("d"))
).show()

+---+-----+
|key|value|
+---+-----+
|  a|    b|
|  c|    d|
+---+-----+

Příklad 3: Rozložení pole sloupce struktury

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array(
    sf.named_struct(sf.lit("a"), sf.lit(1), sf.lit("b"), sf.lit(2)),
    sf.named_struct(sf.lit("a"), sf.lit(3), sf.lit("b"), sf.lit(4))
)).select("col.*").show()

+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  3|  4|
+---+---+

Příklad 4: Rozložení prázdného sloupce pole

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array()).show()

+---+
|col|
+---+
+---+

Příklad 5: Rozbalení prázdného sloupce mapy

import pyspark.sql.functions as sf
spark.tvf.explode(sf.create_map()).show()

+---+-----+
|key|value|
+---+-----+
+---+-----+

Příklad 6: Přepsání výchozích názvů sloupců

Vzhledem k tomu spark.tvf.explode , že vrací datový rámec, použijte toDF() k přejmenování výstupních sloupců. .alias() nemá žádný vliv na rozložené sloupce.

import pyspark.sql.functions as sf

# Array: rename the single output column
spark.tvf.explode(sf.array(sf.lit(1), sf.lit(2), sf.lit(3))).toDF("number").show()

+------+
|number|
+------+
|     1|
|     2|
|     3|
+------+

# Map: rename both output columns
spark.tvf.explode(
    sf.create_map(sf.lit("a"), sf.lit("b"), sf.lit("c"), sf.lit("d"))
).toDF("letter", "pair").show()

+------+----+
|letter|pair|
+------+----+
|     a|   b|
|     c|   d|
+------+----+