TableValuedFunction.explode

Egy dataFrame-et ad vissza, amely egy új sort tartalmaz az adott tömb vagy térkép minden eleméhez. Az alapértelmezett oszlopnevet col használja a tömb elemeihez és keyvalue a térkép elemeihez, kivéve, ha másként van megadva.

Szemantika

spark.tvf.explode(collection)

Paraméterek

Paraméter	Típus	Description
collection	pyspark.sql.Column	Céloszlop, amelyen dolgozni szeretne.

Visszatérítések

pyspark.sql.DataFrame: Adatkeret, amely minden elemhez új sort tartalmaz.

Példák

1. példa: Tömboszlop felrobbantása

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array(sf.lit(1), sf.lit(2), sf.lit(3))).show()

+---+
|col|
+---+
|  1|
|  2|
|  3|
+---+

2. példa: Térképoszlop felrobbantása

import pyspark.sql.functions as sf
spark.tvf.explode(
    sf.create_map(sf.lit("a"), sf.lit("b"), sf.lit("c"), sf.lit("d"))
).show()

+---+-----+
|key|value|
+---+-----+
|  a|    b|
|  c|    d|
+---+-----+

3. példa: Szerkezetoszlop tömbjének felrobbantása

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array(
    sf.named_struct(sf.lit("a"), sf.lit(1), sf.lit("b"), sf.lit(2)),
    sf.named_struct(sf.lit("a"), sf.lit(3), sf.lit("b"), sf.lit(4))
)).select("col.*").show()

+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  3|  4|
+---+---+

4. példa: Üres tömboszlop felrobbantása

import pyspark.sql.functions as sf
spark.tvf.explode(sf.array()).show()

+---+
|col|
+---+
+---+

5. példa: Üres térképoszlop felrobbantása

import pyspark.sql.functions as sf
spark.tvf.explode(sf.create_map()).show()

+---+-----+
|key|value|
+---+-----+
+---+-----+