map_concat

Retourneert de samenvoeging van alle opgegeven kaarten. Voor dubbele sleutels in invoerkaarten wordt de verwerking bepaald door spark.sql.mapKeyDedupPolicy. Standaard wordt er een uitzondering gegenereerd. Als deze optie is ingesteld LAST_WIN, wordt de waarde van de laatste kaart gebruikt.

Syntaxis

from pyspark.sql import functions as sf

sf.map_concat(*cols)

Parameterwaarden

Kenmerk	Typologie	Description
cols	pyspark.sql.Column of str	Kolomnamen of kolom

Retouren

pyspark.sql.Column: Een kaart met samengevoegde vermeldingen uit andere kaarten.

Voorbeelden

Voorbeeld 1: Basisgebruik van map_concat

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map(3, 'c') as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

+------------------------+
|map_concat(map1, map2)  |
+------------------------+
|{1 -> a, 2 -> b, 3 -> c}|
+------------------------+

Voorbeeld 2: map_concat met drie kaarten

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a') as map1, map(2, 'b') as map2, map(3, 'c') as map3")
df.select(sf.map_concat("map1", "map2", "map3")).show(truncate=False)

+----------------------------+
|map_concat(map1, map2, map3)|
+----------------------------+
|{1 -> a, 2 -> b, 3 -> c}    |
+----------------------------+

Voorbeeld 3: map_concat met lege kaart

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map() as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

+----------------------+
|map_concat(map1, map2)|
+----------------------+
|{1 -> a, 2 -> b}      |
+----------------------+

Voorbeeld 4: map_concat met null-waarden

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map(3, null) as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

+---------------------------+
|map_concat(map1, map2)     |
+---------------------------+
|{1 -> a, 2 -> b, 3 -> NULL}|
+---------------------------+