map_entries

Возвращает неупорядоченный массив всех записей в данной карте.

Синтаксис

from pyspark.sql import functions as sf

sf.map_entries(col)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Имя столбца или выражения

Возвраты

pyspark.sql.Column: массив пар значений ключа в виде типа структуры

Примеры

Пример 1. Извлечение записей из простой карты

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as data")
df.select(sf.sort_array(sf.map_entries("data"))).show()

+-----------------------------------+
|sort_array(map_entries(data), true)|
+-----------------------------------+
|                   [{1, a}, {2, b}]|
+-----------------------------------+

Пример 2. Извлечение записей из карты со сложными ключами и значениями

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(array(1, 2), array('a', 'b'), "
  "array(3, 4), array('c', 'd')) as data")
df.select(sf.sort_array(sf.map_entries("data"))).show(truncate=False)

+------------------------------------+
|sort_array(map_entries(data), true) |
+------------------------------------+
|[{[1, 2], [a, b]}, {[3, 4], [c, d]}]|
+------------------------------------+

Пример 3. Извлечение записей из пустой карты

from pyspark.sql import functions as sf
df = spark.sql("SELECT map() as data")
df.select(sf.map_entries("data")).show()

+-----------------+
|map_entries(data)|
+-----------------+
|               []|
+-----------------+