フラット化する

配列の集合から 1 つの配列を作成します。 入れ子になった配列の構造が 2 レベルより深い場合、1 レベルの入れ子だけが削除されます。

構文

from pyspark.sql import functions as sf

sf.flatten(col)

パラメーター

パラメーター	タイプ	Description
col	pyspark.sql.Column または str	フラット化する列または式の名前。

返品ポリシー

pyspark.sql.Column: フラット化された配列を含む新しい列。

例示

例 1: 単純な入れ子になった配列のフラット化

from pyspark.sql import functions as sf
df = spark.createDataFrame([([[1, 2, 3], [4, 5], [6]],)], ['data'])
df.select(sf.flatten(df.data)).show()

+------------------+
|     flatten(data)|
+------------------+
|[1, 2, 3, 4, 5, 6]|
+------------------+

例 2: null 値を持つ配列をフラット化する

from pyspark.sql import functions as sf
df = spark.createDataFrame([([None, [4, 5]],)], ['data'])
df.select(sf.flatten(df.data)).show()

+-------------+
|flatten(data)|
+-------------+
|         NULL|
+-------------+

例 3: 2 つ以上のレベルの入れ子を含む配列をフラット化する

from pyspark.sql import functions as sf
df = spark.createDataFrame([([[[1, 2], [3, 4]], [[5, 6], [7, 8]]],)], ['data'])
df.select(sf.flatten(df.data)).show(truncate=False)

+--------------------------------+
|flatten(data)                   |
+--------------------------------+
|[[1, 2], [3, 4], [5, 6], [7, 8]]|
+--------------------------------+

例 4: 型が混在する配列をフラット化する

from pyspark.sql import functions as sf
df = spark.createDataFrame([([['a', 'b', 'c'], [1, 2, 3]],)], ['data'])
df.select(sf.flatten(df.data)).show()

+------------------+
|     flatten(data)|
+------------------+
|[a, b, c, 1, 2, 3]|
+------------------+