Freigeben über


Array

Erstellt eine neue Arrayspalte aus den Eingabespalten oder Spaltennamen.

Syntax

from pyspark.sql import functions as sf

sf.array(*cols)

Die Parameter

Parameter Typ Description
cols pyspark.sql.Column oder str Spaltennamen oder Column-Objekte mit demselben Datentyp.

Rückkehr

pyspark.sql.Column: Eine neue Spalte vom Arraytyp, wobei jeder Wert ein Array ist, das die entsprechenden Werte aus den Eingabespalten enthält.

Examples

Beispiel 1: Grundlegende Verwendung der Arrayfunktion mit Spaltennamen.

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", "doctor"), ("Bob", "engineer")],
    ("name", "occupation"))
df.select(sf.array('name', 'occupation')).show()
+-----------------------+
|array(name, occupation)|
+-----------------------+
|        [Alice, doctor]|
|        [Bob, engineer]|
+-----------------------+

Beispiel 2: Verwendung einer Arrayfunktion mit Column-Objekten.

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", "doctor"), ("Bob", "engineer")],
    ("name", "occupation"))
df.select(sf.array(df.name, df.occupation)).show()
+-----------------------+
|array(name, occupation)|
+-----------------------+
|        [Alice, doctor]|
|        [Bob, engineer]|
+-----------------------+

Beispiel 3: Einzelnes Argument als Liste der Spaltennamen.

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", "doctor"), ("Bob", "engineer")],
    ("name", "occupation"))
df.select(sf.array(['name', 'occupation'])).show()
+-----------------------+
|array(name, occupation)|
+-----------------------+
|        [Alice, doctor]|
|        [Bob, engineer]|
+-----------------------+

Beispiel 4: Verwendung der Arrayfunktion mit Spalten unterschiedlicher Typen.

from pyspark.sql import functions as sf
df = spark.createDataFrame(
    [("Alice", 2, 22.2), ("Bob", 5, 36.1)],
    ("name", "age", "weight"))
df.select(sf.array(['age', 'weight'])).show()
+------------------+
|array(age, weight)|
+------------------+
|       [2.0, 22.2]|
|       [5.0, 36.1]|
+------------------+

Beispiel 5: Arrayfunktion mit einer Spalte, die Nullwerte enthält.

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", None), ("Bob", "engineer")],
    ("name", "occupation"))
df.select(sf.array('name', 'occupation')).show()
+-----------------------+
|array(name, occupation)|
+-----------------------+
|          [Alice, NULL]|
|        [Bob, engineer]|
+-----------------------+