Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Entfernt Nullwerte aus dem Array.
Syntax
from pyspark.sql import functions as sf
sf.array_compact(col)
Die Parameter
| Parameter | Typ | Description |
|---|---|---|
col |
pyspark.sql.Column oder str |
Name der Spalte oder des Ausdrucks |
Rückkehr
pyspark.sql.Column: Eine neue Spalte, die ein Array ist, das die Nullwerte aus der Eingabespalte ausschließt.
Examples
Beispiel 1: Entfernen von NULL-Werten aus einem einfachen Array
from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, None, 2, 3],)], ['data'])
df.select(sf.array_compact(df.data)).show()
+-------------------+
|array_compact(data)|
+-------------------+
| [1, 2, 3]|
+-------------------+
Beispiel 2: Entfernen von NULL-Werten aus mehreren Arrays
from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, None, 2, 3],), ([4, 5, None, 4],)], ['data'])
df.select(sf.array_compact(df.data)).show()
+-------------------+
|array_compact(data)|
+-------------------+
| [1, 2, 3]|
| [4, 5, 4]|
+-------------------+
Beispiel 3: Entfernen von NULL-Werten aus einem Array mit allen Nullwerten
from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, StringType, StructField, StructType schema = StructType([StructField("data", ArrayType(StringType()), True)])
df = spark.createDataFrame([([None, None, None],)], schema)
df.select(sf.array_compact(df.data)).show()
+-------------------+
|array_compact(data)|
+-------------------+
| []|
+-------------------+
Beispiel 4: Entfernen von Nullwerten aus einem Array ohne Nullwerte
from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_compact(df.data)).show()
+-------------------+
|array_compact(data)|
+-------------------+
| [1, 2, 3]|
+-------------------+
Beispiel 5: Entfernen von NULL-Werten aus einem leeren Array
from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, StringType, StructField, StructType
schema = StructType([
StructField("data", ArrayType(StringType()), True)
])
df = spark.createDataFrame([([],)], schema)
df.select(sf.array_compact(df.data)).show()
+-------------------+
|array_compact(data)|
+-------------------+
| []|
+-------------------+