Transformeren

Retourneert een matrix met elementen na het toepassen van een transformatie op elk element in de invoermatrix. Ondersteunt Spark Connect.

Voor de overeenkomstige Databricks SQL-functie, zie de transform functie.

Syntaxis

from pyspark.databricks.sql import functions as dbf

dbf.transform(col=<col>, f=<f>)

Parameterwaarden

Kenmerk	Typologie	Description
col	pyspark.sql.Column of str	Naam van kolom of expressie.
f	function	Een functie die wordt toegepast op elk element van de invoermatrix. Kan een van de volgende vormen aannemen: Unary (x: Column) -> Column of Binary (x: Column, i: Column) -> Column waarbij het tweede argument een op 0 gebaseerde index van het element is.

Retouren

pyspark.sql.Column: een nieuwe matrix met getransformeerde elementen.

Voorbeelden

Voorbeeld 1: Matrixelementen transformeren met een eenvoudige functie

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
df.select(dbf.transform("values", lambda x: x * 2).alias("doubled")).show()

+------------+
|     doubled|
+------------+
|[2, 4, 6, 8]|
+------------+

Voorbeeld 2: Matrixelementen transformeren met behulp van index

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
def alternate(x, i):
    return dbf.when(i % 2 == 0, x).otherwise(-x)
df.select(dbf.transform("values", alternate).alias("alternated")).show()

+--------------+
|    alternated|
+--------------+
|[1, -2, 3, -4]|
+--------------+