Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Vrátí pole prvků po použití transformace na každý prvek ve vstupním poli. Podporuje Spark Connect.
Odpovídající funkci SQL Databricks vizte funkcetransform.
Syntaxe
from pyspark.sql import functions as dbf
dbf.transform(col=<col>, f=<f>)
Parametry
| Parameter | Typ | Description |
|---|---|---|
col |
pyspark.sql.Column nebo str |
Název sloupce nebo výrazu |
f |
function |
Funkce, která se použije pro každý prvek vstupního pole. Může mít jednu z následujících forem: Unární (x: Column) -> Column nebo Binary (x: Column, i: Column) -> Column , kde druhý argument je index prvku založený na 0. |
Návraty
pyspark.sql.Column: nové pole transformovaných prvků.
Examples
Příklad 1: Transformace prvků pole pomocí jednoduché funkce
from pyspark.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
df.select(dbf.transform("values", lambda x: x * 2).alias("doubled")).show()
+------------+
| doubled|
+------------+
|[2, 4, 6, 8]|
+------------+
Příklad 2: Transformace prvků pole pomocí indexu
from pyspark.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
def alternate(x, i):
return dbf.when(i % 2 == 0, x).otherwise(-x)
df.select(dbf.transform("values", alternate).alias("alternated")).show()
+--------------+
| alternated|
+--------------+
|[1, -2, 3, -4]|
+--------------+