przekształcać

Zwraca tablicę elementów po zastosowaniu przekształcenia do każdego elementu w tablicy wejściowej. Obsługuje program Spark Connect.

Aby uzyskać odpowiednią funkcję SQL usługi Databricks, zobacz transform funkcja.

Składnia

from pyspark.databricks.sql import functions as dbf

dbf.transform(col=<col>, f=<f>)

Parametry

Parameter	Typ	Description
col	pyspark.sql.Column lub str	Nazwa kolumny lub wyrażenia.
f	function	Funkcja, która jest stosowana do każdego elementu tablicy wejściowej. Może przyjąć jedną z następujących form: Jednoargumentowy (x: Column) -> Column lub Binarny (x: Column, i: Column) -> Column , gdzie drugi argument jest indeksem 0 elementu.

Zwraca

pyspark.sql.Column: nowa tablica przekształconych elementów.

Przykłady

Przykład 1. Przekształcanie elementów tablicy za pomocą prostej funkcji

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
df.select(dbf.transform("values", lambda x: x * 2).alias("doubled")).show()

+------------+
|     doubled|
+------------+
|[2, 4, 6, 8]|
+------------+

Przykład 2. Przekształcanie elementów tablicy przy użyciu indeksu

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
def alternate(x, i):
    return dbf.when(i % 2 == 0, x).otherwise(-x)
df.select(dbf.transform("values", alternate).alias("alternated")).show()

+--------------+
|    alternated|
+--------------+
|[1, -2, 3, -4]|
+--------------+