transform_values

Hiermee past u een functie toe op elk sleutel-waardepaar in een kaart en retourneert u een kaart met de resultaten van deze toepassingen als de nieuwe waarden voor de paren. Ondersteunt Spark Connect.

Voor de overeenkomstige Databricks SQL-functie, zie de transform_values functie.

Syntaxis

from pyspark.databricks.sql import functions as dbf

dbf.transform_values(col=<col>, f=<f>)

Parameterwaarden

Kenmerk	Typologie	Description
col	pyspark.sql.Column of str	Naam van kolom of expressie.
f	function	Een binaire functie.

Retouren

pyspark.sql.Column: een nieuwe toewijzing van vermeldingen waarbij nieuwe waarden werden berekend door een bepaalde functie toe te passen op elk argument van de sleutelwaarde.

Voorbeelden

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"IT": 10.0, "SALES": 2.0, "OPS": 24.0})], ("id", "data"))
row = df.select(dbf.transform_values(
    "data", lambda k, v: dbf.when(k.isin("IT", "OPS"), v + 10.0).otherwise(v)
).alias("new_data")).head()
sorted(row["new_data"].items())

[('IT', 20.0), ('OPS', 34.0), ('SALES', 2.0)]