transform_keys

Aplica uma função a cada par chave-valor num mapa e devolve um mapa com os resultados dessas aplicações como as novas chaves para os pares. Suporta o Spark Connect.

Para a função SQL do Databricks correspondente, veja transform_keys função.

Sintaxe

from pyspark.databricks.sql import functions as dbf

dbf.transform_keys(col=<col>, f=<f>)

Parâmetros

Parâmetro	Tipo	Description
col	pyspark.sql.Column ou str	Nome da coluna ou expressão.
f	function	Uma função binária.

Devoluções

pyspark.sql.Column: um novo mapa de entradas onde novas chaves foram calculadas aplicando uma função dada a cada argumento-valor-chave.

Examples

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"foo": -2.0, "bar": 2.0})], ("id", "data"))
row = df.select(dbf.transform_keys(
    "data", lambda k, _: dbf.upper(k)).alias("data_upper")
).head()
sorted(row["data_upper"].items())

[('BAR', 2.0), ('FOO', -2.0)]