transform_keys

Aplica uma função a cada par chave-valor em um mapa e retorna um mapa com os resultados dessas aplicações como as novas chaves para os pares. Dá suporte ao Spark Connect.

Para a função SQL do Databricks correspondente, consulte a função transform_keys.

Sintaxe

from pyspark.databricks.sql import functions as dbf

dbf.transform_keys(col=<col>, f=<f>)

Parâmetros

Parâmetro	Tipo	Description
col	pyspark.sql.Column ou str	Nome da coluna ou expressão.
f	function	Uma função binária.

Devoluções

pyspark.sql.Column: um novo mapa de entradas em que novas chaves foram calculadas aplicando determinada função a cada argumento de valor de chave.

Exemplos

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"foo": -2.0, "bar": 2.0})], ("id", "data"))
row = df.select(dbf.transform_keys(
    "data", lambda k, _: dbf.upper(k)).alias("data_upper")
).head()
sorted(row["data_upper"].items())

[('BAR', 2.0), ('FOO', -2.0)]