map_filter

Gyűjteményfüggvény: Egy új térképoszlopot ad vissza, amelynek kulcs-érték párjai megfelelnek egy adott predikátumfüggvénynek. Támogatja a Spark Connectet.

A megfelelő Databricks SQL-függvényhez lásd a függvénytmap_filter.

Szemantika

from pyspark.databricks.sql import functions as dbf

dbf.map_filter(col=<col>, f=<f>)

Paraméterek

Paraméter	Típus	Description
col	pyspark.sql.Column vagy str	A szűrni kívánt térképet képviselő oszlop vagy oszlopkifejezés neve.
f	function	A predikátumot meghatározó bináris függvény. Ennek a függvénynek egy logikai oszlopot kell visszaadnia, amely a bemeneti leképezés szűrésére szolgál.

Visszatérítések

pyspark.sql.Column: Egy új térképoszlop, amely csak a predikátumnak megfelelő kulcs-érték párokat tartalmazza.

Példák

1. példa: Térkép szűrése egyszerű feltétellel

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"foo": 42.0, "bar": 1.0, "baz": 32.0})], ("id", "data"))
row = df.select(
  dbf.map_filter("data", lambda _, v: v > 30.0).alias("data_filtered")
).head()
sorted(row["data_filtered"].items())

[('baz', 32.0), ('foo', 42.0)]

2. példa: Térkép szűrése feltétellel a kulcsokon

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"foo": 42.0, "bar": 1.0, "baz": 32.0})], ("id", "data"))
row = df.select(
  dbf.map_filter("data", lambda k, _: k.startswith("b")).alias("data_filtered")
).head()
sorted(row["data_filtered"].items())

[('bar', 1.0), ('baz', 32.0)]