filtre

Bir koşulun belirli bir dizide barındırıldığı bir öğe dizisi döndürür. Spark Connect'i destekler.

İlgili Databricks SQL fonksiyonu için bakınız filter fonksiyonu.

Sözdizimi

from pyspark.sql import functions as dbf

dbf.filter(col=<col>, f=<f>)

Parametreler

Parametre	Türü	Description
col	pyspark.sql.Column veya str	Sütun veya ifadenin adı.
f	function	Boole ifadesini döndüren bir işlev. Aşağıdaki formlardan birini alabilir: İkinci bağımsız değişkenin öğenin 0 tabanlı dizini olduğu Birli (x: Column) -> Column veya İkili (x: Column, i: Column) -> Column .

İade

pyspark.sql.Column: bağımsız değişken olarak geçirildiğinde verilen işlevin True olarak değerlendirildiği öğe dizisini filtreledik.

Örnekler

from pyspark.sql import functions as dbf
df = spark.createDataFrame(
    [(1, ["2018-09-20",  "2019-02-03", "2019-07-01", "2020-06-01"])],
    ("key", "values")
)
def after_second_quarter(x):
    return dbf.month(dbf.to_date(x)) > 6
df.select(
    dbf.filter("values", after_second_quarter).alias("after_second_quarter")
).show(truncate=False)

+------------------------+
|after_second_quarter    |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+