filtro

Devuelve un arreglo de elementos para los que un predicado se cumple en un arreglo dado. Soporta Spark Connect.

Para obtener la función SQL de Databricks correspondiente, consulte filter function.

Syntax

from pyspark.databricks.sql import functions as dbf

dbf.filter(col=<col>, f=<f>)

Parámetros

Parámetro	Tipo	Description
col	pyspark.sql.Column o str	Nombre de columna o expresión.
f	function	Función que devuelve la expresión booleana. Puede tomar una de las siguientes formas: Unary (x: Column) -> Column o Binary (x: Column, i: Column) -> Column , donde el segundo argumento es un índice basado en 0 del elemento.

Devoluciones

pyspark.sql.Column: matriz filtrada de elementos donde la función dada se evalúa como True cuando se pasa como argumento.

Examples

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame(
    [(1, ["2018-09-20",  "2019-02-03", "2019-07-01", "2020-06-01"])],
    ("key", "values")
)
def after_second_quarter(x):
    return dbf.month(dbf.to_date(x)) > 6
df.select(
    dbf.filter("values", after_second_quarter).alias("after_second_quarter")
).show(truncate=False)

+------------------------+
|after_second_quarter    |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+