count_if

Возвращает количество значений TRUE для столбца.

Синтаксис

from pyspark.sql import functions as sf

sf.count_if(col)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или имя столбца	Целевой столбец для работы.

Возвраты

pyspark.sql.Column: число значений TRUE для col.

Примеры

Пример 1. Подсчет числа четных чисел в числовом столбце

from pyspark.sql import functions as sf
df = spark.createDataFrame([("a", 1), ("a", 2), ("a", 3), ("b", 8), ("b", 2)], ["c1", "c2"])
df.select(sf.count_if(sf.col('c2') % 2 == 0)).show()

+------------------------+
|count_if(((c2 % 2) = 0))|
+------------------------+
|                       3|
+------------------------+

Пример 2. Подсчет количества строк, в которых начинается строковый столбец с определенной буквы.

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("apple",), ("banana",), ("cherry",), ("apple",), ("banana",)], ["fruit"])
df.select(sf.count_if(sf.col('fruit').startswith('a'))).show()

+------------------------------+
|count_if(startswith(fruit, a))|
+------------------------------+
|                             2|
+------------------------------+

Пример 3. Подсчет количества строк, в которых числовой столбец больше определенного значения.

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,), (2,), (3,), (4,), (5,)], ["num"])
df.select(sf.count_if(sf.col('num') > 3)).show()

+-------------------+
|count_if((num > 3))|
+-------------------+
|                  2|
+-------------------+

Пример 4. Подсчет количества строк, в которых логический столбец имеет значение True

from pyspark.sql import functions as sf
df = spark.createDataFrame([(True,), (False,), (True,), (False,), (True,)], ["b"])
df.select(sf.count('b'), sf.count_if('b')).show()

+--------+-----------+
|count(b)|count_if(b)|
+--------+-----------+
|       5|          3|
+--------+-----------+