theta_intersection_agg

Агрегатная функция: возвращает компактное двоичное представление datasketches ThetaSketch, которое является пересечением эскизов Theta в входном столбце.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.theta_intersection_agg(col=<col>)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или имя столбца	Столбец, содержащий эскизы Теты для пересечения.

Возвраты

pyspark.sql.Column: двоичное представление пересекаемого ThetaSketch.

Примеры

from pyspark.databricks.sql import functions as dbf
df1 = spark.createDataFrame([1,2,2,3], "INT")
df1 = df1.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df2 = spark.createDataFrame([2,3,3,4], "INT")
df2 = df2.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df3 = df1.union(df2)
df3.agg(dbf.theta_sketch_estimate(dbf.theta_intersection_agg("sketch"))).show()

+-----------------------------------------------------+
|theta_sketch_estimate(theta_intersection_agg(sketch))|
+-----------------------------------------------------+
|                                                    2|
+-----------------------------------------------------+