theta_intersection_agg

Función de agregado: devuelve la representación binaria compacta de datasketches Theta Sketch que es la intersección de los bocetos de Theta en la columna de entrada.

Syntax

from pyspark.databricks.sql import functions as dbf

dbf.theta_intersection_agg(col=<col>)

Parámetros

Parámetro	Tipo	Description
col	pyspark.sql.Column o nombre de columna	Columna que contiene los bocetos de Theta que se van a intersecr.

Devoluciones

pyspark.sql.Column: representación binaria de la intersección Theta Sketch.

Examples

from pyspark.databricks.sql import functions as dbf
df1 = spark.createDataFrame([1,2,2,3], "INT")
df1 = df1.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df2 = spark.createDataFrame([2,3,3,4], "INT")
df2 = df2.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df3 = df1.union(df2)
df3.agg(dbf.theta_sketch_estimate(dbf.theta_intersection_agg("sketch"))).show()

+-----------------------------------------------------+
|theta_sketch_estimate(theta_intersection_agg(sketch))|
+-----------------------------------------------------+
|                                                    2|
+-----------------------------------------------------+