theta_difference

Renvoie la différence de jeu de deux représentations binaires des objets Datasketches Theta Sketch (éléments du premier croquis, mais pas en deuxième), à l’aide d’un objet Datasketches ANotB.

Syntaxe

from pyspark.sql import functions as sf

sf.theta_difference(col1, col2)

Paramètres

Paramètre	Type	Descriptif
col1	pyspark.sql.Column ou str	Le premier croquis theta.
col2	pyspark.sql.Column ou str	Deuxième croquis Theta.

Retours

pyspark.sql.Column: représentation binaire de la différence Theta Sketch.

Examples

Exemple 1 : Obtenir la différence entre deux croquis Theta

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,4),(3,5),(4,5)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_difference(df.sketch1, "sketch2"))).show()

+---------------------------------------------------------+
|theta_sketch_estimate(theta_difference(sketch1, sketch2))|
+---------------------------------------------------------+
|                                                        3|
+---------------------------------------------------------+