Teilen über


theta_intersection

Gibt die Schnittmenge von zwei binären Darstellungen von Datasketches ThetaSketch -Objekten mithilfe eines Datasketches Intersection -Objekts zurück.

Syntax

from pyspark.sql import functions as sf

sf.theta_intersection(col1, col2)

Die Parameter

Parameter Typ Description
col1 pyspark.sql.Column oder str Die erste Theta-Skizze.
col2 pyspark.sql.Column oder str Die zweite Theta-Skizze.

Rückkehr

pyspark.sql.Column: Die binäre Darstellung der überschneidenen ThetaSketch.

Examples

Beispiel 1: Abrufen der Schnittmenge zweier Theta-Skizzen

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,1),(2,2),(3,2),(3,3)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_intersection(df.sketch1, "sketch2"))).show()
+-----------------------------------------------------------+
|theta_sketch_estimate(theta_intersection(sketch1, sketch2))|
+-----------------------------------------------------------+
|                                                          3|
+-----------------------------------------------------------+