Anmerkung
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen, dich anzumelden oder die Verzeichnisse zu wechseln.
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen , die Verzeichnisse zu wechseln.
Aggregatfunktion: Gibt die kompakte binäre Darstellung der Datasketches ThetaSketch zurück, die die Schnittmenge der Theta-Skizzen in der Eingabespalte darstellt.
Syntax
from pyspark.databricks.sql import functions as dbf
dbf.theta_intersection_agg(col=<col>)
Die Parameter
| Parameter | Typ | Description |
|---|---|---|
col |
pyspark.sql.Column oder Spaltenname |
Die Spalte, die Theta-Skizzen enthält, um sich zu schneiden. |
Rückkehr
pyspark.sql.Column: Die binäre Darstellung der überschneidenen ThetaSketch.
Examples
from pyspark.databricks.sql import functions as dbf
df1 = spark.createDataFrame([1,2,2,3], "INT")
df1 = df1.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df2 = spark.createDataFrame([2,3,3,4], "INT")
df2 = df2.agg(dbf.theta_sketch_agg("value").alias("sketch"))
df3 = df1.union(df2)
df3.agg(dbf.theta_sketch_estimate(dbf.theta_intersection_agg("sketch"))).show()
+-----------------------------------------------------+
|theta_sketch_estimate(theta_intersection_agg(sketch))|
+-----------------------------------------------------+
| 2|
+-----------------------------------------------------+