Corr

Vrátí nový sloupec pearsonova korelačního koeficientu pro sloupec 1 a sloupec2.

Syntaxe

from pyspark.sql import functions as sf

sf.corr(col1, col2)

Parametry

Parameter	Typ	Description
col1	pyspark.sql.Column nebo název sloupce	První sloupec pro výpočet korelace
col2	pyspark.sql.Column nebo název sloupce	Druhý sloupec pro výpočet korelace

Návraty

pyspark.sql.Column: Pearson Korelační koeficient těchto dvou hodnot sloupců.

Examples

from pyspark.sql import functions as sf
a = range(20)
b = [2 * x for x in range(20)]
df = spark.createDataFrame(zip(a, b), ["a", "b"])
df.agg(sf.corr("a", df.b)).show()

+----------+
|corr(a, b)|
+----------+
|       1.0|
+----------+