histogram_numeric

Vypočítá histogram s číselným sloupcem pomocí intervalů NB. Návratová hodnota je matice párů (x,y), které představují středy intervalů histogramu. S nárůstem hodnoty nb se histogram aproximace dostane jemně odstupňovaný, ale může přinést artefakty kolem odlehlých hodnot. V praxi se zdá, že 20–40 intervalů histogramů funguje dobře, přičemž pro nerovnoměrné nebo menší datové sady je potřeba více intervalů. Všimněte si, že tato funkce vytvoří histogram s nejednotnými šířkami intervalů. Nenabízí žádné záruky z hlediska střední-kvadratická chyba histogramu, ale v praxi je srovnatelné s histogramy vytvořenými balíčky statistického computingu R/S-Plus. Poznámka: Výstupní typ pole x ve vrácené hodnotě se rozšíří ze vstupní hodnoty spotřebované v agregační funkci.

Syntaxe

from pyspark.sql import functions as sf

sf.histogram_numeric(col, nBins)

Parametry

Parameter	Typ	Description
col	pyspark.sql.Column nebo str	Cílový sloupec, na který chcete pracovat.
nBins	pyspark.sql.Column	Počet sloupců histogramu

Návraty

pyspark.sql.Column: histogram s číselným sloupcem pomocí intervalů nb.

Examples

Příklad 1: Výpočet histogramu s 5 intervaly

from pyspark.sql import functions as sf
df = spark.range(100, numPartitions=1)
df.select(sf.histogram_numeric('id', sf.lit(5))).show(truncate=False)

+-----------------------------------------------------------+
|histogram_numeric(id, 5)                                   |
+-----------------------------------------------------------+
|[{11, 25.0}, {36, 24.0}, {59, 23.0}, {84, 25.0}, {98, 3.0}]|
+-----------------------------------------------------------+