összegzés

Numerikus és sztringoszlopok megadott statisztikáit számítja ki. A rendelkezésre álló statisztikák a következők: darabszám, középérték, stddev, min, max, tetszőleges hozzávetőleges percentilis, százalékként megadva (pl. 75%).

Szemantika

summary(*statistics: str)

Paraméterek

Paraméter	Típus	Leírás
statistics	str, nem kötelező	Oszlopnevek a statisztikák kiszámításához (alapértelmezés szerint Minden oszlop).

Visszatérítések

DataFrame: Egy új DataFrame, amely az adott DataFrame statisztikáit tartalmazza.

Jegyzetek

Ez a függvény felderítő adatelemzésre szolgál, mivel nem garantáljuk az eredményül kapott DataFrame sémájának visszamenőleges kompatibilitását.

Examples

df = spark.createDataFrame(
    [("Bob", 13, 40.3, 150.5), ("Alice", 12, 37.8, 142.3), ("Tom", 11, 44.1, 142.2)],
    ["name", "age", "weight", "height"],
)
df.select("age", "weight", "height").summary().show()
# +-------+----+------------------+-----------------+
# |summary| age|            weight|           height|
# +-------+----+------------------+-----------------+
# |  count|   3|                 3|                3|
# |   mean|12.0| 40.73333333333333|            145.0|
# | stddev| 1.0|3.1722757341273704|4.763402145525822|
# |    min|  11|              37.8|            142.2|
# |    25%|  11|              37.8|            142.2|
# |    50%|  12|              40.3|            142.3|
# |    75%|  13|              44.1|            150.5|
# |    max|  13|              44.1|            150.5|
# +-------+----+------------------+-----------------+

df.select("age", "weight", "height").summary("count", "min", "25%", "75%", "max").show()
# +-------+---+------+------+
# |summary|age|weight|height|
# +-------+---+------+------+
# |  count|  3|     3|     3|
# |    min| 11|  37.8| 142.2|
# |    25%| 11|  37.8| 142.2|
# |    75%| 13|  44.1| 150.5|
# |    max| 13|  44.1| 150.5|
# +-------+---+------+------+