distinct

Vrátí nový datový rámec obsahující jedinečné řádky v tomto datovém rámci.

Syntaxe

distinct()

Návraty

DataFrame: Datový rámec s jedinečnými záznamy.

Příklady

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (23, "Alice")], ["age", "name"])
df.distinct().show()
# +---+-----+
# |age| name|
# +---+-----+
# | 14|  Tom|
# | 23|Alice|
# +---+-----+

df.distinct().count()
# 2

df = spark.createDataFrame(
    [(14, "Tom", "M"), (23, "Alice", "F"), (23, "Alice", "F"), (14, "Tom", "M")],
    ["age", "name", "gender"])
df.distinct().show()
# +---+-----+------+
# |age| name|gender|
# +---+-----+------+
# | 14|  Tom|     M|
# | 23|Alice|     F|
# +---+-----+------+