union

Возвращает новый кадр данных, содержащий объединение строк в этом и другом кадре данных.

Синтаксис

union(other: "DataFrame")

Параметры

Параметр	Тип	Описание
other	DataFrame	Другой кадр данных, который необходимо объединить.

Возвраты

DataFrame: новый кадр данных, содержащий объединенные строки с соответствующими столбцами.

Примечания

Этот метод выполняет объединение строк из обоих DataFrame объектов в стиле SQL без автоматической дедупликации элементов.

distinct() Используйте метод для дедупликации строк.

Метод разрешает столбцы по позиции (а не по имени), следуя стандартному поведению в SQL.

Примеры

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+