intersectAll

Возвращает новый кадр данных, содержащий строки в этом кадре данных и другом кадре данных при сохранении повторяющихся данных.

Синтаксис

intersectAll(other: "DataFrame")

Параметры

Параметр	Тип	Описание
other	DataFrame	Другой кадр данных, который необходимо объединить.

Возвраты

DataFrame: объединенный кадр данных.

Примечания

Это эквивалентно INTERSECT ALL SQL. Как правило, в SQL эта функция разрешает столбцы по позиции (а не по имени).

Примеры

df1 = spark.createDataFrame([("a", 1), ("a", 1), ("b", 3), ("c", 4)], ["C1", "C2"])
df2 = spark.createDataFrame([("a", 1), ("a", 1), ("b", 3)], ["C1", "C2"])
result_df = df1.intersectAll(df2).sort("C1", "C2")
result_df.show()
# +---+---+
# | C1| C2|
# +---+---+
# |  a|  1|
# |  a|  1|
# |  b|  3|
# +---+---+

df1 = spark.createDataFrame([(1, "A"), (2, "B")], ["id", "value"])
df2 = spark.createDataFrame([(2, "B"), (3, "C")], ["id", "value"])
result_df = df1.intersectAll(df2).sort("id", "value")
result_df.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  2|    B|
# +---+-----+