arrays_overlap

Giriş dizilerinin ortak null olmayan öğeleri olup olmadığını gösteren bir boole sütunu döndürür. Bunu yaparlarsa true, diziler ortak öğe içermiyorsa ancak boş değilse ve bunlardan en az biri null öğe içeriyorsa null, aksi takdirde false döndürür.

Sözdizimi

from pyspark.sql import functions as sf

sf.arrays_overlap(a1, a2)

Parametreler

Parametre	Türü	Description
a1	pyspark.sql.Column veya str	İlk diziyi içeren sütunun adı.
a2	pyspark.sql.Column veya str	İkinci diziyi içeren sütunun adı.

İade

pyspark.sql.Column: Her değerin giriş sütunlarından karşılık gelen dizilerin ortak öğeler içerip içermediğini gösterdiği yeni Boole türünde bir Sütun.

Örnekler

Örnek 1: arrays_overlap işlevinin temel kullanımı.

from pyspark.sql import functions as sf
df = spark.createDataFrame([(["a", "b"], ["b", "c"]), (["a"], ["b", "c"])], ['x', 'y'])
df.select(sf.arrays_overlap(df.x, df.y)).show()

+--------------------+
|arrays_overlap(x, y)|
+--------------------+
|                true|
|               false|
+--------------------+

Örnek 2: null öğeler içeren dizilerle arrays_overlap işlevinin kullanımı.

from pyspark.sql import functions as sf
df = spark.createDataFrame([(["a", None], ["b", None]), (["a"], ["b", "c"])], ['x', 'y'])
df.select(sf.arrays_overlap(df.x, df.y)).show()

+--------------------+
|arrays_overlap(x, y)|
+--------------------+
|                NULL|
|               false|
+--------------------+

Örnek 3: null olan dizilerle arrays_overlap işlevinin kullanımı.

from pyspark.sql import functions as sf
df = spark.createDataFrame([(None, ["b", "c"]), (["a"], None)], ['x', 'y'])
df.select(sf.arrays_overlap(df.x, df.y)).show()

+--------------------+
|arrays_overlap(x, y)|
+--------------------+
|                NULL|
|                NULL|
+--------------------+

Örnek 4: Özdeş öğelere sahip dizilerde arrays_overlap kullanımı.

from pyspark.sql import functions as sf
df = spark.createDataFrame([(["a", "b"], ["a", "b"]), (["a"], ["a"])], ['x', 'y'])
df.select(sf.arrays_overlap(df.x, df.y)).show()

+--------------------+
|arrays_overlap(x, y)|
+--------------------+
|                true|
|                true|
+--------------------+