string_agg_distinct

집계 함수: 구분 기호로 구분된 null이 아닌 고유 입력 값의 연결을 반환합니다. 의 별칭입니다 listagg_distinct.

문법

import pyspark.sql.functions as sf

sf.string_agg_distinct(col=<col>)

# With delimiter
sf.string_agg_distinct(col=<col>, delimiter=<delimiter>)

매개 변수

매개 변수	유형	Description
col	pyspark.sql.Column 또는 str	계산할 대상 열입니다.
delimiter	pyspark.sql.Column, str 또는 bytes	Optional. 값을 구분할 구분 기호입니다. 기본값은 None입니다.

Returns

pyspark.sql.Column: 계산된 결과의 열입니다.

예시

예제 1: string_agg_distinct 함수 사용

import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.string_agg_distinct('strings')).show()

+----------------------------------+
|string_agg(DISTINCT strings, NULL)|
+----------------------------------+
|                               abc|
+----------------------------------+

예제 2: 구분 기호와 함께 string_agg_distinct 함수 사용

import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.string_agg_distinct('strings', ', ')).show()

+--------------------------------+
|string_agg(DISTINCT strings, , )|
+--------------------------------+
|                         a, b, c|
+--------------------------------+

예제 3: 이진 열 및 구분 기호와 함께 string_agg_distinct 함수 사용

import pyspark.sql.functions as sf
df = spark.createDataFrame([(b'\x01',), (b'\x02',), (None,), (b'\x03',), (b'\x02',)],
                           ['bytes'])
df.select(sf.string_agg_distinct('bytes', b'\x42')).show()

+---------------------------------+
|string_agg(DISTINCT bytes, X'42')|
+---------------------------------+
|                 [01 42 02 42 03]|
+---------------------------------+

예제 4: 모든 None 값이 있는 열에서 string_agg_distinct 함수 사용

import pyspark.sql.functions as sf
from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([StructField("strings", StringType(), True)])
df = spark.createDataFrame([(None,), (None,), (None,), (None,)], schema=schema)
df.select(sf.string_agg_distinct('strings')).show()

+----------------------------------+
|string_agg(DISTINCT strings, NULL)|
+----------------------------------+
|                              NULL|
+----------------------------------+