다음을 통해 공유

열 클래스

DataFrame의 열입니다.

Spark Connect 지원

문법

열 인스턴스 만들기를 참조하세요.

메서드

메서드 설명
alias(*alias, **kwargs) 새 이름 또는 이름으로 별칭이 지정된 이 열을 반환합니다(분해와 같이 둘 이상의 열을 반환하는 식의 경우).
asc() 열의 오름차순에 따라 정렬 식을 반환합니다.
asc_nulls_first() 열의 오름차순에 따라 정렬 식을 반환하고 null 값은 null이 아닌 값 앞에 반환됩니다.
asc_nulls_last() 열의 오름차순에 따라 정렬 식을 반환하고 null 값은 null이 아닌 값 후에 나타납니다.
astype(dataType) cast()의 별칭입니다.
between(lowerBound, upperBound) 현재 열의 값이 지정된 하한과 상한(포함) 사이에 있는지 확인합니다.
bitwiseAND(other) 다른 식을 사용하여 이 식의 비트 AND를 계산합니다.
bitwiseOR(other) 다른 식을 사용하여 이 식의 비트 OR를 계산합니다.
bitwiseXOR(other) 다른 식을 사용하여 이 식의 비트 XOR를 계산합니다.
cast(dataType) 열을 형식 dataType으로 캐스팅합니다.
contains(other) 다른 요소를 포함합니다.
desc() 열의 내림차순에 따라 정렬 식을 반환합니다.
desc_nulls_first() 열의 내림차순에 따라 정렬 식을 반환하고 null 값이 null이 아닌 값 앞에 나타납니다.
desc_nulls_last() 열의 내림차순에 따라 정렬 식을 반환하고 null 값이 null이 아닌 값 후에 나타납니다.
dropFields(*fieldNames) 이름으로 StructType의 필드를 삭제하는 식입니다.
endswith(other) 문자열로 끝납니다.
eqNullSafe(other) null 값에 안전한 같음 테스트입니다.
getField(name) StructType에서 이름으로 필드를 가져오는 식입니다.
getItem(key) 목록에서 서수 위치에 있는 항목을 가져오거나 받아쓰기에서 키로 항목을 가져오는 식입니다.
ilike(other) SQL ILIKE 식(대/소문자를 구분하지 않는 LIKE).
isNaN() 현재 식이 NaN이면 True입니다.
isNotNull() True이면 현재 식이 Null이 아닙니다.
isNull() 현재 식이 null이면 True입니다.
isin(*cols) 이 식의 값이 인수의 계산된 값에 포함된 경우 true로 평가되는 부울 식입니다.
like(other) 식과 같은 SQL입니다.
name(*alias, **kwargs) alias()의 별칭입니다.
otherwise(value) 조건 목록을 평가하고 가능한 여러 결과 식 중 하나를 반환합니다.
over(window) 창 열을 정의합니다.
rlike(other) SQL RLIKE 식(Regex를 사용한 LIKE).
startswith(other) 문자열이 시작됩니다.
substr(startPos, length) 열의 부분 문자열인 열을 반환합니다.
try_cast(dataType) 이는 동일한 작업을 수행하지만 호출 메서드가 예외를 throw하는 경우 오류를 발생시키는 대신 NULL 값을 반환하는 특수 버전 cast 입니다.
when(condition, value) 조건 목록을 평가하고 가능한 여러 결과 식 중 하나를 반환합니다.
withField(fieldName, col) StructType의 필드를 이름으로 추가/바꾸는 식입니다.

운영자

Column 클래스는 산술, 비교 및 논리 연산에 대한 표준 Python 연산자를 지원합니다.

  • 산술: +,-, *, /%,**
  • 비교: ==,!=, <, <=, >>=
  • 논리: & (AND), | (OR), ~ (NOT)

예제

열 사용을 보여 주는 더 간단한 예제는 열 작업을 참조하세요.

열 인스턴스 만들기

DataFrame에서 열을 선택합니다.

df = spark.createDataFrame(
    [(2, "Alice"), (5, "Bob")], ["age", "name"])

# Access by attribute
df.name
# Column<'name'>

# Access by bracket notation
df["name"]
# Column<'name'>

식에서 열을 만듭니다.

df.age + 1
# Column<...>

1 / df.age
# Column<...>

기본 열 작업

# Arithmetic operations
df.select(df.age + 10).show()

# Comparison operations
df.filter(df.age > 3).show()

# String operations
df.filter(df.name.startswith("A")).show()

# Null checking
df.filter(df.name.isNotNull()).show()

조건부 논리

from pyspark.sql import functions as F

df.select(
    F.when(df.age < 3, "child")
     .when(df.age < 13, "kid")
     .otherwise("adult")
     .alias("age_group")
).show()

정렬

df.orderBy(df.age.desc()).show()
df.orderBy(df.age.asc_nulls_last()).show()
  • Last updated on