Share via

Kolomklasse

Een kolom in een DataFrame.

Ondersteunt Spark Connect

Syntaxis

Zie Kolomexemplaren maken.

Methods

Methode Beschrijving
alias(*alias, **kwargs) Retourneert deze kolom met een alias met een nieuwe naam of namen (in het geval van expressies die meer dan één kolom retourneren, zoals exploderen).
asc() Retourneert een sorteerexpressie op basis van de oplopende volgorde van de kolom.
asc_nulls_first() Retourneert een sorteerexpressie op basis van oplopende volgorde van de kolom en null-waarden retourneren vóór niet-null-waarden.
asc_nulls_last() Retourneert een sorteerexpressie op basis van oplopende volgorde van de kolom en null-waarden worden weergegeven na niet-null-waarden.
astype(dataType) Alias voor cast().
between(lowerBound, upperBound) Controleer of de waarden van de huidige kolom tussen de opgegeven onder- en bovengrenzen liggen, inclusief.
bitwiseAND(other) Bereken bitsgewijze EN van deze expressie met een andere expressie.
bitwiseOR(other) Bereken bitsgewijze OF van deze expressie met een andere expressie.
bitwiseXOR(other) Bereken bitwise XOR van deze expressie met een andere expressie.
cast(dataType) Hiermee wordt de kolom omgezet in het type dataType.
contains(other) Bevat het andere element.
desc() Retourneert een sorteerexpressie op basis van de aflopende volgorde van de kolom.
desc_nulls_first() Retourneert een sorteerexpressie op basis van de aflopende volgorde van de kolom en null-waarden worden weergegeven vóór niet-null-waarden.
desc_nulls_last() Retourneert een sorteerexpressie op basis van de aflopende volgorde van de kolom en null-waarden worden weergegeven na niet-null-waarden.
dropFields(*fieldNames) Een expressie waarmee velden in StructType op naam worden neergeslagen.
endswith(other) Tekenreeks eindigt met.
eqNullSafe(other) Gelijkheidstest die veilig is voor null-waarden.
getField(name) Een expressie die een veld op naam ophaalt in een StructType.
getItem(key) Een expressie die een item op positie ordinaal uit een lijst haalt of een item ophaalt met een toets uit een dict.
ilike(other) SQL ILIKE-expressie (niet hoofdlettergevoelig LIKE).
isNaN() Waar als de huidige expressie NaN is.
isNotNull() Waar als de huidige expressie NIET null is.
isNull() Waar als de huidige expressie null is.
isin(*cols) Een Booleaanse expressie die wordt geëvalueerd als waar als de waarde van deze expressie is opgenomen in de geëvalueerde waarden van de argumenten.
like(other) SQL-achtige expressie.
name(*alias, **kwargs) Alias voor alias().
otherwise(value) Evalueert een lijst met voorwaarden en retourneert een van meerdere mogelijke resultaatexpressies.
over(window) Definieer een vensterkolom.
rlike(other) SQL RLIKE-expressie (LIKE met Regex).
startswith(other) Tekenreeks begint met.
substr(startPos, length) Retourneert een kolom die een subtekenreeks van de kolom is.
try_cast(dataType) Dit is een speciale versie van cast die dezelfde bewerking uitvoert, maar retourneert een NULL-waarde in plaats van een fout op te geven als de aanroepmethode een uitzondering genereert.
when(condition, value) Evalueert een lijst met voorwaarden en retourneert een van meerdere mogelijke resultaatexpressies.
withField(fieldName, col) Een expressie waarmee een veld in StructType op naam wordt toegevoegd/vervangen.

Bedieners

De kolomklasse ondersteunt standaard Python-operators voor rekenkundige, vergelijkings- en logische bewerkingen:

  • Rekenkundig: +, -, *, , /, , %**
  • Vergelijking: ==, !=, <, , <=, >>=
  • Logisch: & (EN), | (OF), ~ (NIET)

Examples

Zie Kolombewerkingen voor eenvoudige voorbeelden die het gebruik van kolommen demonstreren.

Kolomexemplaren maken

Selecteer een kolom in een DataFrame:

df = spark.createDataFrame(
    [(2, "Alice"), (5, "Bob")], ["age", "name"])

# Access by attribute
df.name
# Column<'name'>

# Access by bracket notation
df["name"]
# Column<'name'>

Een kolom maken op basis van een expressie:

df.age + 1
# Column<...>

1 / df.age
# Column<...>

Basiskolombewerkingen

# Arithmetic operations
df.select(df.age + 10).show()

# Comparison operations
df.filter(df.age > 3).show()

# String operations
df.filter(df.name.startswith("A")).show()

# Null checking
df.filter(df.name.isNotNull()).show()

Voorwaardelijke logica

from pyspark.sql import functions as F

df.select(
    F.when(df.age < 3, "child")
     .when(df.age < 13, "kid")
     .otherwise("adult")
     .alias("age_group")
).show()

Sorteervolgorde

df.orderBy(df.age.desc()).show()
df.orderBy(df.age.asc_nulls_last()).show()
  • Last updated on