Compartir a través de

Clase Column

Una columna de un dataframe.

Admite Spark Connect

Sintaxis

Consulte Creación de instancias de columna.

Methods

Método Descripción
alias(*alias, **kwargs) Devuelve este alias de columna con un nuevo nombre o nombres (en el caso de expresiones que devuelven más de una columna, como explotar).
asc() Devuelve una expresión de ordenación basada en el orden ascendente de la columna.
asc_nulls_first() Devuelve una expresión de ordenación basada en el orden ascendente de la columna y los valores NULL devuelven antes de valores que no son NULL.
asc_nulls_last() Devuelve una expresión de ordenación basada en el orden ascendente de la columna y los valores NULL aparecen después de valores que no son NULL.
astype(dataType) Alias para cast().
between(lowerBound, upperBound) Compruebe si los valores de la columna actual están entre los límites inferior y superior especificados, ambos incluidos.
bitwiseAND(other) Calcule and bit a bit de esta expresión con otra expresión.
bitwiseOR(other) Calcule or bit a bit de esta expresión con otra expresión.
bitwiseXOR(other) Calcule XOR bit a bit de esta expresión con otra expresión.
cast(dataType) Convierte la columna en el tipo dataType.
contains(other) Contiene el otro elemento.
desc() Devuelve una expresión de ordenación basada en el orden descendente de la columna.
desc_nulls_first() Devuelve una expresión de ordenación basada en el orden descendente de la columna y los valores NULL aparecen antes de los valores que no son NULL.
desc_nulls_last() Devuelve una expresión de ordenación basada en el orden descendente de la columna y los valores NULL aparecen después de valores que no son NULL.
dropFields(*fieldNames) Expresión que quita los campos de StructType por nombre.
endswith(other) La cadena termina con.
eqNullSafe(other) Prueba de igualdad que es segura para valores NULL.
getField(name) Expresión que obtiene un campo por nombre en un StructType.
getItem(key) Expresión que obtiene un elemento en la posición ordinal fuera de una lista, o obtiene un elemento por clave fuera de un dict.
ilike(other) Expresión ILIKE de SQL (LIKE sin distinción entre mayúsculas y minúsculas).
isNaN() True si la expresión actual es NaN.
isNotNull() True si la expresión actual es NOT NULL.
isNull() True si la expresión actual es null.
isin(*cols) Expresión booleana que se evalúa como true si el valor de esta expresión está incluido en los valores evaluados de los argumentos.
like(other) SQL como expresión.
name(*alias, **kwargs) Alias para alias().
otherwise(value) Evalúa una lista de condiciones y devuelve una de las varias expresiones de resultado posibles.
over(window) Defina una columna de ventanas.
rlike(other) Expresión RLIKE de SQL (LIKE con Regex).
startswith(other) La cadena comienza con.
substr(startPos, length) Devuelve una columna que es una subcadena de la columna.
try_cast(dataType) Se trata de una versión especial de cast que realiza la misma operación, pero devuelve un valor NULL en lugar de generar un error si el método invoke produce una excepción.
when(condition, value) Evalúa una lista de condiciones y devuelve una de las varias expresiones de resultado posibles.
withField(fieldName, col) Expresión que agrega o reemplaza un campo en StructType por nombre.

Operadores

La clase Column admite operadores estándar de Python para operaciones aritméticas, de comparación y lógicas:

  • Aritmética: +, -, *, /, , %**
  • Comparación: ==, !=, <, <=, , , >>=
  • Lógico: & (AND), | (OR), ~ (NOT)

Ejemplos

Para obtener ejemplos más sencillos que muestran el uso de columnas, consulte Operaciones de columna.

Creación de instancias de columna

Seleccione una columna de un dataframe:

df = spark.createDataFrame(
    [(2, "Alice"), (5, "Bob")], ["age", "name"])

# Access by attribute
df.name
# Column<'name'>

# Access by bracket notation
df["name"]
# Column<'name'>

Cree una columna a partir de una expresión:

df.age + 1
# Column<...>

1 / df.age
# Column<...>

Operaciones básicas de columna

# Arithmetic operations
df.select(df.age + 10).show()

# Comparison operations
df.filter(df.age > 3).show()

# String operations
df.filter(df.name.startswith("A")).show()

# Null checking
df.filter(df.name.isNotNull()).show()

Lógica condicional

from pyspark.sql import functions as F

df.select(
    F.when(df.age < 3, "child")
     .when(df.age < 13, "kid")
     .otherwise("adult")
     .alias("age_group")
).show()

Ordenación

df.orderBy(df.age.desc()).show()
df.orderBy(df.age.asc_nulls_last()).show()
  • Last updated on