xxhash64

Calcula el código hash de las columnas dadas mediante la variante de 64 bits del algoritmo xxHash y devuelve el resultado como una columna larga. El cálculo hash usa una inicialización de 42. Soporta Spark Connect.

Para obtener la función SQL de Databricks correspondiente, consulte xxhash64 function.

Syntax

from pyspark.sql import functions as dbf

dbf.xxhash64(*cols)

Parámetros

Parámetro	Tipo	Description
cols	pyspark.sql.Column o str	Una o varias columnas en las que se va a calcular.

Devoluciones

pyspark.sql.Column: valor hash como columna larga.

Examples

Ejemplo 1: Computación xxhash64 de una sola columna

from pyspark.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.xxhash64('c1')).show()

+---+---+-------------------+
| c1| c2|       xxhash64(c1)|
+---+---+-------------------+
|ABC|DEF|4105715581806190027|
+---+---+-------------------+

Ejemplo 2: Computación xxhash64 de varias columnas

from pyspark.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.xxhash64('c1', df.c2)).show()

+---+---+-------------------+
| c1| c2|   xxhash64(c1, c2)|
+---+---+-------------------+
|ABC|DEF|3233247871021311208|
+---+---+-------------------+