hash

Вычисляет хэш-код заданных столбцов и возвращает результат в виде столбца int. Поддерживает Spark Connect.

Для соответствующей функции Databricks SQL смотрите функцию hash.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.hash(*cols)

Параметры

Параметр	Тип	Description
cols	pyspark.sql.Column или str	Один или несколько столбцов для вычисления.

Возвраты

pyspark.sql.Column: хэш-значение в виде столбца int.

Примеры

Пример 1. Вычисление хэша одного столбца

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.hash('c1')).show()

+---+---+----------+
| c1| c2|  hash(c1)|
+---+---+----------+
|ABC|DEF|-757602832|
+---+---+----------+

Пример 2. Вычисление хэша нескольких столбцов

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([('ABC', 'DEF')], ['c1', 'c2'])
df.select('*', dbf.hash('c1', df.c2)).show()

+---+---+------------+
| c1| c2|hash(c1, c2)|
+---+---+------------+
|ABC|DEF|   599895104|
+---+---+------------+