zstd_compress

Devolve um valor comprimido de expr usando Zstandard com o nível de compressão especificado. O nível padrão é 3. Usa o modo single-pass por defeito.

Sintaxe

from pyspark.databricks.sql import functions as dbf

dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)

Parâmetros

Parâmetro	Tipo	Description
input	pyspark.sql.Column ou str	O valor binário a comprimir.
level	pyspark.sql.Column ou int, opcional	Argumento inteiro opcional que representa o nível de compressão. O nível de compressão controla o compromisso entre velocidade de compressão e razão de compressão. Valores válidos: entre 1 e 22 inclusive, onde 1 significa a taxa de compressão mais rápida mas mais baixa, e 22 significa a taxa de compressão mais lenta mas maior. O nível padrão é 3 se não for especificado.
streaming_mode	pyspark.sql.Column ou bool, opcional	Argumento booleano opcional que representa se deve usar o modo de streaming. Se for verdade, a função comprimir-se-á em modo de streaming. O valor predefinido é false.

Devoluções

pyspark.sql.Column: Uma nova coluna que contém um valor comprimido.

Examples

Exemplo 1: Comprimir dados usando Zstandard

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Exemplo 2: Comprimir dados usando Zstandard com o nível de compressão dado

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Exemplo 3: Comprimir dados usando Zstandard em modo de streaming

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)

+--------------------------------------------+
|result                                      |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+