zstd_compress

Retourne une valeur compressée d’expr à l’aide de Zstandard avec le niveau de compression spécifié. Le niveau par défaut est 3. Utilise le mode pass unique par défaut.

Syntaxe

from pyspark.databricks.sql import functions as dbf

dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)

Paramètres

Paramètre	Type	Descriptif
input	pyspark.sql.Column ou str	Valeur binaire à compresser.
level	pyspark.sql.Column ou int, facultatif	Argument entier facultatif qui représente le niveau de compression. Le niveau de compression contrôle le compromis entre la vitesse de compression et le ratio de compression. Valeurs valides : comprises entre 1 et 22 inclus, où 1 signifie le ratio de compression le plus rapide mais le plus bas, et 22 signifie le ratio de compression le plus lent mais le plus élevé. Le niveau par défaut est 3 s’il n’est pas spécifié.
streaming_mode	pyspark.sql.Column ou bool, facultatif	Argument booléen facultatif qui indique s’il faut utiliser le mode de diffusion en continu. Si la valeur est true, la fonction compresse en mode streaming. La valeur par défaut est false.

Retours

pyspark.sql.Column: nouvelle colonne qui contient une valeur compressée.

Examples

Exemple 1 : Compresser des données à l’aide de Zstandard

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Exemple 2 : Compresser des données à l’aide de Zstandard avec un niveau de compression donné

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)

+----------------------------------------+
|result                                  |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+

Exemple 3 : Compresser des données à l’aide de Zstandard en mode streaming

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)

+--------------------------------------------+
|result                                      |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+