Bagikan melalui


calon pelanggan

Fungsi jendela: mengembalikan nilai yang merupakan offset baris setelah baris saat ini, dan default jika ada kurang dari offset baris setelah baris saat ini. Misalnya, salah offset satu akan mengembalikan baris berikutnya pada titik tertentu di partisi jendela.

Ini setara dengan fungsi LEAD di SQL.

Syntax

from pyspark.sql import functions as sf

sf.lead(col, offset=1, default=None)

Parameter-parameternya

Pengaturan Tipe Description
col pyspark.sql.Column atau nama kolom Nama kolom atau ekspresi.
offset int, opsional Jumlah baris yang akan diperluas. Pengaturan awal adalah 1.
default fakultatif Nilai bawaan.

Pengembalian Barang

pyspark.sql.Column: nilai setelah baris saat ini berdasarkan offset.

Examples

Contoh 1: Menggunakan prospek untuk mendapatkan nilai berikutnya

from pyspark.sql import functions as sf
from pyspark.sql import Window
df = spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), ("b", 2)], ["c1", "c2"])
df.show()
+---+---+
| c1| c2|
+---+---+
|  a|  1|
|  a|  2|
|  a|  3|
|  b|  8|
|  b|  2|
+---+---+
w = Window.partitionBy("c1").orderBy("c2")
df.withColumn("next_value", sf.lead("c2").over(w)).show()
+---+---+----------+
| c1| c2|next_value|
+---+---+----------+
|  a|  1|         2|
|  a|  2|         3|
|  a|  3|      NULL|
|  b|  2|         8|
|  b|  8|      NULL|
+---+---+----------+

Contoh 2: Menggunakan prospek dengan nilai default

from pyspark.sql import functions as sf
from pyspark.sql import Window
df = spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), ("b", 2)], ["c1", "c2"])
w = Window.partitionBy("c1").orderBy("c2")
df.withColumn("next_value", sf.lead("c2", 1, 0).over(w)).show()
+---+---+----------+
| c1| c2|next_value|
+---+---+----------+
|  a|  1|         2|
|  a|  2|         3|
|  a|  3|         0|
|  b|  2|         8|
|  b|  8|         0|
+---+---+----------+

Contoh 3: Menggunakan prospek dengan offset 2

from pyspark.sql import functions as sf
from pyspark.sql import Window
df = spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), ("b", 2)], ["c1", "c2"])
w = Window.partitionBy("c1").orderBy("c2")
df.withColumn("next_value", sf.lead("c2", 2, -1).over(w)).show()
+---+---+----------+
| c1| c2|next_value|
+---+---+----------+
|  a|  1|         3|
|  a|  2|        -1|
|  a|  3|        -1|
|  b|  2|        -1|
|  b|  8|        -1|
+---+---+----------+