Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Dekorator @dp.foreach_sink() mendefinisikan sinkForEach, yang memproses aliran satu baris demi satu kali dengan logika Python kustom. Anda merujuk sink sebagai alurtarget tambahan atau alur pembaruan untuk menulis data. Untuk panduan konseptual, pertimbangan, dan contoh, lihat Gunakan sink ForEach untuk menulis setiap baris dalam pipeline. Untuk memproses setiap micro-batch sebagai DataFrame, lihat foreach_batch_sink.
Syntax
Untuk mendefinisikan ForEach sink dari sebuah fungsi, hias fungsi tersebut dengan @dp.foreach_sink():
from pyspark import pipelines as dp
@dp.foreach_sink(name="<name>")
def row_handler(row):
"""
Required:
- `row`: a Row that contains one record of the stream.
"""
# Your custom write logic here.
# This function runs on the executors, so import any libraries it uses inside the function.
Untuk mendefinisikan ForEach sink dari objek penulis, panggil dp.foreach_sink() dan oper objek dengan argumen tersebut writer :
from pyspark import pipelines as dp
class RowWriter:
def open(self, partition_id, epoch_id):
# Optional. Return False to skip the rows of this partition.
return True
def process(self, row):
# Required. Called for each row.
...
def close(self, error):
# Optional. `error` is None if processing succeeded.
...
dp.foreach_sink(name="<name>", writer=RowWriter())
Anda juga bisa memberikan fungsi ke dp.foreach_sink() dengan func argumen alih-alih menggunakan dekorator, misalnya dp.foreach_sink(name="<name>", func=row_handler).
Parameters
| Parameter | Description |
|---|---|
| baris | Required. A Row yang berisi satu rekaman dari aliran tersebut. Fungsi Anda, atau process metode penulis Anda, menerima satu baris untuk setiap panggilan. |
| name | Optional. Nama unik untuk mengidentifikasi sink dalam alur. Default pada nama fungsi. Untuk objek penulis, secara default menggunakan nama kelas dalam huruf kecil. |
| func | Optional. Fungsi yang dipanggil pipeline untuk setiap baris. Gunakan func saat Anda menelepon dp.foreach_sink() langsung, bukan sebagai dekorator. Anda tidak bisa lulus keduanya func dan writer. |
| writer | Optional. Objek yang mengimplementasikan process(row) metode, dan opsional metode and open(partition_id, epoch_id)close(error) . Anggap saja sebagai argumen kata kunci. Anda tidak bisa lulus keduanya func dan writer. |
Metode penulis
Objek penulis menggunakan metode yang sama seperti penulis Apache Spark Structured Streaming foreach . Untuk setiap partisi dari setiap micro-batch, pipeline memanggil open, lalu memanggil process setiap baris jika open mengembalikan True, dan kemudian memanggil close. Untuk informasi tentang menulis output kustom di Structured Streaming, lihat Gunakan foreachBatch untuk menulis ke data sink sembarang.
| Metode | Description |
|---|---|
open(partition_id, epoch_id) |
Optional. Pipeline memanggil metode ini sebelum memproses baris partisi untuk micro-batch. Gunakan untuk membuka koneksi atau memulai transaksi. Kembali True untuk memproses baris partisi, atau False untuk melewatinya. Jika penulis tidak mendefinisikan open, pipeline memproses baris dari setiap partisi.
partition_id dan epoch_id dapat diulang di berbagai aliran yang menulis ke sink yang sama dan setelah penyegaran penuh. Sebelum Anda menggunakannya untuk mendeduplikasi baris, lihat Menangani kegagalan dan baris duplikat. |
process(row) |
Required. Pipeline memanggil metode ini untuk setiap baris. |
close(error) |
Optional. Pipeline memanggil metode ini setelah memproses baris partisi.
error adalah pengecualian yang terjadi saat memproses baris, atau None jika pemrosesan berhasil. Gunakan untuk menutup koneksi. Jika open transaksi dimulai, komitnya hanya saat error adalah None, dan gulung kembali jika tidak. |