Memuat dan memproses data secara bertahap dengan alur Lakeflow

Data diproses dalam jalur melalui alur. Setiap alur terdiri dari kueri dan, biasanya, target. Alur memproses kueri, baik sebagai batch, atau secara bertahap sebagai aliran data ke dalam target. Aliran terdapat di dalam pipeline Lakeflow.

Biasanya, alur ditentukan secara otomatis saat Anda membuat kueri dalam alur yang memperbarui target, tetapi Anda juga dapat secara eksplisit menentukan alur tambahan untuk pemrosesan yang lebih kompleks, seperti menambahkan ke satu target dari beberapa sumber.

Pembaruan

Alur dijalankan setiap kali pipa pengaturannya diperbarui. Alur akan membuat atau memperbarui tabel dengan data terbaru yang tersedia. Bergantung pada jenis alur dan status perubahan pada data, pembaruan dapat melakukan refresh bertahap, yang hanya memproses rekaman baru, atau melakukan refresh penuh, yang memproses ulang semua rekaman dari sumber data.

Alur default dan alur tambahan

Saat Anda membuat kueri dalam alur yang memperbarui target, alur default ditentukan secara otomatis. Untuk tabel streaming, alur default adalah alur penambahan yang menambahkan baris baru dengan setiap pembaruan, dan memiliki nama yang sama dengan target. Membuat alur dan targetnya dalam satu langkah adalah cara paling umum untuk menggunakan alur, dan Anda dapat menggunakannya untuk menyerap atau mengubah data.

Anda juga dapat menentukan alur secara terpisah dari target, yang memungkinkan beberapa alur menambahkan data ke satu target. Ini berguna ketika Anda perlu:

  • Tambahkan sumber streaming yang menambahkan data ke tabel streaming yang sudah ada tanpa memerlukan penyegaran penuh.
  • Isi ulang tabel streaming dengan data historis yang hilang.
  • Gabungkan data dari beberapa sumber tanpa menggunakan UNION klausa.

Untuk contoh cara membuat alur default dan eksplisit, lihat Menggunakan alur dalam pipeline Lakeflow.

Jenis alur

Alur bawaan untuk tabel streaming dan tampilan materialisasi adalah alur penambahan. Anda juga dapat membuat alur untuk membaca dari sumber data pengambilan data perubahan. Tabel berikut ini menjelaskan berbagai jenis alur.

Jenis alur Deskripsi
Lampirkan Alur tambahan adalah jenis alur yang paling umum, di mana rekaman baru di sumber ditulis ke target dengan setiap pembaruan. Mereka sesuai dengan mode tambahan dalam streaming terstruktur. Anda dapat menambahkan penanda ONCE sebagai petunjuk untuk kueri batch yang datanya harus dimasukkan ke dalam target hanya sekali, kecuali jika target sepenuhnya diperbarui. Sejumlah alur append dapat menulis ke target tertentu.
Alur default (dibuat dengan tabel streaming target atau tampilan materialisasi) akan memiliki nama yang sama dengan target. Target lain tidak memiliki alur default.
CDC Otomatis (sebelumnya menerapkan perubahan) Aliran CDC Otomatis menyerap kueri yang berisi change data capture (CDC). Aliran CDC otomatis hanya dapat menargetkan tabel streaming, dan sumbernya harus berupa sumber streaming (bahkan dalam kasus aliran ONCE). Beberapa alur CDC otomatis dapat menargetkan satu tabel streaming. Tabel streaming yang bertindak sebagai target untuk alur CDC otomatis hanya dapat ditargetkan oleh alur CDC otomatis lainnya.
Untuk informasi selengkapnya tentang data CDC, lihat API CDC OTOMATIS: Menyederhanakan perubahan pengambilan data dengan alur.
Pembaruan (Pratinjau Publik) Update alur menghasilkan agregat streaming global tanpa watermark ke sink, dan hanya mengeluarkan rekaman yang berubah pada setiap batch.
Alur pembaruan hanya tersedia di Python. Lihat update_flow.

Sumber daya tambahan

Untuk informasi selengkapnya tentang alur dan penggunaannya, lihat topik berikut:

  • Last updated on