Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Saat pembaruan alur berjalan, pembaruan tersebut me-refresh tampilan materialisasi dan tabel streaming yang ditentukan dalam alur sehingga hasilnya mencerminkan status data sumber saat ini. Cara kumpulan data diperbarui bergantung pada jenisnya dan jenis pembaruannya. Untuk cara memicu dan mengelola pembaruan, lihat Menjalankan pembaruan alur.
Jenis refresh
Secara bawaan, setiap tampilan termaterialisasi dan tabel streaming dalam alur akan diperbarui setiap kali ada pembaruan. Tabel berikut ini meringkas perilaku setiap jenis refresh:
| Jenis Pembaruan | Tampilan Tervirtualisasi | Tabel streaming |
|---|---|---|
| Muat Ulang (default) | Memperbarui hasil agar mencerminkan hasil terkini dari kueri pendefinisi. Azure Databricks memeriksa biaya dan melakukan refresh bertahap ketika lebih efisien. | Memproses rekaman baru melalui logika yang ditentukan dalam tabel dan alur streaming. |
| Pembaruan penuh | Menghitung ulang hasil agar mencerminkan hasil terkini dari kueri pendefinisi. | Menghapus data dari tabel streaming, menghapus titik pemeriksaan dari alur, dan memproses ulang semua rekaman dari sumber data. |
| Mengatur ulang titik pemeriksaan aliran streaming | Tidak berlaku untuk tampilan materialisasi. | Menghapus titik pemeriksaan dari alur tetapi tidak menghapus data dari tabel streaming, lalu memproses ulang semua rekaman dari sumber data. |
Muat Ulang (default)
Penyegaran default memperbarui kumpulan data untuk mencerminkan hasil terkini dari kueri yang mendefinisikannya.
Tabel streaming secara bawaan bersifat inkremental. Refresh pada tabel streaming hanya mengevaluasi catatan yang masuk sejak pembaruan terakhir dan menambahkannya ke tabel, dengan menggunakan definisi tabel saat ini. Rekaman lama tidak diolah ulang, sehingga perubahan yang akan memengaruhi data yang sudah ditulis tidak diterapkan. Dengan kata lain, penyegaran default pada tabel streaming mengorbankan keakuratan data demi waktu dan biaya sumber daya yang lebih rendah. Untuk memproses ulang data yang lebih lama, jalankan refresh penuh atau reset titik pemeriksaan alur.
Tampilan materialisasi mencoba refresh bertahap tetapi memproses ulang semua rekaman jika diperlukan untuk menjaga tabel tetap akurat. Tampilan terwujud diperbarui menggunakan salah satu dari dua metode berikut:
- Refresh inkremental mengidentifikasi perubahan sejak pembaruan terakhir dan hanya menggabungkan data baru atau yang dimodifikasi.
- Refresh penuh menjalankan seluruh kueri dan menggantikan data yang ada saat refresh bertahap tidak dimungkinkan atau tidak hemat biaya.
Secara default, Azure Databricks menggunakan model biaya untuk memilih metode yang lebih hemat biaya. Anda dapat mengambil alih pilihan ini dengan kebijakan refresh. Untuk semantik, persyaratan, dan SQL yang didukung untuk penyegaran bertahap, lihat Penyegaran bertahap untuk tampilan termaterialisasi.
Note
Penyegaran inkremental hanya tersedia pada pipeline serverless. Pada komputasi klasik, tampilan materialisasi selalu sepenuhnya dihitung ulang. Untuk perbandingan kedua jenis komputasi, lihat Komputasi serverless vs. klasik untuk pipeline.
Pembaruan penuh
Refresh penuh memproses ulang semua rekaman dari data sumber melalui logika yang menentukan himpunan data:
- Untuk tampilan materialisasi, refresh penuh mengolah ulang seluruh hasil. Karena tampilan materialisasi selalu mengembalikan hasil yang sama dengan kueri batch, refresh default dan refresh penuh menghasilkan data yang identik.
- Untuk tabel streaming, refresh penuh memotong tabel, menghapus titik pemeriksaan streaming untuk alurnya, dan memproses ulang setiap rekaman dari sumbernya.
Karena penyegaran penuh memproses ulang semua data sumber, waktu dan biaya akan bertambah seiring dengan ukuran data tersebut. Databricks merekomendasikan untuk menjalankan refresh penuh hanya jika perlu, seperti ketika definisi atau perubahan skema tidak kompatibel dengan data yang ada. Refresh penuh tabel streaming dapat menghilangkan rekaman jika sumber tidak lagi menyimpan data asli, misalnya topik Kafka melewati jendela retensinya.
Untuk kapan dan cara menjalankan refresh penuh tabel streaming, lihat Refresh penuh untuk tabel streaming.
Mengatur ulang titik pemeriksaan
Mereset titik pemeriksaan hanya berlaku untuk tabel streaming. Ini menghapus titik pemeriksaan streaming untuk alur yang dipilih tanpa menghapus data yang sudah ditulis ke tabel streaming, lalu memproses ulang semua rekaman dari sumber melalui alur tersebut. Tidak seperti refresh penuh, data tabel yang ada dipertahankan.
Gunakan ini saat Anda ingin memproses ulang sumber streaming untuk alur yang dipilih, misalnya setelah mengubah logika alur, tanpa memotong tabel.
Mengatur ulang titik pemeriksaan dipicu melalui REST API alur Lakeflow. Untuk langkah-langkahnya, lihat Memulai pembaruan alur untuk menghapus titik pemeriksaan alur streaming selektif.