Penyerapan streaming dan perubahan skema

Node kluster menyimpan skema database yang mendapatkan data melalui penyerapan streaming, meningkatkan performa dan penggunaan sumber daya. Namun, ketika ada perubahan skema, itu dapat menyebabkan penundaan pembaruan.

Jika perubahan skema dan penyerapan streaming tidak disinkronkan, Anda dapat mengalami kegagalan seperti kesalahan terkait skema atau data yang tidak lengkap dan terdistorsi dalam tabel.

Artikel ini menguraikan perubahan skema umum dan memberikan panduan tentang menghindari masalah dengan penyerapan streaming selama perubahan ini.

Perubahan skema

Daftar berikut mencakup contoh utama perubahan skema:

• Pembuatan tabel
• Penghapusan tabel
• Menambahkan kolom ke tabel
• Menghapus kolom dari tabel
• Mengetik ulang kolom tabel
• Mengganti nama kolom tabel
• Menambahkan pemetaan penyerapan yang dibuat sebelumnya
• Menghapus pemetaan penyerapan yang dibuat sebelumnya
• Menambahkan, menghapus, atau mengubah kebijakan

Mengoordinasikan perubahan skema dengan penyerapan streaming

Cache skema disimpan saat kluster online. Jika ada perubahan skema, sistem secara otomatis me-refresh cache, tetapi refresh ini dapat memakan waktu beberapa menit. Jika Mengandalkan refresh otomatis, Anda dapat mengalami kegagalan penyerapan yang tidak terkoordinasi.

Anda dapat mengurangi efek penundaan penyebaran dengan secara eksplisit menghapus cache skema pada node kluster. Jika alur penyerapan streaming dan perubahan skema terkoordinasi, Anda dapat sepenuhnya menghilangkan kegagalan dan distorsi data terkaitnya.

Untuk mengoordinasikan alur penyerapan streaming dengan perubahan skema:

1. Tangguhkan penyerapan streaming.
2. Tunggu hingga semua permintaan penyerapan streaming yang luar biasa selesai.
3. Lakukan perubahan skema.
4. Terbitkan satu atau beberapa perintah skema penyerapan streaming .clear cache .
   • Ulangi hingga berhasil dan semua baris dalam output perintah menunjukkan keberhasilan
5. Lanjutkan penyerapan streaming.

Catatan

Jika Anda telah membuat aplikasi untuk penyerapan kustom, sebaiknya kelola kegagalan terkait skema dengan mencoba kembali untuk durasi yang ditetapkan atau mengalihkan data dari permintaan yang gagal menggunakan metode penyerapan yang diantrekan.