Bagikan melalui

Menambahkan sumber CDC Database PostgreSQL ke eventstream

Artikel ini memperlihatkan kepada Anda cara menambahkan sumber PostgreSQL Database Change Data Capture (CDC) ke eventstream.

Konektor sumber PostgreSQL Database Change Data Capture (CDC) untuk aliran peristiwa Microsoft Fabric memungkinkan Anda mengambil cuplikan data terkini dalam database PostgreSQL. Saat ini, PostgreSQL Database Change Data Capture (CDC) didukung dari layanan berikut di mana database dapat diakses secara publik:

  • Azure Database for PostgreSQL
  • Amazon RDS untuk PostgreSQL
  • Amazon Aurora PostgreSQL
  • Google Cloud SQL for PostgreSQL

Setelah sumber CDC Database PostgreSQL ditambahkan ke eventstream, sumber tersebut akan merekam perubahan tingkat baris pada tabel yang ditentukan. Perubahan ini kemudian dapat diproses secara real time dan dikirim ke tujuan yang berbeda untuk analisis lebih lanjut.

Catatan

Sumber ini tidak didukung di kapasitas wilayah ruang kerja Anda berikut: West US3, Switzerland West.

Prasyarat

  • Akses ke ruang kerja dalam mode lisensi kapasitas Fabric atau mode lisensi Uji Coba dengan izin Kontributor atau lebih tinggi.

  • Akses pengguna terdaftar di database PostgreSQL.

  • Database PostgreSQL Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan dalam jaringan virtual.

  • CDC diaktifkan dalam database dan tabel PostgreSQL.

    Jika Anda memiliki Azure Database for PostgreSQL, ikuti langkah-langkah di bagian berikutnya untuk mengaktifkan CDC. Untuk informasi terperinci, lihat Replikasi logis dan decoding logis - Azure Database for PostgreSQL - Flexible Server.

    Untuk database PostgreSQL lainnya, lihat Konektor Debezium untuk PostgreSQL :: Dokumentasi Debezium.

  • Jika Anda tidak memiliki eventstream, buat eventstream.

Mengaktifkan CDC di Database PostgreSQL Anda

Bagian ini menggunakan Azure Database for PostgreSQL sebagai contoh.

Untuk mengaktifkan CDC di Server Fleksibel Azure Database for PostgreSQL Anda, ikuti langkah-langkah berikut:

  1. Pada halaman Server Fleksibel Azure Database for PostgreSQL Anda di portal Azure, pilih Parameter server di menu navigasi.

  2. Pada halaman Parameter Server:

    • Atur wal_level ke logis.
    • Perbarui max_worker_processes ke setidaknya 16.

    Tangkapan layar mengaktifkan CDC untuk penyebaran server yang fleksibel.

  3. Simpan perubahan dan mulai ulang server.

  4. Konfirmasikan bahwa instans Server Fleksibel Azure Database for PostgreSQL Anda memungkinkan lalu lintas jaringan publik.

  5. Berikan izin replikasi pengguna admin dengan menjalankan pernyataan SQL berikut. Jika Anda ingin menggunakan akun pengguna lain untuk menghubungkan PostgreSQL DB Anda untuk mengambil CDC, pastikan pengguna adalah pemilik tabel .

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

Luncurkan wizard Pilih sumber data

Jika Anda belum menambahkan sumber apa pun ke eventstream Anda, pilih Gunakan petak sumber eksternal.

Cuplikan layar yang menunjukkan tombol Gunakan sumber eksternal.

Jika Anda menambahkan sumber ke eventstream yang sudah diterbitkan, beralihlah ke mode Edit , pilih Tambahkan sumber pada pita, lalu pilih Sumber eksternal.

Cuplikan layar yang memperlihatkan pilihan menu Tambahkan sumber ke Sumber eksternal.  

Pada halaman Pilih sumber data, cari dan pilih Hubungkan pada petak PostgreSQL DB (CDC).

Cuplikan layar yang memperlihatkan pemilihan Azure DB for PostgreSQL (CDC) sebagai jenis sumber dalam wizard Pengambil peristiwa.

Mengonfigurasi dan menyambungkan ke PostgreSQL Database CDC

  1. Pada halaman Sambungkan , pilih Koneksi baru.

    Cuplikan layar yang memperlihatkan halaman Sambungkan untuk database Azure PostgreSQL dengan tautan Koneksi baru disorot.

  2. Di bagian Pengaturan koneksi , masukkan informasi berikut ini.

    • Server: Alamat server database PostgreSQL Anda, misalnya my-pgsql-server.postgres.database.azure.com.

    • Database: Nama database, misalnya my_database.

      Cuplikan layar yang memperlihatkan bagian Pengaturan koneksi untuk konektor database Azure PostgreSQL.

    • Nama koneksi: Masukkan nama untuk koneksi.

    • Jenis autentikasi, Pilih Dasar dan masukkan Nama Pengguna dan Kata Sandi Anda untuk database.

      Catatan

      Saat ini, aliran peristiwa Fabric hanya mendukung autentikasi Dasar .

    • Pilih Sambungkan untuk menyelesaikan pengaturan koneksi. Cuplikan layar yang memperlihatkan bagian Kredensial koneksi untuk konektor database Azure PostgreSQL.

  3. Port: Masukkan nomor port server Anda. Nilai defaultnya adalah 5432. Jika koneksi cloud yang Anda pilih dikonfigurasi di Kelola koneksi dan gateway, pastikan nomor port cocok dengan yang diatur di sana. Jika tidak cocok, nomor port pada koneksi cloud di Kelola koneksi dan gateway diutamakan.

  4. Anda bisa memilih antara dua opsi saat mengambil perubahan dari tabel database:

    • Semua tabel: Ambil perubahan dari setiap tabel dalam database.
    • Masukkan nama tabel: Memungkinkan Anda menentukan subset tabel menggunakan daftar yang dipisahkan koma. Anda dapat menggunakan: pengidentifikasi tabel lengkap dalam format schemaName.tableName atau ekspresi reguler yang valid. Contoh:
    • dbo.test.*: Pilih semua tabel yang namanya dimulai dengan test dalam dbo skema.
    • dbo\.(test1|test2): Pilih dbo.test1 dan dbo.test2.

    Anda dapat menggabungkan kedua format dalam daftar. Total batas karakter untuk seluruh entri adalah 102.400 karakter.

  5. Nama slot (opsional): Masukkan nama slot decoding logis PostgreSQL yang dibuat untuk perubahan streaming dari plug-in tertentu untuk database/skema tertentu. Server menggunakan slot ini untuk mengalirkan peristiwa ke konektor streaming Eventstream. Ini hanya boleh berisi huruf kecil, angka, dan garis bawah.

    • Jika tidak ditentukan, GUID digunakan untuk membuat slot, yang memerlukan izin database yang sesuai.
    • Jika ada nama slot tertentu, konektor akan menggunakannya secara langsung.

  6. Anda dapat memperluas pengaturan Tingkat Lanjut untuk mengakses opsi konfigurasi tambahan untuk sumber CDC Database PostgreSQL:

    • Nama publikasi: Menentukan nama publikasi replikasi logis PostgreSQL untuk digunakan. Ini harus cocok dengan publikasi yang ada dalam database, atau akan dibuat secara otomatis tergantung pada mode pembuatan otomatis. Nilai default: dbz_publication.

      Catatan

      Pengguna konektor harus memiliki izin superuser untuk membuat publikasi. Disarankan untuk membuat publikasi secara manual sebelum memulai konektor untuk pertama kalinya untuk menghindari masalah terkait izin.

    • Mode pembuatan otomatis publikasi: Mengontrol apakah dan bagaimana publikasi dibuat secara otomatis. Opsinya meliputi:

      • Filtered (default): Jika publikasi yang ditentukan tidak ada, konektor akan membuat yang hanya menyertakan tabel yang dipilih (seperti yang ditentukan dalam daftar sertakan tabel).
      • AllTables: Jika publikasi yang ditentukan ada, konektor akan menggunakannya. Jika tidak ada, konektor tersebut akan membuat satu yang mencakup semua tabel dalam database.
      • Disabled: Konektor tidak membuat publikasi. Jika publikasi yang ditentukan hilang, konektor akan melemparkan pengecualian dan berhenti. Dalam hal ini, publikasi harus dibuat secara manual dalam database.

      Untuk informasi selengkapnya, lihat dokumentasi Debezium tentang mode pembuatan otomatis publikasi

    • Mode penanganan desimal: Menentukan bagaimana konektor menangani nilai PostgreSQL DECIMAL dan NUMERIC kolom:

      • Precise: Mewakili nilai menggunakan jenis desimal yang tepat (misalnya, Java BigDecimal) untuk memastikan presisi dan akurasi penuh dalam representasi data.
      • Double: Mengonversi nilai menjadi angka floating-point presisi ganda. Ini meningkatkan kegunaan dan performa tetapi dapat mengakibatkan hilangnya presisi.
      • String: Mengodekan nilai sebagai string yang diformat. Ini membuatnya mudah dikonsumsi dalam sistem hilir tetapi kehilangan informasi semantik tentang jenis numerik asli.

  7. Pada halaman Tinjau + sambungkan , tinjau ringkasan, lalu pilih Tambahkan.

    Cuplikan layar yang memperlihatkan halaman Tinjau dan buat yang diisi untuk konektor database Azure PostgreSQL.

Menampilkan eventstream yang diperbarui

  1. Anda dapat melihat sumber data CDC dari Database PostgreSQL ditambahkan ke eventstream Anda di mode Edit.

    Cuplikan layar streaming sumber CDC PostgreSQL DB dalam tampilan Edit.

  2. Untuk menerapkan sumber CDC PostgreSQL DB yang baru ditambahkan ini, pilih Terbitkan. Setelah Anda menyelesaikan langkah-langkah ini, sumber PostgreSQL DB CDC Anda tersedia untuk visualisasi di Tampilan Langsung.

    Cuplikan layar streaming sumber CDC PostgreSQL DB di tampilan langsung.

Konten terkait

Konektor lain: