Menambahkan Azure SQL Database Change Data Capture (CDC) sebagai sumber di hub Real-Time

Artikel ini menjelaskan cara mendapatkan peristiwa dari Azure SQL Database Change Data Capture (CDC) ke hub Fabric Real-Time.

Konektor sumber Azure SQL Database CDC untuk aliran peristiwa Microsoft Fabric memungkinkan Anda mengambil cuplikan data saat ini dalam database Azure SQL. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data ini. Setelah perubahan diambil dalam eventstream, Anda dapat memproses data CDC ini secara real time dan mengirimkannya ke tujuan yang berbeda dalam Fabric untuk pemrosesan atau analisis lebih lanjut.

Catatan

Dengan DeltaFlow (Pratinjau), Anda dapat mengubah event CDC Debezium mentah menjadi aliran yang siap untuk analitik, yang mencerminkan struktur tabel sumber Anda. DeltaFlow mengotomatiskan pendaftaran skema, manajemen tabel tujuan, dan penanganan evolusi skema. Untuk menggunakan DeltaFlow, pilih Peristiwa siap analitik & skema yang diperbarui otomatis selama langkah penanganan skema.

Prasyarat

  • Akses ke ruang kerja dalam mode lisensi kapasitas Fabric atau mode lisensi Uji Coba dengan izin Kontributor atau yang lebih tinggi.
  • Server Azure SQL yang sedang berjalan dengan database Azure SQL.
  • Database Azure SQL Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan dalam jaringan virtual. Jika berada di jaringan yang dilindungi, sambungkan dengan menggunakan injeksi jaringan virtual dari konektor Eventstream.
  • Mengaktifkan CDC di database Azure SQL Anda dengan menjalankan prosedur sys.sp_cdc_enable_dbtersimpan . Untuk detailnya, lihat Mengaktifkan dan menonaktifkan penangkapan perubahan data.

Catatan

Jangan aktifkan pencerminan di database Azure SQL Anda.

Mengaktifkan CDC di Azure SQL Database Anda

  1. Buka portal Azure, buka database Azure SQL Anda, dan pilih Editor kueri. Pilih metode autentikasi untuk masuk.

    Cuplikan layar membuka database Azure SQL.

  2. Jalankan perintah SQL berikut untuk mengaktifkan CDC di database Anda:

    -- Enable Database for CDC
EXEC sys.sp_cdc_enable_db;

-- Enable CDC for a table using a gating role option
EXEC sys.sp_cdc_enable_table
    @source_schema = N'dbo',
    @source_name   = N'MyTable',
    @role_name     = NULL
GO

Halaman sumber data

  1. Masuk ke Microsoft Fabric.

  2. Jika Anda melihat Power BI di kiri bawah halaman, beralihlah ke beban kerja Fabric dengan memilih Power BI dan kemudian dengan memilih Fabric.

    Cuplikan layar yang menunjukkan cara beralih ke beban kerja Fabric.

  3. Pilih Real-Time di bilah navigasi kiri.

    Cuplikan layar yang memperlihatkan cara meluncurkan antarmuka sambungan ke sumber data.

  4. Halaman Data streaming terbuka secara default. Klik tombol Tambahkan data untuk masuk ke halaman Tambahkan data .

    Cuplikan layar yang memperlihatkan halaman Tambahkan data di hub Real-Time.

    Anda juga bisa masuk ke halaman Tambahkan data secara langsung dengan memilih opsi Tambahkan data di bilah navigasi kiri.

    Cuplikan layar yang memperlihatkan tombol Sambungkan sumber data.

  1. Pada halaman Sumber data , pilih kategori sumber Microsoft di bagian atas, lalu pilih Sambungkan pada petak peta Azure SQL DB (CDC ).

    Cuplikan layar yang memperlihatkan pemilihan Azure SQL Database (CDC) sebagai jenis sumber di halaman Sumber data.

    Gunakan instruksi dari bagian Sambungkan ke sumber CDC Azure SQL Database.

Hubungkan ke sumber CDC di Azure SQL Database

Serap data perubahan dari database Azure SQL dengan pendaftaran skema tabel otomatis melalui CDC ke Eventstream.

Catatan

DeltaFlow (Pratinjau): Saat Anda memilih Peristiwa siap analitik & skema yang diperbarui secara otomatis dalam langkah penanganan skema, DeltaFlow mengubah peristiwa CDC Debezium mentah menjadi aliran siap analitik yang mencerminkan struktur tabel sumber Anda. DeltaFlow juga mengotomatiskan pembuatan tabel tujuan dan penanganan evolusi skema.

  1. Pada halaman Sambungkan , pilih Koneksi baru.

    Cuplikan layar yang memperlihatkan halaman Koneksi pada wizard 'Dapatkan Peristiwa' dengan tautan 'Koneksi baru' yang disorot.

  2. Di bagian Pengaturan koneksi , masukkan nilai berikut untuk database Azure SQL Anda:

    • Server: Masukkan nama server Azure SQL dari portal Azure. Ini dalam bentuk ini: mysqlservername.database.windows.net.

    • Database: Masukkan nama database Azure SQL dari portal Azure.

      Cuplikan layar yang memperlihatkan bagian Pengaturan koneksi dari halaman Koneksi baru.

  3. Gulir ke bawah, dan di bagian Kredensial koneksi, ikuti langkah-langkah ini.

    • Untuk Nama koneksi, masukkan nama untuk koneksi.

    • Untuk Jenis autentikasi, pilih Dasar.

      Catatan

      Saat ini, Fabric Eventstream hanya mendukung autentikasi Dasar .

    • Masukkan Nama Pengguna dan Kata Sandi untuk database.

  4. Pilih Sambungkan.

    Cuplikan layar yang memperlihatkan bagian Kredensial koneksi dari halaman Koneksi baru.

  5. Sekarang, pada halaman Sambungkan , pilih Semua tabel, atau Masukkan nama tabel. Jika Anda memilih yang terakhir, tentukan tabel menggunakan daftar pengidentifikasi tabel lengkap yang dipisahkan koma (schemaName.tableName) atau ekspresi reguler yang valid. Contohnya:

    • Gunakan dbo.test.* untuk memilih semua tabel yang namanya dimulai dengan dbo.test.
    • Gunakan dbo\.(test1|test2) untuk memilih dbo.test1 dan dbo.test2.

    Anda dapat mencampur kedua format menggunakan koma. Total batas karakter untuk seluruh entri adalah 102.400 karakter.

  6. Anda dapat memperluas pengaturan Tingkat Lanjut untuk mengakses opsi konfigurasi lainnya untuk sumber CDC Azure SQL Database:

    • Mode penanganan desimal: Menentukan bagaimana konektor menangani DECIMAL dan NUMERIC nilai kolom:
      • Precise: Mewakili nilai menggunakan jenis desimal yang tepat (misalnya, Java BigDecimal) untuk memastikan presisi dan akurasi penuh dalam representasi data.
      • Double: Mengonversi nilai menjadi angka floating-point presisi ganda. Pengaturan ini meningkatkan kegunaan dan performa tetapi dapat mengakibatkan hilangnya presisi.
      • String: Mengodekan nilai sebagai string yang diformat. Pengaturan ini memudahkan penggunaannya dalam sistem hilir tetapi kehilangan informasi semantik tentang jenis numerik asli.
    • Mode rekam jepret: Tentukan kriteria untuk melakukan rekam jepret saat konektor dimulai:
      • Initial: Konektor menjalankan rekam jepret hanya ketika tidak ada offset yang direkam untuk nama server logis, atau jika mendeteksi bahwa rekam jepret sebelumnya gagal diselesaikan. Setelah rekam jepret selesai, konektor mulai mengalirkan rekaman peristiwa untuk perubahan database berikutnya.
      • InitialOnly: Konektor menjalankan snapshot hanya ketika tidak ada offset yang tercatat untuk nama server logis. Setelah rekam jepret selesai, konektor berhenti. Itu tidak beralih ke mode streaming untuk membaca peristiwa perubahan dari binlog.
      • NoData: Konektor menjalankan rekam jepret yang hanya mengambil skema, tetapi bukan data tabel apa pun. Atur opsi ini jika Anda tidak memerlukan rekam jepret data yang konsisten, tetapi Anda hanya memerlukan perubahan yang terjadi sejak konektor dimulai.
    • Daftar pengecualian kolom: Menentukan kolom yang akan dikecualikan dari mengubah nilai peristiwa menggunakan nama yang sepenuhnya memenuhi syarat (schemaName.tableName.columnName).
    • Database applicationIntent: Menentukan perilaku perutean di grup ketersediaan Always On SQL Server.
      • ReadWrite: Menyambungkan ke replika utama. Gunakan opsi ini jika koneksi perlu melakukan operasi baca dan tulis.
      • ReadOnly: Memungkinkan perutean ke replika sekunder yang dapat dibaca untuk operasi baca-saja. Gunakan untuk mengaktifkan CDC langsung pada replika. Ini mengharuskan pengaturan snapshot.isolation.mode menjadi 'snapshot', yang merupakan satu-satunya mode isolasi transaksi yang didukung untuk replika baca-saja.
    • Penggantian pernyataan SELECT snapshot: Gunakan properti ini jika Anda ingin snapshot hanya menyertakan sebagian baris di dalam tabel. Properti ini hanya memengaruhi rekam jepret. Ini tidak berlaku untuk kejadian yang dibaca konektor tersebut dari log.

Detail aliran atau sumber

  1. Pada halaman Sambungkan , ikuti salah satu langkah ini berdasarkan apakah Anda menggunakan Eventstream atau hub Real-Time.

    • Eventstream:

      Di panel Detail sumber di sebelah kanan, ikuti langkah-langkah berikut:

      1. Untuk Nama sumber, pilih tombol Pensil untuk mengubah nama.

      2. Perhatikan bahwa nama Eventstream dan nama Stream bersifat baca-saja.

    • Hub Real-Time:

      Di bagian Detail aliran di sebelah kanan, ikuti langkah-langkah berikut:

      1. Pilih ruang kerja Fabric tempat Anda ingin membuat eventstream.

      2. Untuk Nama aliran kejadian, klik tombol Pensil, dan masukkan nama untuk aliran kejadian.

      3. Nilai Nama stream secara otomatis dibuat untuk Anda dengan menambahkan -stream ke nama eventstream. Aliran ini muncul di halaman Semua aliran data hub real-time saat wizard selesai.

  2. Pilih Berikutnya di bagian bawah halaman Konfigurasikan .

Tinjau dan sambungkan

Pada layar Tinjau + sambungkan , tinjau ringkasan, dan pilih Tambahkan (Eventstream) atau Sambungkan (Real-Time hub).

Halaman penanganan skema

  1. Di halaman Penanganan skema , pilih salah satu opsi berikut ini:

    • Peristiwa siap analitik & skema yang diperbarui otomatis (Pratinjau DeltaFlow): Konektor mengubah peristiwa CDC mentah menjadi aliran siap analitik yang mencerminkan struktur tabel sumber Anda. DeltaFlow memperkaya peristiwa dengan metadata seperti jenis perubahan (menyisipkan, memperbarui, atau menghapus) dan tanda waktu, dan secara otomatis mengelola tabel tujuan dan evolusi skema.
    • Peristiwa CDC mentah: Konektor menyerap dan menyediakan peristiwa CDC mentah. Secara opsional, konektor dapat menemukan skema tabel secara otomatis dan mendaftarkannya di dalam registri skema. Gunakan opsi ini saat Anda menginginkan kesadaran skema tanpa transformasi DeltaFlow.

    Catatan

    Cuplikan layar berikut menunjukkan Azure SQL Database CDC. Opsi penanganan skema sama untuk semua konektor sumber CDC yang didukung.

    Cuplikan layar memperlihatkan langkah penanganan skema dengan opsi peristiwa DeltaFlow dan Raw CDC untuk konektor sumber CDC.

  2. Aktifkan asosiasi skema peristiwa.

  3. Untuk Ruang Kerja, pilih ruang kerja Fabric untuk set skema.

  4. Untuk Set skema, + Buat dipilih secara default, yang membuat kumpulan skema baru. Anda dapat mengubahnya untuk memilih set skema peristiwa yang ada.

  5. Jika Anda memilih opsi + Buat di langkah sebelumnya, masukkan nama untuk kumpulan skema.

  6. Pada halaman Tinjau + sambungkan , pilih Tambahkan (Eventstream) atau Sambungkan (Real-Time hub).

    Tangkapan layar yang memperlihatkan halaman tinjau dan sambungkan untuk sumber Azure SQL Database CDC.

    Untuk semua tabel atau tabel yang dipilih di database Azure SQL, konektor mencari dan membuat skema, dan mendaftarkannya dengan registri skema.

  7. Pilih simpul eventstream di tengah, dan beralihlah ke tab Skema terkait di panel bawah.

    Cuplikan layar yang memperlihatkan jendela skema Terkait di panel bawah.

Skema set

  1. Navigasi ke ruang kerja yang Anda pilih di langkah sebelumnya. Dalam contoh berikut, ini adalah Ruang kerja saya.

  2. Pilih kumpulan skema yang dibuat konektor Azure SQL Database (CDC).

    Cuplikan layar yang memperlihatkan kumpulan skema yang dihasilkan di halaman Ruang kerja saya.

  3. Anda melihat skema dalam kumpulan skema seperti yang ditunjukkan pada gambar berikut.

    Cuplikan layar yang memperlihatkan skema dalam kumpulan skema yang dihasilkan.

  4. Untuk melihat versi JSON dari skema, beralihlah ke tampilan skema JSON .

    Cuplikan layar yang memperlihatkan tampilan skema JSON.

    Jangan ubah skema yang telah ditemukan ini menggunakan editor ini karena akan menjadi tidak sesuai dengan skema tabel di sumber database Azure SQL.

DeltaFlow: Transformasi peristiwa siap analitik (Pratinjau)

Saat Anda mengaktifkan event siap analitik & schema yang diperbarui secara otomatis (DeltaFlow), konektor menyediakan fungsi berikut:

  • Bentuk peristiwa siap analitik: Peristiwa CDC Debezium Mentah diubah menjadi format tabular yang mencerminkan struktur tabel sumber. Peristiwa diperkaya dengan kolom metadata termasuk jenis perubahan (insert, , updateatau delete) dan tanda waktu peristiwa.

  • Manajemen tabel tujuan otomatis: Saat Anda merutekan aliran yang didukung DeltaFlow ke tujuan yang didukung seperti eventhouse, tabel tujuan secara otomatis dibuat agar sesuai dengan skema tabel sumber. Anda tidak perlu membuat atau mengonfigurasi tabel tujuan secara manual.

  • Penanganan evolusi skema: Saat tabel database sumber berubah (misalnya, kolom baru ditambahkan atau tabel dibuat), DeltaFlow secara otomatis mendeteksi perubahan, memperbarui skema terdaftar, dan menyesuaikan tabel tujuan yang sesuai. Opsi ini meminimalkan intervensi manual yang disebabkan oleh perubahan skema.

    Cuplikan layar memperlihatkan tabel tujuan Eventhouse dalam bentuk siap analitik yang dibuat oleh DeltaFlow.

Catatan

DeltaFlow (Pratinjau) saat ini didukung dengan Azure SQL Database CDC, Azure SQL Managed Instance CDC, SQL Server di VM CDC, dan konektor sumber CDC PostgreSQL.

Untuk detail tentang bagaimana DeltaFlow mengubah peristiwa CDC mentah menjadi output siap analitik, termasuk jenis operasi dan kolom metadata, lihat Transformasi output DeltaFlow.

Menampilkan detail aliran data

  1. Pada halaman Tinjau + sambungkan , jika Anda memilih Buka eventstream, wizard akan membuka eventstream yang dibuatnya untuk Anda dengan CDC Azure SQL Database yang dipilih sebagai sumber. Untuk menutup wizard, pilih Selesai di bagian bawah halaman.

    Cuplikan layar yang memperlihatkan halaman Tinjau + sambungkan setelah pembuatan sumber berhasil.

  2. Anda akan melihat aliran di bagian Data streaming terbaru di halaman beranda hubReal-Time . Untuk langkah-langkah terperinci, lihat Melihat detail aliran data di hub Fabric Real-Time.

Konten terkait

Untuk mempelajari tentang menggunakan aliran data, lihat artikel berikut ini:

  • Terakhir diperbarui pada