Mengubah gambaran umum sumber daya penangkapan data
BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Beradaptasi dengan dunia big data pertama cloud dapat sangat menantang bagi teknisi data yang bertanggung jawab untuk membangun integrasi data yang kompleks dan alur ETL.
Azure Data Factory memperkenalkan mekanisme baru untuk mempermudah masa pakai insinyur data.
Dengan mendeteksi perubahan data secara otomatis di sumber tanpa memerlukan desain atau pengodean yang kompleks, ADF menjadikannya mudah untuk menskalakan proses ini. Change Data Capture sekarang akan ada sebagai sumber daya tingkat atas asli baru di studio Azure Data Factory di mana teknisi data dapat dengan cepat mengonfigurasi pekerjaan yang terus berjalan untuk memproses big data dalam skala besar dengan efisiensi ekstrem.
Sumber daya Change Data Capture baru di ADF memungkinkan pengambilan data perubahan keakuratan penuh yang terus berjalan mendekati real time melalui pengalaman konfigurasi terpandu.
Catatan
Sumber daya Ubah Penangkapan Data di Azure Data Factory saat ini dalam pratinjau publik
Sumber data yang didukung
- Avro
- Azure Cosmos DB (SQL API)
- Azure SQL Database
- Instans Terkelola Azure SQL
- Teks Berbatas
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
Target yang didukung
- Avro
- Database Azure SQL
- Instans Terkelola SQL
- Teks Berbatas
- Delta
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
Pembatasan yang diketahui
- Saat ini, saat membuat pemetaan sumber/target, setiap sumber dan target hanya diizinkan untuk digunakan sekali.
- Jenis kompleks saat ini tidak didukung.
- Runtime integrasi yang dihost sendiri (SHIR) saat ini tidak didukung.
Untuk informasi selengkapnya tentang batasan dan bantuan pemecahan masalah yang diketahui, silakan referensikan panduan pemecahan masalah ini.
Azure Synapse Analytics sebagai Target
Saat menggunakan Azure Synapse Analytics sebagai target, Pengaturan Penahapan tersedia di kanvas tabel utama. Mengaktifkan penahapan bersifat wajib saat memilih Azure Synapse Analytics sebagai target. Ini secara signifikan meningkatkan performa tulis dengan menggunakan kemampuan pemuatan massal yang berkinerja seperti perintah COPY INTO. Pengaturan Penahapan dapat dikonfigurasi dengan dua cara: menggunakan pengaturan Factory atau memilih pengaturan Kustom. Pengaturan pabrik berlaku di tingkat pabrik. Untuk pertama kalinya, jika pengaturan ini tidak dikonfigurasi, Anda akan diarahkan ke bagian pengaturan penahapan global untuk konfigurasi. Setelah diatur, semua sumber daya tingkat atas CDC akan mengadopsi konfigurasi ini. Pengaturan kustom hanya dilingkupkan untuk sumber daya CDC yang dikonfigurasi dan mengambil alih pengaturan Factory.
Catatan
Saat kami menggunakan perintah COPY INTO untuk mentransfer data dari lokasi penahapan ke Azure Synapse Analytics, disarankan untuk memastikan bahwa semua izin yang diperlukan telah dikonfigurasi sebelumnya dalam Azure Synapse Analytics.
Catatan
Kami selalu menggunakan konfigurasi terakhir yang diterbitkan saat memulai CDC. Untuk menjalankan CDC, saat data Anda sedang diproses, Anda akan ditagih 4 v-core Aliran Data Tujuan Umum.
Konten terkait
- Pelajari cara menyiapkan sumber daya pengambilan data perubahan.
- Pelajari cara menyiapkan sumber daya penangkapan data perubahan dengan evolusi skema.