Mengubah gambaran umum sumber daya penangkapan data

  • Artikel

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Beradaptasi dengan dunia big data pertama cloud dapat sangat menantang bagi teknisi data yang bertanggung jawab untuk membangun integrasi data yang kompleks dan alur ETL.

Azure Data Factory memperkenalkan mekanisme baru untuk mempermudah masa pakai insinyur data.

Dengan mendeteksi perubahan data secara otomatis di sumber tanpa memerlukan desain atau pengodean yang kompleks, ADF menjadikannya mudah untuk menskalakan proses ini. Change Data Capture sekarang akan ada sebagai sumber daya tingkat atas asli baru di studio Azure Data Factory di mana teknisi data dapat dengan cepat mengonfigurasi pekerjaan yang terus berjalan untuk memproses big data dalam skala besar dengan efisiensi ekstrem.

Sumber daya Change Data Capture baru di ADF memungkinkan pengambilan data perubahan keakuratan penuh yang terus berjalan mendekati real time melalui pengalaman konfigurasi terpandu.

Screenshot of new top-level resource in Factory Resources panel.

Sumber data yang didukung

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Database
  • Instans Terkelola Azure SQL
  • Teks Berbatas
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Target yang didukung

  • Avro
  • Database Azure SQL
  • Instans Terkelola SQL
  • Teks Berbatas
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Batasan umum

  • Saat ini, saat membuat pemetaan sumber/target, setiap sumber dan target hanya diizinkan untuk digunakan sekali.
  • Jenis kompleks saat ini tidak didukung.
  • Runtime integrasi yang dihost sendiri (SHIR) saat ini tidak didukung.

Untuk informasi selengkapnya tentang batasan dan bantuan pemecahan masalah yang diketahui, silakan referensikan panduan pemecahan masalah ini.

Azure Synapse Analytics sebagai Target

Saat menggunakan Azure Synapse Analytics sebagai target, Pengaturan Penahapan tersedia di kanvas tabel utama. Mengaktifkan penahapan bersifat wajib saat memilih Azure Synapse Analytics sebagai target. Ini secara signifikan meningkatkan performa tulis dengan menggunakan kemampuan pemuatan massal yang berkinerja seperti perintah COPY INTO. Penahapan Pengaturan dapat dikonfigurasi dengan dua cara: menggunakan pengaturan Factory atau memilih pengaturan Kustom. Pengaturan pabrik berlaku di tingkat pabrik. Untuk pertama kalinya, jika pengaturan ini tidak dikonfigurasi, Anda akan diarahkan ke bagian pengaturan penahapan global untuk konfigurasi. Setelah diatur, semua sumber daya tingkat atas CDC akan mengadopsi konfigurasi ini. Pengaturan kustom hanya dilingkupkan untuk sumber daya CDC yang dikonfigurasi dan mengambil alih pengaturan Factory.

Catatan

Saat kami menggunakan perintah COPY INTO untuk mentransfer data dari lokasi penahapan ke Azure Synapse Analytics, disarankan untuk memastikan bahwa semua izin yang diperlukan telah dikonfigurasi sebelumnya dalam Azure Synapse Analytics.

Catatan

Kami selalu menggunakan konfigurasi terakhir yang diterbitkan saat memulai CDC. Untuk menjalankan CDC, saat data Anda sedang diproses, Anda akan ditagih 4 v-core Aliran Data Tujuan Umum.

Konten terkait