Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Microsoft Fabric memberi Anda beberapa cara untuk membawa data ke Fabric, berdasarkan apa yang Anda butuhkan. Hari ini, Anda dapat menggunakan Mirroring, Aktivitas salin di Alur, Pekerjaan salin, atau Aliran acara. Setiap opsi menawarkan tingkat kontrol dan kompleksitas yang berbeda, sehingga Anda dapat memilih apa yang paling sesuai dengan skenario Anda.
Pencerminan dirancang untuk menjadi solusi sederhana dan gratis untuk mencerminkan database ke Fabric, tetapi tidak akan mencakup setiap skenario canggih. Aktivitas penyalinan dalam pipel memberi Anda fitur penyerapan data yang sepenuhnya dapat dikustomisasi, tetapi mengharuskan Anda membangun dan mengelola pipel sendiri. Pekerjaan salin mengisi kesenjangan antara 2 opsi ini. Ini memberi Anda lebih banyak fleksibilitas dan kontrol daripada Mirroring, ditambah dukungan asli untuk penyalinan batch dan inkremental, tanpa kompleksitas membangun alur.
Untuk penyerapan streaming real time dan skenario berbasis peristiwa, coba Eventstreams di Real-Time Intelligence. Mereka menyediakan pergerakan data latensi rendah, memungkinkan Anda mengubah data tanpa kode atau transformasi SQL, dan mendukung perutean berbasis konten ke beberapa tujuan termasuk Eventhouse, Lakehouse, dan Activator.
Konsep utama
Pencerminan memberi Anda cara sederhana dan gratis untuk mencerminkan data operasional ke Fabric untuk analitik. Ini dioptimalkan untuk kemudahan penggunaan dengan pengaturan minimal, dan menulis ke satu tujuan baca-saja di OneLake.
Aktivitas salin di Alur dibuat untuk pengguna yang memerlukan alur kerja penyerapan data berbasis alur yang diorkestrasi. Anda dapat menyesuaikannya secara ekstensif dan menambahkan logika transformasi, tetapi Anda perlu menentukan dan mengelola komponen alur sendiri, termasuk melacak status eksekusi terakhir untuk salinan bertambah bertahap.
Tugas Salin membuat penyerapan data lebih mudah dengan dukungan bawaan untuk beberapa gaya pengiriman, termasuk salinan massal, salinan bertahap, dan replikasi penangkapan data perubahan (CDC), dan Anda tidak perlu membangun aliran, sambil tetap memberi Anda akses ke banyak opsi tingkat lanjut. Ini mendukung banyak sumber dan tujuan, serta berfungsi dengan baik ketika Anda menginginkan kontrol lebih daripada menggunakan fungsi pencerminan, tetapi dengan kompleksitas yang lebih sedikit dibandingkan mengelola pipeline dengan aktivitas penyalinan.
Eventstreams: Dirancang untuk penyerapan, transformasi, dan pemrosesan data streaming secara real time. Mendukung alur latensi rendah, manajemen skema, dan perutean ke tujuan seperti Eventhouse, Lakehouse, Activator, dan Custom Endpoints yang mendukung (AMQP, Kafka, dan HTTP endpoints).
Panduan keputusan pergerakan data
| Mirroring | Pekerjaan penyalinan | Aktivitas Salin (Alur) | Eventstreams | |
|---|---|---|---|---|
| Sumber | Database + integrasi pihak ketiga ke Open Mirroring | Semua sumber dan format data yang didukung | Semua sumber dan format data yang didukung | 25+ sumber dan semua format |
| Tujuan | Format tabular dalam Fabric OneLake (baca-saja) | Semua tujuan dan format yang didukung | Semua tujuan dan format yang didukung | 4+ tujuan |
| Keleluasaan | Penyiapan sederhana dengan perilaku tetap | Mudah digunakan + Opsi tingkat lanjut | Opsi tingkat lanjut dan dapat disesuaikan sepenuhnya | Opsi sederhana dan dapat disesuaikan |
| Kemampuan | Mirroring | Pekerjaan penyalinan | Aktivitas Salin (Alur) | Eventstreams |
|---|---|---|---|---|
| Penjadwalan kustom | Yes | Yes | Berkelanjutan | |
| Manajemen Tabel dan Kolom | Yes | Yes | Ya (skema, peristiwa dan manajemen bidang) | |
| Perilaku salin: Tambahkan, Upsert, Ambil Alih | Yes | Yes | Append | |
| Pengamatan tingkat lanjut + audit | Yes | Yes | ||
| Mode Penyalinan | ||||
| Replikasi berkelanjutan berbasis CDC | Yes | Yes | Yes | |
| Salinan batch atau massal | Yes | Yes | Ya (replikasi rekam jepret awal CDC) | |
| Dukungan asli untuk Salinan bertahap (berbasis marka air) | Yes | |||
| Menyalin menggunakan kueri yang ditentukan pengguna | Yes | Yes | ||
| Skenario penggunaan | ||||
| Replikasi Berkelanjutan untuk analitik dan pelaporan | Yes | Yes | Yes | |
| ELT/ETL berbasis metadata untuk pergudangan data | Yes | Yes | ||
| Konsolidasi data | Yes | Yes | Yes | |
| Migrasi data / Pencadangan data / Berbagi data | Yes | Yes | Yes | |
| Bebas biaya | Yes | |||
| Performa yang dapat diprediksi | Yes | Yes | Yes |
Skenario
Tinjau skenario ini untuk membantu Anda memilih strategi pergerakan data mana yang paling sesuai dengan kebutuhan Anda.
Skenario 1
James adalah manajer keuangan di perusahaan asuransi. Timnya menggunakan Azure SQL Database untuk melacak data kebijakan, klaim, dan informasi pelanggan di beberapa unit bisnis. Tim eksekutif ingin membuat dasbor real-time untuk pemantauan performa bisnis, tetapi James tidak dapat mengizinkan kueri analitik untuk memperlambat sistem operasional yang memproses ribuan transaksi harian.
James membutuhkan replikasi data berkelanjutan tanpa kompleksitas pengaturan atau pemeliharaan yang sedang berlangsung. Dia tidak ingin mengelola penjadwalan, mengonfigurasi beban bertahap, atau khawatir tentang pemilihan tabel - dia membutuhkan semuanya yang dicerminkan secara otomatis. Karena ini hanya untuk pelaporan eksekutif, memiliki data dalam format baca-saja di OneLake berfungsi dengan sempurna. Solusinya juga perlu hemat biaya karena keluar dari anggaran departemennya.
James melihat opsi dan memilih Mirroring. Pencerminan menyediakan replikasi berkelanjutan berbasis CDC yang dia butuhkan, secara otomatis menangani semua tabel tanpa konfigurasi apa pun. Penyiapan sederhana berarti dia tidak memerlukan keahlian teknis, dan biaya gratis sesuai dengan anggarannya. Format tabular baca-saja di OneLake memberi timnya akses analitik real time yang mereka butuhkan tanpa memengaruhi performa operasional.
Skenario 2
Lisa adalah analis bisnis di perusahaan logistik. Dia perlu menyalin data pengiriman dari beberapa database Snowflake ke tabel Fabric Lakehouse untuk analisis rantai pasokan. Data mencakup catatan historis untuk beban awal dan pengiriman baru yang tiba sepanjang hari. Lisa ingin menjalankan proses ini pada jadwal kustom - setiap 4 jam selama jam kerja.
Lisa perlu memilih tabel tertentu dari setiap instans Snowflake, memetakan kolom ke nama standar, dan menggunakan perilaku upsert untuk menangani pembaruan pada rekaman pengiriman yang ada. Dia membutuhkan kemampuan manajemen tabel dan kolom untuk menangani skema yang berbeda di seluruh wilayah, dan dia ingin pemantauan tingkat lanjut untuk melacak kualitas data dan performa pemrosesan.
Lisa melihat opsi dan memilih Salin pekerjaan. Pekerjaan salin menyediakan penjadwalan kustom yang dia butuhkan untuk persyaratan jam kerjanya, mendukung semua sumber data termasuk Snowflake, dan menawarkan kemampuan manajemen tabel dan kolom untuk penyiapan multi-wilayahnya. Antarmuka yang mudah digunakan dengan opsi konfigurasi tingkat lanjut memungkinkannya menangani salinan bertahap dengan deteksi berbasis marka air dan perilaku upsert tanpa membangun alur.
Skenario 3
David adalah insinyur data senior di perusahaan telekomunikasi. Dia membangun alur kerja penyerapan data kompleks yang perlu mengekstrak data penggunaan pelanggan dari Oracle menggunakan kueri SQL kustom, menerapkan transformasi bisnis, dan memuatnya ke beberapa tujuan termasuk Fabric Warehouse dan sistem eksternal. Alur kerja juga perlu berkoordinasi dengan aktivitas alur lain seperti validasi data dan langkah-langkah pemberitahuan.
David membutuhkan kontrol penuh atas proses penyalinan, termasuk kemampuan untuk menggunakan kueri yang ditentukan pengguna untuk menggabungkan tabel dan memfilter data di sumbernya. Dia membutuhkan opsi konfigurasi tingkat lanjut dan sepenuhnya dapat disesuaikan, performa yang dapat diprediksi untuk volume data besar, dan kemampuan untuk mengintegrasikan proses penyalinan ke dalam alur kerja orkestrasi alur yang lebih luas dengan dependensi dan penanganan kesalahan.
David meninjau opsi yang tersedia dan memilih Aktivitas Salin di Alur. Pendekatan ini memberinya konfigurasi canggih dan sepenuhnya dapat disesuaikan yang dia butuhkan, mendukung kueri yang ditentukan pengguna untuk ekstraksi data yang kompleks, dan menyediakan orkestrasi berbasis alur yang diperlukan untuk alur kerjanya. Kemampuan pemantauan dan audit tingkat lanjut membantunya melacak proses yang kompleks, sementara kerangka kerja alur memungkinkannya mengoordinasikan aktivitas penyalinan dengan langkah-langkah pemrosesan data lainnya.
Skenario 4
Ash adalah manajer produk di perusahaan telekomunikasi. Timnya perlu memantau metrik dukungan pelanggan seperti volume panggilan, waktu tunggu, dan performa agen, secara real time untuk memastikan kepatuhan SLA dan meningkatkan kepuasan pelanggan. Data berasal dari beberapa sistem operasional termasuk platform CRM, log pusat panggilan, dan database penugasan agen, dan tiba pada frekuensi tinggi sepanjang hari.
Ash menggunakan Fabric Eventstreams untuk memasukkan dan mengubah data dalam pergerakan. Dia mengonfigurasi konektor streaming untuk menarik data dari berbagai sumber, menerapkan transformasi menggunakan pengalaman tanpa kode, dan merutekan peristiwa yang diproses ke Eventhouse untuk analitik real-time. Dia mengintegrasikan Data Activator untuk memicu pemberitahuan dan alur kerja otomatis ketika ambang batas SLA dilanggar sehingga dia dapat mengirim pemberitahuan ke supervisor atau menyesuaikan tingkat staf secara dinamis.
Hasilnya adalah dasbor real-time yang diperbarui dalam hitungan detik, memberikan visibilitas tim Ash ke dalam metrik performa langsung dan memungkinkan keputusan berbasis data yang cepat. Arsitektur streaming ini menghilangkan latensi alur batch dan memberdayakan bisnis untuk merespons kebutuhan pelanggan secara instan.
Get started
Sekarang setelah Anda memiliki gagasan tentang strategi pergerakan data mana yang akan digunakan, Anda dapat memulai dengan sumber daya ini: