Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Microsoft Fabric menyatukan alat analitik Microsoft ke dalam satu platform SaaS. Ini menawarkan kemampuan yang kuat untuk orkestrasi alur kerja, pergerakan data, replikasi, dan transformasi dalam skala besar. Fabric Data Factory menyediakan lingkungan SaaS yang dibangun di Azure Data Factory (ADF) PaaS melalui peningkatan kemudahan penggunaan dan fungsionalitas tambahan, menjadikan Fabric Data Factory modernisasi sempurna dari solusi integrasi data Anda yang ada.
Panduan ini menunjukkan kepada Anda strategi, pertimbangan, dan pendekatan migrasi untuk membantu Anda berpindah dari Azure Data Factory ke Fabric Data Factory.
Mengapa bermigrasi?
Migrasi dari alur ADF dan Synapse ke Fabric Data Factory lebih dari lift-and-shift: ini adalah kesempatan untuk menyederhanakan tata kelola, menstandarkan pola, dan menggunakan fitur canggih Fabric Data Factory untuk meningkatkan strategi integrasi data Anda.
Fabric menawarkan banyak fitur baru, termasuk:
- Kegiatan pipeline terintegrasi seperti email dan Teams untuk pengarahan pesan
- CI/CD terintegrasi (pipeline penyebaran) tanpa dependensi Git eksternal
- Integrasi ruang kerja yang mulus dengan OneLake, Warehouse, dan Lakehouse untuk analitik terpadu
- Penyegaran model data semantik yang disederhanakan yang dapat menskalakan untuk memenuhi kebutuhan mandiri dan perusahaan akan data.
- Kemampuan AI bawaan dengan Copilot untuk membantu Anda membuat dan mengelola alur
Untuk perbandingan terperinci, lihat panduan perbandingan Azure Data Factory dan Fabric Data Factory.
Perbedaan arsitektur kritis
Sebelum Anda bermigrasi dari Azure Data Factory ke Fabric Data Factory, pertimbangkan perbedaan arsitektur penting ini yang cenderung memiliki efek terbesar pada perencanaan migrasi:
| Kategori | Azure Data Factory | Fabric Data Factory | Dampak Migrasi |
|---|---|---|---|
| Kode khusus | Aktivitas Kustom | Kegiatan Azure Batch | Nama aktivitas berbeda, tetapi mendukung fungsionalitas yang sama. |
| Dataflows | Pemetaan Aliran Data (berbasis Spark) | Dataflow Gen2 (mesin Power Query) dengan salinan cepat dan tujuan ganda | Mesin dan kemampuan transformasi yang berbeda. Periksa panduan kami tentang Dataflow untuk pengguna Mapping Data Flow untuk informasi selengkapnya. |
| Himpunan data | Objek himpunan data yang terpisah dan dapat digunakan kembali | Properti didefinisikan secara langsung dalam aktivitas | Saat Anda mengonversi dari ADF ke Fabric, informasi 'himpunan data' berada dalam setiap aktivitas. |
| Koneksi dinamis | Properti layanan tertaut dapat dinamis menggunakan parameter | Properti koneksi tidak mendukung properti dinamis tetapi aktivitas alur dapat menggunakan konten dinamis untuk objek koneksi | Untuk solusi berbasis Arsitektur Berbasis Metadata yang mengandalkan koneksi berparameter, parameterisasi objek koneksi di Fabric. |
| Parameter Global | Parameter seluruh dunia | Perpustakaan Variabel Fabric | Pola implementasi dan jenis data yang berbeda, meskipun kami memiliki panduan migrasi. |
| Aktivitas HDInsight | Lima aktivitas terpisah (Apache Hive, Pig, MapReduce, Spark, Streaming) | Aktivitas tunggal HDInsight | Anda hanya memerlukan satu jenis aktivitas saat mengonversi, tetapi semua fungsionalitas didukung. |
| Identitas | Identitas yang Dikelola | Identitas Ruang Kerja Fabric | Model identitas yang berbeda memerlukan beberapa perencanaan untuk melakukan perubahan. |
| Key Vault | Integrasi matang dengan semua jenis autentikasi | Integrasi terbatas melalui Referensi Fabric Key Vault | Bandingkan sumber dan autentikasi Key Vault yang saat ini didukung dengan konfigurasi yang ada. |
| Eksekusi alur | Menjalankan aktivitas pipeline | Memanggil aktivitas Pipeline dengan jenis koneksi FabricDataPipeline | Nama aktivitas dan persyaratan koneksi berubah saat mengonversi. |
| Scheduling | Satu pemicu untuk banyak pipeline atau banyak pemicu untuk setiap pipeline dengan manajemen terpusat | Satu jadwal per alur atau banyak jadwal per alur tanpa penggunaan kembali jadwal dan tanpa hub pusat | Fabric saat ini memerlukan manajemen jadwal per pipa. |
Jalur migrasi
Jalur migrasi bergantung pada aset ADF Anda dan paritas fiturnya. Opsinya meliputi:
- Elemen Azure Data Factory di Fabric untuk memastikan kelangsungan. - Tampilan langsung instans Azure Data Factory Anda yang ada dalam Fabric, memungkinkan migrasi dan pengujian bertahap. Ini juga merupakan langkah pertama yang baik sebelum menggunakan alat konversi atau replatforming.
- Gunakan alat konversi PowerShell untuk memigrasikan alur dengan paritas tinggi. - Mengotomatiskan migrasi alur, aktivitas, dan parameter dalam skala besar. Ideal untuk pola standar seperti Salin, Pencarian, dan Prosedur Tersimpan.
- Migrasi manual untuk lingkungan yang kompleks - Membangun kembali alur di Fabric untuk memanfaatkan fitur baru dan mengoptimalkan performa. Ini diperlukan untuk alur dengan paritas rendah atau logika kustom, tetapi juga merupakan kesempatan untuk memodernisasi arsitektur Anda.
Item Azure Data Factory di ruang kerja Fabric Anda
Menambahkan ADF yang ada ke ruang kerja Fabric memberi Anda visibilitas dan tata kelola langsung saat Anda bermigrasi secara bertahap. Ini ideal untuk penemuan, penetapan kepemilikan, dan pengujian berdampingan karena tim dapat melihat alur, mengaturnya di bawah ruang kerja Fabric, dan merencanakan cutover per domain. Gunakan item Azure Data Factory untuk membuat katalog apa yang ada, memprioritaskan alur bernilai tertinggi/berisiko terendah terlebih dahulu, dan menetapkan konvensi (penamaan, folder, penggunaan kembali koneksi) yang dapat diikuti oleh skrip konversi dan alat mitra Anda secara konsisten.
Penyatuan ke dalam Fabric dicapai melalui jenis item Azure Data Factory: Bawa Azure Data Factory Anda ke Fabric.
Menggunakan alat peningkatan PowerShell
Microsoft menawarkan utilitas migrasi ADF-ke-Fabric dalam modul Azure PowerShell. Saat menggunakan modul, Anda dapat menerjemahkan subset besar ADF JSON (alur, aktivitas, parameter) ke dalam definisi Fabric-native, memberi Anda titik awal yang cepat. Perkirakan cakupan yang kuat untuk pola Salin/Pencarian/Prosedur Tersimpan dan alur kontrol, dengan tindak lanjut manual untuk kasus tepi (konektor kustom, ekspresi kompleks, konstruksi aliran data tertentu). Perlakukan keluaran skrip sebagai perancah: jalankan dalam mode batch, lakukan pemeriksaan gaya kode dan lint dengan tegas, kemudian pasang koneksi dan perbaiki ketidakcocokan atribut properti apa pun. Buat ini menjadi eksekusi CI yang dapat diulang sehingga Anda dapat melakukan iterasi saat belajar, alih-alih mengedit setiap alur dengan tangan.
Untuk panduan lengkap, lihat migrasi PowerShell. Untuk tutorial terperinci dengan contoh, lihat tutorial migrasi PowerShell.
Migrasi manual
Migrasi manual diperlukan untuk alur kompleks dengan paritas rendah, tetapi juga merupakan kesempatan untuk memodernisasi arsitektur Anda dan mengadopsi fitur terintegrasi Fabric. Jalur ini membutuhkan perencanaan dan pengembangan yang lebih di muka tetapi dapat menghasilkan manfaat jangka panjang dalam pemeliharaan, performa, dan biaya.
Untuk bermigrasi secara efektif, ikuti langkah-langkah berikut:
- Penilaian dan inventaris: Katalog semua aset ADF, termasuk alur, himpunan data, layanan tertaut, dan runtime integrasi. Mengidentifikasi dependensi dan pola penggunaan.
- Mengidentifikasi duplikat dan item yang tidak digunakan: Bersihkan item yang tidak digunakan atau berlebihan di ADF untuk menyederhanakan migrasi dan lingkungan integrasi data Anda.
- Identifikasi kesenjangan: Gunakan alat penilaian migrasi dan tinjau paritas konektor dan paritas aktivitas untuk mengidentifikasi kesenjangan antara alur ADF dan alur Fabric Anda, dan rencanakan alternatif.
- Tinjau fitur baru: Gunakan panduan keputusan pergerakan data dan panduan keputusan integrasi data kami untuk memutuskan alat Fabric mana yang paling sesuai dengan kebutuhan Anda.
- Rencana: Tinjau praktik terbaik migrasi untuk mempertimbangkan setiap item Anda, dan panduan untuk memanfaatkan sepenuhnya kemampuan Fabric yang telah ditingkatkan.
- Jika Anda menggunakan parameter global di ADF, rencanakan untuk memigrasikannya ke pustaka variabel Fabric. Lihat Mengonversi Parameter Global ADF ke Pustaka Variabel Fabric untuk langkah-langkah terperinci.
- Transisi ADF: Pertimbangkan untuk menambahkan item Azure Data Factory di Microsoft Fabric sebagai langkah pertama dalam migrasi, memungkinkan transisi bertahap dalam satu platform.
- Prioritaskan: Peringkatkan alur Anda berdasarkan dampak bisnis, kompleksitas, dan kemudahan migrasi.
- Mengotomatiskan di mana Anda dapat: Untuk semua alur kompleksitas rendah, pertimbangkan untuk menggunakan alat peningkatan PowerShell untuk mengotomatiskan beberapa migrasi.
-
Pertimbangkan alat: Gunakan alat ini untuk mempermudah rekreasi:
- Gunakan templat Fabric sebagai titik awal untuk jalur dengan skenario integrasi data umum.
- Menggunakan parameterisasi untuk membuat alur yang dapat digunakan kembali
- Menggunakan Copilot di Fabric Data Factory untuk membantu pembuatan alur
- Menggunakan alur penyebaran untuk CI/CD dan kontrol versi
-
Migrasi manual: Untuk skenario yang tidak didukung oleh metode migrasi lain, bangun kembali di Fabric:
- Membuat ulang koneksi: Menyiapkan Koneksi di Fabric untuk menggantikan Layanan Tertaut di ADF
- Membuat ulang aktivitas: Siapkan aktivitas Anda di pipeline Anda, mengganti aktivitas yang tidak didukung dengan alternatif Fabric atau menggunakan aktivitas Invoke pipeline
- Menjadwalkan dan mengatur pemicu: Membangun kembali jadwal dan pemicu peristiwa di Fabric agar sesuai dengan jadwal ADF Anda
- Uji secara menyeluruh: Memvalidasi alur yang dimigrasikan terhadap output yang diharapkan, tolok ukur performa, dan persyaratan kepatuhan.
Contoh skenario migrasi
Berpindah dari ADF ke Fabric dapat melibatkan strategi yang berbeda tergantung pada kasus penggunaan Anda. Bagian ini menguraikan jalur dan pertimbangan migrasi umum untuk membantu Anda merencanakan secara efektif.
- Skenario 1: Alur dan aliran data ADF
- Skenario 2: ADF dengan CDC, SSIS, dan Airflow
- Skenario 3: Migrasi PowerShell
- Skenario 4: Item ADF di ruang kerja Fabric
Skenario 1: Alur dan aliran data ADF
Modernisasi lingkungan ETL Anda dengan memindahkan alur dan aliran data ke Fabric. Rencanakan untuk elemen-elemen ini:
- Buat Ulang Layanan Tertaut sebagai Koneksi
- Membuat ulang parameter global sebagai pustaka variabel
- Tentukan properti kumpulan data dalam baris dalam aktivitas alur kerja
- Ganti SHIR (runtime integrasi yang dihost sendiri) dengan OPDG (gateway data lokal) serta IR VNet dengan Gateway Data Jaringan Virtual.
- Membangun kembali aktivitas ADF yang tidak didukung menggunakan alternatif Fabric atau aktivitas Panggil alur. Aktivitas yang tidak didukung meliputi:
- Data Lake Analytics (U-SQL), layanan Azure yang tidak digunakan lagi
- Aktivitas validasi yang dapat dibangun kembali menggunakan aktivitas Mendapatkan Metadata, perulangan alur, dan aktivitas jika.
- Power Query, yang sepenuhnya diintegrasikan ke dalam Fabric sebagai aliran data tempat kode M dapat digunakan kembali
- Aktivitas Notebook, Jar, dan Python dapat diganti dengan aktivitas Databricks di Fabric
- Aktivitas Hive, Pig, MapReduce, Spark, dan Streaming dapat digantikan oleh aktivitas HDInsight dalam Fabric.
Sebagai contoh, berikut adalah halaman konfigurasi himpunan data ADF, dengan jalur file dan pengaturan kompresinya:
Dan berikut adalah aktivitas Penyalinan untuk Data Factory di Fabric, di mana kompresi dan jalur file disertakan langsung dalam aktivitas.
Skenario 2: ADF dengan CDC, SSIS, dan Airflow
Buat ulang CDC sebagai Salin item pekerjaan . Untuk Airflow, salin DAG-DAG Anda ke penawaran Apache Airflow dari Fabric. Jalankan paket SSIS menggunakan alur ADF dan panggil dari Fabric.
Skenario 3: Migrasi PowerShell
Gunakan modul PowerShell Microsoft.FabricPipelineUpgrade untuk memigrasikan alur Azure Data Factory Anda ke Fabric. Pendekatan ini berfungsi dengan baik untuk mengotomatiskan migrasi alur, aktivitas, dan parameter dalam skala besar. Modul PowerShell menerjemahkan subset besar ADF JSON ke dalam definisi Fabric-native, menyediakan titik awal yang cepat untuk migrasi.
Untuk panduan terperinci, lihat tutorial migrasi PowerShell.
Skenario 4: Item ADF di ruang kerja Fabric
Anda dapat menambahkan seluruh pabrik ADF di ruang kerja Fabric sebagai item asli. Ini memungkinkan Anda mengelola pabrik ADF bersama artefak Fabric dalam antarmuka yang sama. UI ADF tetap dapat diakses sepenuhnya, memungkinkan Anda memantau, mengelola, dan mengedit item pabrik ADF Anda langsung dari ruang kerja Fabric. Namun, eksekusi alur, aktivitas, dan runtime integrasi masih terjadi dalam sumber daya Azure Anda.
Fitur ini berguna untuk organisasi yang bertransisi ke Fabric, karena memberikan pandangan terpadu tentang sumber daya ADF dan Fabric, menyederhanakan manajemen dan perencanaan untuk migrasi.
Untuk informasi selengkapnya, lihat Membawa Azure Data Factory Anda ke Fabric.