Tingkatkan alur Azure Data Factory Anda ke Fabric

Alur Azure Data Factory Anda sudah mendukung alur kerja penting. Artikel ini memandu Anda dalam memigrasikan pipeline Azure Data Factory (ADF) ke Fabric Data Factory menggunakan fitur migrasi bawaan. Anda dapat memulai dari ruang kerja Azure Data Factory atau Fabric.

Pengalaman migrasi membantu Anda:

  • Menilai kesiapan pipeline langsung di Azure Data Factory.
  • Pahami kesenjangan kompatibilitas di tingkat alur dan aktivitas.
  • Migrasikan pipeline yang didukung ke ruang kerja Fabric.
  • Rencanakan langkah berikutnya untuk item yang memerlukan pembaruan atau yang akan segera hadir.

Pendekatan yang mengutamakan penilaian ini memungkinkan Anda meningkatkan pipeline sesuai kecepatan Anda sendiri dan memvalidasi hasil sebelum mengalihkan beban kerja produksi.

Cara memulai migrasi

Anda dapat mulai memigrasikan alur Azure Data Factory Anda dari salah satu dari dua titik masuk:

Titik masuk Paling cocok untuk Langkah awal
Dari Azure Data Factory Menjalankan penilaian penuh tentang kesiapan alur sebelum melakukan migrasi Option A: Mulai dari Azure Data Factory
Dari ruang kerja Fabric Langsung memasang dan bermigrasi ketika Anda sudah tahu pabrik mana yang akan dibawa Option B: Mulai dari Fabric

Kedua jalur bertemu di Langkah 4: Memigrasikan alur.

Prasyarat

Sebelum memulai, pastikan Anda memiliki:

  • Instans Azure Data Factory yang sudah ada dengan pipeline.
  • Akses ke tenant Microsoft Fabric.
  • Ruang kerja Fabric di penyewa Microsoft Entra ID yang sama dengan instans Azure Data Factory.
  • Jika memulai dari Fabric: Ruang kerja Fabric di mana Anda memiliki minimal izin Kontributor.

Opsi A: Mulai dari Azure Data Factory

Langkah 1: Menilai alur Anda untuk migrasi

Untuk menjalankan penilaian migrasi, di kanvas penulisan Azure Data Factory Anda, pilih Migrasi ke Fabric (Pratinjau)>Mulai (pratinjau) untuk mengevaluasi alur dan aktivitas untuk kesiapan migrasi.

Screenshot memperlihatkan cara menjalankan Azure Data Factory migration assessment.

Langkah 2: Meninjau dan memahami hasil penilaian

Baik pabrik maupun alur individual dikategorikan dengan status kesiapan:

Kedudukan Meaning
Siap Siap untuk migrasi
Perlu ditinjau Memerlukan perubahan sebelum migrasi, seperti parameter global
Segera datang Dukungan tengah berlangsung; migrasi kemudian
Tidak kompatibel Tidak ada yang setara dalam Fabric; pembaruan kode diperlukan

Untuk detail tentang cara menelusuri detail tingkat aktivitas, lihat Apa arti status penilaian.

Anda juga dapat mengekspor hasil penilaian Anda ke file CSV untuk mendukung tinjauan offline dan perencanaan remediasi.

Screenshot memperlihatkan hasil penilaian migrasi Azure Data Factory.

Langkah 3: Pilih ruang kerja Fabric dan pasang Azure Data Factory Anda

Setelah Anda meninjau penilaian, pilih Baru untuk memasang Azure Data Factory Anda ke ruang kerja Fabric dan melanjutkan alur migrasi di Fabric. Pemasangan memungkinkan Anda mereferensikan instans Azure Data Factory (ADF) di dalam ruang kerja Fabric tanpa memigrasikan, menyalin, atau mengubah lingkungan Azure Data Factory.

Screenshot memperlihatkan pilihan ruang kerja Fabric untuk memasang Azure Data Factory ke Fabric.

Setelah pemasangan selesai, pilih Lanjutkan di Fabric untuk melanjutkan langkah-langkah migrasi.

Tangkapan layar menunjukkan opsi Lanjutkan di Fabric setelah pemasangan selesai dengan sukses.

Lanjutkan ke Langkah 4: Memigrasikan alur.

Opsi B: Mulai dari Fabric

  1. Buka ruang kerja Fabric Anda.
  2. Di toolbar ruang kerja, pilih Migrasi.
  3. Di panel Migrasikan ke Fabric, di bawah Migrasikan ke buku catatan, kumpulan kerja Spark, dan lainnya, pilih Data Factory.

Screenshot memperlihatkan panel Migrasi ke Fabric di ruang kerja Fabric dengan opsi Data Factory disorot.

  1. Pilih instans Azure Data Factory yang ingin Anda pasang ke ruang kerja ini.

Screenshot memperlihatkan proses pemasangan dari titik akhir migrasi di Fabric.

  1. Setelah pemasangan selesai, lanjutkan dengan Langkah 4: Migrasikan alur.

Nota

Memulai dari Fabric akan melewati penilaian in-ADF (Langkah 1–2). Untuk meninjau kesiapan alur sebelum bermigrasi, mulai dari Step 1: Menilai alur Anda untuk migrasi di Azure Data Factory sebagai gantinya.

Langkah 4: Memigrasikan alur

Lanjutkan migrasi dari pengalaman Fabric dengan memilih Migrasikan ke Fabric (Pratinjau).

Screenshot memperlihatkan opsi Migrasi ke Fabric di Fabric.

Pilih alur yang ingin Anda migrasikan.

Cuplikan layar memperlihatkan opsi untuk memilih alur untuk migrasi.

Langkah 5: Memetakan layanan tertaut ke koneksi Fabric dan menyelesaikan migrasi

Pilih Lihat koneksi untuk memetakan layanan tertaut Azure Data Factory ke koneksi Fabric lalu pilih Konfirmasi.

Pengalaman migrasi mencoba membuat koneksi secara otomatis untuk metode autentikasi yang dapat dipetakan dengan aman dan andal dari Azure Data Factory ke model identitas dan keamanan terkelola Fabric tanpa memerlukan infrastruktur atau konfigurasi jaringan yang dikelola pelanggan.

Screenshot memperlihatkan pemetaan layanan tertaut ke koneksi Fabric.

Koneksi yang dibuat secara otomatis selama migrasi (hanya didukung)

Konektor autentikasi pada Azure Data Factory autentikasi Jaringan
Azure Blob Storage Kunci akun; Tanda tangan akses bersama (SAS); Perwakilan layanan; Identitas terkelola yang ditetapkan sistem Kunci akun; Tanda tangan akses bersama (SAS); Perwakilan layanan; Identitas ruang kerja (identitas terkelola yang ditetapkan sistem)
Azure Data Lake Storage Gen2 Kunci akun; Tanda tangan akses bersama (SAS); Perwakilan layanan; Identitas terkelola yang ditetapkan sistem Kunci akun; Tanda tangan akses bersama (SAS); Perwakilan layanan; Identitas ruang kerja (identitas terkelola yang ditetapkan sistem)
SQL Server Autentikasi dasar (autentikasi SQL); Perwakilan layanan; Identitas terkelola yang ditetapkan sistem Autentikasi dasar; Perwakilan layanan; Identitas ruang kerja (identitas terkelola yang ditetapkan sistem)
Azure SQL Database Autentikasi dasar (autentikasi SQL); Perwakilan layanan; Identitas terkelola yang ditetapkan sistem Autentikasi dasar; Perwakilan layanan; Identitas ruang kerja (identitas terkelola yang ditetapkan sistem)
Azure Data Explorer (Kusto) Perwakilan layanan; Identitas terkelola yang ditetapkan sistem Prinsipal layanan; Identitas ruang kerja (identitas terkelola yang ditetapkan sistem)
Azure Cosmos DB for NoSQL Kunci akun Kunci akun
Azure Cosmos DB for MongoDB Otentikasi dasar Otentikasi dasar
Azure SQL Managed Instance Kunci akses akun; Prinsipal layanan Autentikasi dasar; Perwakilan layanan
Azure Database for PostgreSQL Otentikasi dasar Otentikasi dasar
Azure Database for MySQL Otentikasi dasar Otentikasi dasar
MySQL Otentikasi dasar Otentikasi dasar
PostgreSQL Otentikasi dasar Otentikasi dasar

Untuk koneksi lain, pilih koneksi Fabric yang ada atau buat koneksi baru dengan menggunakan pengalaman Dapatkan Data modern atau dari pengaturan ruang kerja. Lalu pilih Konfirmasi.

Alur yang dipilih bermigrasi ke folder yang diawali dengan pabrik sumber name_Migration agar mudah diidentifikasi dan untuk menghindari tabrakan nama. Pesan konfirmasi muncul saat migrasi berhasil diselesaikan.

Screenshot memperlihatkan keberhasilan penyelesaian migrasi dari Azure Data Factory ke Fabric.

Setelah migrasi selesai, buka ruang kerja Fabric Anda untuk meninjau alur yang dimigrasikan. Setiap alur dibuat di bawah ruang kerja dan diawali dengan nama pabrik sumbernya. Anda dapat membuka setiap alur untuk meninjau dan memvalidasinya sebelum melanjutkan konfigurasi atau pengujian lebih lanjut.

Cuplikan layar memperlihatkan folder migrasi dengan alur yang dimigrasikan untuk validasi.

Nota

Jika Anda tidak memetakan koneksi apa pun selama langkah ini, pipeline masih akan bermigrasi. Aktivitas dalam alur tersebut dinonaktifkan, dan Anda dapat mengonfigurasinya nanti di Fabric.

Setelah migrasi selesai, validasi alur dalam pengalaman Fabric Data Factory.

Perilaku migrasi

  • Pipeline bermigrasi ke ruang kerja Fabric Data Factory.
  • Nama pipeline harus unik di dalam sebuah ruang kerja.
  • Jika alur dengan nama yang sama sudah ada, alat migrasi melewati alur tersebut.
  • Untuk memastikan keunikan, alur yang dimigrasikan menggunakan format penamaan berikut: <Source factory or workspace name>_<Pipeline name>.
  • Alur migrasi mencakup langkah pemasangan yang memungkinkan Anda melihat struktur pabrik yang ada di Fabric sebelum migrasi.

Validasi pascamigrasi

Setelah migrasi, selesaikan tugas berikut:

  1. Validasi semua koneksi dan kredensial.
  2. Buat ulang parameter global sebagai pustaka variabel.
  3. Mengaktifkan kembali dan mengonfigurasi pemicu (dinonaktifkan secara default).
  4. Jalankan pengujian end-to-end untuk mengonfirmasi perilaku alur.
  5. Validasi migrasi di lingkungan nonproduksi sebelum Anda memigrasikan beban kerja produksi.

Apa yang berada di luar cakupan

Item berikut ini tidak didukung dalam pengalaman migrasi berbasis UX hari ini. Alur yang menggunakan fitur ini memerlukan pendekatan desain ulang atau migrasi alternatif.

Kategori Item di luar lingkup Rincian
Runtime integrasi Runtime integrasi yang dihost sendiri (SHIR) Runtime integrasi yang dihost sendiri tidak dapat dimigrasikan. Ganti dengan gateway data lokal (OPDG) Fabric.
Runtime integrasi jaringan virtual terkelola (IR jaringan virtual terkelola) / Runtime integrasi yang diinjeksi ke jaringan virtual (VNet - Jaringan virtual) Fabric tidak mendukung migrasi runtime integrasi jaringan virtual terkelola. Gateway jaringan virtual Fabric menggunakan model yang berbeda dan memerlukan konfigurasi ulang.
Lingkungan Eksekusi Integrasi Layanan Integrasi SQL Server (Lingkungan Eksekusi Integrasi SSIS) Migrasi infrastruktur, termasuk runtime integrasi dari Layanan Integrasi SQL Server, tidak didukung.
jenis beban kerja Azure Data Factory mengubah pengambilan data (CDC) Beban kerja change data capture berada di luar cakupan dan tidak akan dipindahkan.
Aset Apache Airflow Orkestrasi berbasis grafik siklik terarah (DAG) dari Apache Airflow tidak dapat dimigrasikan ke Fabric.
Bahasa Kueri Terstruktur Terpadu (U-SQL) / Azure Data Lake Analytics Layanan yang tidak digunakan lagi dan tidak didukung di Fabric.
Beban kerja refresh lintas cloud atau Azure Machine Learning Dukungan identitas ruang kerja sedang dikembangkan. Beban kerja ini tidak bermigrasi.
Konektor Konektor ekor panjang (misalnya, SAP ERP Central Component (ECC), SAP Business Warehouse (BW), Multidimensional Expressions (MDX), SAP Core Data Services (CDS)) Fabric tidak memiliki konektor yang setara. Desain ulang diperlukan.
Konektor perangkat lunak sebagai layanan pemasaran dan keuangan (HubSpot, Google Ads, QuickBooks, Shopify, Xero) Tidak didukung hari ini.
Pemicu dan orkestrasi Pemicu kejadian kustom Pemicu peristiwa kustom tidak dapat dimigrasikan.
Pemicu peristiwa penyimpanan Dukungan akan segera hadir.
Pemicu jendela tumbling Dikenal sebagai penjadwalan berbasis interval di Fabric. Beban kerja marka air dan isi ulang harus dirancang ulang.
Pemicu pembentukan rantai atau ketergantungan Semantik pemicu rantai dan ketergantungan belum didukung.
Keamanan dan autentikasi Konfigurasi tingkat lanjut (kunci yang dikelola pelanggan (CMK), token ganda, alur kredensial identitas terfederasi (FIC)) Identitas ruang kerja atau model autentikasi prinsipal layanan yang tidak didukung tidak bermigrasi.
Autentikasi berbasis sertifikat (Aktivitas web) Tidak didukung dan memerlukan desain ulang.
Dukungan identitas terkelola yang ditetapkan pengguna (UAMI) Gunakan identitas ruang kerja (WI) sebagai solusinya.
Parameterisasi dan metadata Parameter global Dukungan akan segera hadir. Buat ulang dengan menggunakan pustaka variabel Fabric.
Layanan tertaut dinamis (koneksi dengan parameter) Tidak didukung. Setiap permutasi harus berupa koneksi terpisah dan tidak dapat bermigrasi.
Alur berbasis metadata Layanan tertaut yang sangat dinamis atau pola berbasis himpunan data tidak dapat bermigrasi.
Aktivitas dan komputasi Azure Synapse Spark job definition (SJD) atau notebook Didukung sebagian. Memerlukan desain ulang ke dalam buku catatan Fabric atau pekerjaan Spark.
Pemetaan aliran data (MDF) Didukung (pratinjau). Aliran data pemetaan dikonversi ke transformasi MDF di Dataflow Gen2. Lihat Meningkatkan alur Aliran Data Pemetaan Azure Data Factory ke Fabric.
Aktivitas web, webhook, atau HTTP dengan autentikasi atau header kustom Skenario autentikasi kompleks harus dibangun kembali secara manual.
Pengaturan lingkungan kumpulan notebook Tidak didukung. Migrasi diblokir.
Dukungan identitas ruang kerja aktivitas batch atau kustom Tidak adanya dukungan untuk identitas ruang kerja digital menghambat migrasi pada aktivitas-aktivitas ini.
Aktivitas salin memasukkan atau memperbarui ke tabel Lakehouse Tidak didukung. Memerlukan penyalinan ke penahapan dan operasi MERGE buku catatan.

FAQ

Apakah penilaian mengubah pabrik saya?

Tidak. Penilaian hanya dapat dibaca. Ini memindai konfigurasi pabrik Anda dan menampilkan temuan di panel samping tanpa memodifikasi alur, aktivitas, atau pengaturan. Anda dapat menjalankannya dengan aman untuk memahami dampak migrasi sebelum mengambil tindakan apa pun.

Bisakah saya menjalankan ulang penilaian atau migrasi setelah membuat perubahan?

Ya. Anda dapat menjalankan ulang penilaian kapan saja selama validasi. Jika Anda menjalankan ulang migrasi untuk alur yang sama, Anda harus terlebih dahulu menghapus alur yang sebelumnya dimigrasikan di Fabric, karena nama alur harus unik dalam ruang kerja.

Apakah pemasangan Azure Data Factory memigrasikan pipa alur kerja saya?

Tidak. Pemasangan hanyalah rekam jepret Azure Data Factory Anda yang ada di ruang kerja Fabric. Tidak ada alur yang dimigrasikan hingga Anda secara eksplisit memulai migrasi dengan memilih tombol Migrate ke Fabric (Pratinjau) dari pabrik data yang dipasang di Fabric.

Akankah pemicu bermigrasi secara otomatis?

Pemicu jadwal dimigrasikan secara otomatis tetapi dinonaktifkan setelah migrasi berdasarkan desain. Anda harus mengaktifkannya kembali secara manual di Fabric. Semua pemicu lainnya harus dikonfigurasi ulang dan diaktifkan kembali secara manual setelah Anda memvalidasi alur yang dimigrasikan.

Apakah item yang tidak didukung memblokir seluruh migrasi?

Tidak. Aktivitas yang tidak didukung hanya memengaruhi pipeline yang mengandungnya. Pipeline lain yang didukung dapat bermigrasi secara independen. Penilaian dengan jelas mengidentifikasi alur mana yang memerlukan desain ulang.

Dapatkah saya bermigrasi tanpa memetakan koneksi?

Ya. Alur masih bermigrasi, tetapi aktivitas yang bergantung pada koneksi yang tidak dipetakan dinonaktifkan. Anda harus mengonfigurasi koneksi Fabric yang diperlukan dan mengaktifkan kembali aktivitas tersebut sebelum menjalankan alur.

Dapatkah saya memvalidasi migrasi sebelum memindahkan beban kerja produksi?

Ya. Microsoft merekomendasikan untuk memvalidasi migrasi di lingkungan nonproduksi, mengonfirmasi koneksi, pemicu, dan eksekusi end-to-end sebelum memigrasikan alur produksi.

Mengapa variabel sistem tertentu berperilaku berbeda di Fabric dibandingkan dengan di Azure Data Factory?

Perbedaan ini diharapkan karena platform berkembang secara independen. Anda biasanya dapat mengatasinya dengan penyesuaian kecil selama migrasi. Misalnya, pipeline().TriggerName tersedia di Azure Data Factory tetapi saat ini tidak didukung di Fabric Data Factory. Jika logika alur Anda bergantung pada nama pemicu, gunakan metadata peristiwa pemicu yang didukung atau berikan nama pemicu secara eksplisit sebagai parameter alur sebagai gantinya.