Gambaran umum migrasi Azure Synapse Spark ke Fabric

Gunakan artikel ini sebagai titik awal untuk memigrasikan beban kerja Spark Azure Synapse ke Microsoft Fabric. Ini membantu Anda memutuskan panduan mana yang akan digunakan, apa yang dapat dimigrasikan secara langsung, dan di mana refaktor atau validasi manual masih diperlukan.

Fabric Data Engineering mendukung lakehouse, notebook, environment, definisi pekerjaan Spark, dan item pipeline. Sebagian besar migrasi Synapse Spark melibatkan beberapa kombinasi migrasi item, perubahan akses data, migrasi metadata, pemfaktoran ulang kode, dan validasi pascamigrasi.

Sebelum Anda bermigrasi

Sebelum memulai, konfirmasikan bahwa Fabric Data Engineering adalah tujuan yang tepat untuk beban kerja Anda. Tinjau runtime Spark, model keamanan, model kumpulan, model lingkungan, dan pola akses data yang bergantung pada implementasi Synapse Anda saat ini.

Mulailah dengan artikel ini:

Jika Anda memigrasikan ruang kerja Synapse yang sudah ada, rencanakan untuk membuat atau menggunakan ruang kerja Fabric yang sudah ada sebagai target migrasi. Artikel ini tidak mencakup provisi ruang kerja penuh atau migrasi beban kerja non-Spark.

Apa yang dapat Anda migrasikan?

Migrasi Synapse-to-Fabric biasanya mencakup beberapa alur kerja.

Area migrasi Cakupan khas Panduan utama
Perencanaan dan penilaian Inventarisir kumpulan Spark, notebook, definisi tugas Spark, database lake, layanan tertaut, dan pemblokir Fase 1: Strategi dan perencanaan migrasi
Item, pemfaktoran ulang kode, kumpulan, konfigurasi, dan pustaka Notebook, Definisi Pekerjaan Spark, Kumpulan Spark, pemetaan database lake, mssparkutils, layanan tertaut, jalur file, API katalog, autentikasi konektor, lingkungan, kumpulan kustom, properti Spark, kompatibilitas pustaka Fase 2: Migrasi beban kerja Spark
Metastore Apache Hive dan metadata danau Database, tabel, partisi, tabel terkelola vs. eksternal Fase 3: Hive Metastore dan migrasi data
Akses data dan alur Pintasan OneLake, akses ADLS Gen2, aktivitas salin, migrasi pipeline Memigrasikan data dan alur
Keamanan, validasi, dan peralihan Peran, koneksi, tata kelola, verifikasi, perencanaan transisi Fase 4: Migrasi keamanan dan tata kelola

Pilih jalur migrasi Anda

Gunakan jalur yang sesuai dengan tujuan Anda.

  • Anda memerlukan rencana migrasi end-to-end. Mulailah dengan seri praktik terbaik 4 fase. Ini adalah titik masuk terbaik untuk sebagian besar migrasi produksi.
  • Anda ingin memindahkan item Spark yang didukung dengan cepat. Mulailah dengan Spark Migration Assistant lalu gunakan artikel refaktor dan validasi untuk menutup celah.
  • Anda hanya perlu bantuan dengan satu area. Gunakan artikel yang khusus untuk tugas terkait notebook, Definisi Tugas Spark, kumpulan sumber daya, pustaka, metadata Metastore Apache Hive, atau migrasi data/alur.

Bagi sebagian besar tim, cara tercepat untuk mendekati migrasi Synapse Spark adalah:

  1. Tinjau Compare Fabric dan Azure Synapse Spark: Perbedaan Utama.
  2. Baca Fase 1: Strategi dan perencanaan migrasi.
  3. Jalankan Spark Synapse ke Fabric Spark Migration Assistant jika berlaku.
  4. Refaktor notebook, pekerjaan Spark, kumpulan, dan pustaka menggunakan Fase 2: Migrasi beban kerja Spark.
  5. Validasi akses data, metadata, keamanan, dan kesiapan pemotongan menggunakan artikel praktik terbaik yang tersisa.

Cuplikan layar memperlihatkan skenario migrasi.

Migrasi dari Synapse Spark ke Fabric biasanya merupakan proses salin dan adaptasi daripada pemindahan langsung secara in situ. Anda dapat memigrasikan banyak aset dengan cepat, tetapi Anda masih harus berharap untuk memvalidasi perilaku runtime, mengganti integrasi khusus Synapse, dan menyelaraskan pola keamanan, metadata, dan operasional dengan Fabric.

Seri praktik terbaik

Gunakan serangkaian praktik terbaik untuk jalur migrasi terstruktur dari awal hingga akhir.

Artikel migrasi yang khusus untuk tugas

Jika Anda memerlukan panduan yang ditargetkan untuk tugas migrasi tertentu, gunakan artikel berikut:

Konten terkait

  • Last updated on