Fase 4: Migrasi keamanan dan tata kelola

Artikel ini adalah Fase 4 dari 4 dalam seri praktik terbaik migrasi Azure Synapse Spark ke Microsoft Fabric.

Gunakan artikel ini dalam tahap akhir migrasi Anda untuk memvalidasi beban kerja, menyelaraskan kontrol keamanan dan tata kelola, dan merencanakan cutover produksi Anda. Artikel ini menyediakan panduan tentang pemetaan keamanan dan pendekatan berbasis daftar periksa untuk validasi, pengoptimalan, dan kesiapan transisi.

Dalam artikel ini, Anda akan mempelajari cara:

  • Peta RBAC Synapse dan pola jaringan ke ruang kerja Fabric, OneLake, dan kontrol jaringan terkelola.
  • Sambungkan kembali alur kerja tata kelola, termasuk integrasi dan pelabelan Microsoft Purview.
  • Gunakan daftar periksa migrasi fase demi fase untuk memvalidasi, mengoptimalkan, dan menjalankan peralihan.
  • Rencanakan penonaktifan sumber daya Synapse Spark lama setelah peralihan berhasil.

Kontrol akses

  • Peran RBAC Synapse (Administrator Synapse, Administrator Synapse SQL, Administrator Synapse Spark, dan lainnya) memetakan ke peran ruang kerja Fabric (Admin, Anggota, Kontributor, Penampil). model Fabric lebih sederhana dengan empat peran.

  • Layanan terkait Synapse digantikan oleh Koneksi Fabric. Buat Koneksi melalui Pengaturan >Kelola koneksi dan gateway. Untuk kode notebook, ganti referensi layanan tertaut dengan autentikasi berbasis Key Vault atau konfigurasi titik akhir langsung.

  • OneLake RBAC menyediakan kontrol akses data yang rinci di tingkat folder dan tabel di dalam lakehouse.

Keamanan jaringan

  • Synapse Managed VNet dan Private Endpoints dipetakan ke Fabric Managed VNet + Managed Private Endpoints. Perhatikan bahwa Fabric Spark memerlukan Kumpulan Kustom (bukan Kumpulan Pemula) untuk dukungan Titik Akhir Privat Terkelola.

  • Integration Runtimes (SHIR) yang dihost sendiri di Synapse digantikan oleh Gateway Data Lokal (OPDG) di Fabric. VNet IR digantikan oleh VNet Data Gateway.

Governance

Jika Anda menggunakan Azure Purview dengan Synapse, Fabric menyediakan integrasi Microsoft Purview asli untuk katalog data, silsilah data, label sensitivitas, dan kebijakan akses. Sambungkan kembali akun Purview Anda untuk memindai ruang kerja Fabric.

Daftar periksa migrasi

Gunakan daftar periksa ini untuk melacak kemajuan melalui migrasi Spark Anda. Setiap fase dirancang berdasarkan fase sebelumnya. Selesaikan semua item dalam fase sebelum berpindah ke fase berikutnya.

Fase 1: Menilai dan merencanakan

Untuk panduan perencanaan, pola migrasi, dan perbandingan fitur, lihat Fase 1: Strategi dan perencanaan migrasi.

  • 1.1 Inventaris aset Spark Lengkap: Kumpulan Spark, notebook, definisi pekerjaan Spark, database lake, database Hive Metastore (HMS), dan layanan tertaut yang digunakan dalam notebook.
  • 1.2 Tinjau perbedaan fitur antara Synapse dan Fabric. Penghalang tanda: Beban kerja GPU, API katalog yang tidak didukung, ketergantungan layanan yang terhubung.
  • 1.3 Jalankan audit pra-refaktor: cari semua buku catatan untuk pola khusus Synapse (spark.synapse.linkedService, getSecretWithLS, TokenLibrary, synapsesql). Hitung laptop yang terpengaruh.
  • 1.4 Periksa kompatibilitas pustaka: jalankan pip freeze pada kumpulan Synapse, bandingkan dengan pustaka bawaan Fabric Runtime 1.3. Daftar pustaka yang perlu diinstal sebelumnya.
  • 1.5 Membuat ruang kerja Fabric, memprovisikan kapasitas, dan membuat item target Lakehouse.
  • 1.6 Ekspor konfigurasi kumpulan Spark, perpustakaan kustom, dan properti Spark dari Synapse Studio.

Fase 2: Menyiapkan koneksi dan kredensial

Untuk panduan penggantian dan autentikasi layanan tertaut, lihat Fase 2: Migrasi beban kerja Spark dan Fase 4: Migrasi keamanan dan tata kelola.

  • 2.1 Menginventarasikan semua layanan tertaut Synapse yang digunakan oleh notebook, definisi kerja Spark, dan akses data Lakehouse.
  • 2.2 Membuat Koneksi Fabric untuk sumber data eksternal (ADLS Gen2, Cosmos DB, Azure SQL, dan lainnya) melalui Pengatelan Ruang Kerja>Kelola koneksi dan gateway.
  • 2.3 Menyiapkan Azure Key Vault dengan rahasia untuk sumber data yang memerlukan autentikasi berbasis kunci (kunci Cosmos DB, kunci akun penyimpanan, token Kusto). Konfigurasikan kebijakan akses untuk identitas ruang kerja Fabric Anda.
  • 2.4 Mengonfigurasi kredensial prinsipal layanan untuk akses OAuth ADLS Gen2: mendaftarkan aplikasi di Entra ID, menetapkan peran Kontributor Data Blob Penyimpanan, dan mencatat ID klien, rahasia, serta penyewa.
  • 2.5 Verifikasi konektivitas: uji pengambilan rahasia dari Key Vault dan akses ke akun penyimpanan dari buku catatan Fabric sebelum melanjutkan.

Fase 3: Migrasi data dan Hive Metastore

Untuk panduan migrasi metadata dan akses data lake, lihat Fase 3: Metastore Apache Hive dan migrasi data serta Memigrasikan data dan alur.

  • 3.1 Membuat pintasan OneLake ke jalur ADLS Gen2 yang ada (zero-copy, pendekatan yang lebih disukai). Gunakan Koneksi Fabric yang disiapkan di Fase 2 untuk akses melalui data gateway.
  • 3.2 Untuk file non-Delta (CSV, JSON, Parquet), buat pintasan di bagian File. Jika salinan data diperlukan, gunakan AzCopy atau Aktivitas Salin Data Factory.
  • 3.3 Memigrasikan objek Apache Hive Metastore. Pilih satu pendekatan: Opsi A: Jalankan notebook ekspor/impor HMS untuk seluruh metadata. Opsi B: Gunakan Migration Assistant untuk tabel Delta Lake DB + ekspor/impor HMS hanya untuk non-Delta.
  • 3.4 Validasi pendaftaran otomatis tabel Delta di Lakehouse explorer.
  • 3.5 Pastikan semua tabel dan pintasan yang diimpor terlihat di Lakehouse explorer dan dapat diakses dari notebook.

Fase 4: Memigrasikan beban kerja Spark

Untuk migrasi item, pemfaktoran ulang kode, dan panduan penyiapan lingkungan, lihat Fase 2: Migrasi beban kerja Spark.

  • 4.1 Jalankan Spark Migration Assistant untuk notebook, definisi kerja Spark, kumpulan Spark, dan database lake. Tinjau laporan migrasi untuk kesalahan dan peringatan.
  • 4.2 Buat Lingkungan Fabric dengan target runtime Spark, konfigurasi kumpulan, dan pustaka khusus. Pustaka yang hilang pra-instal diidentifikasi di Fase 1.
  • 4.3 Refactor notebook dan kode SJD: ganti dengan , perbarui jalur file ke jalur OneLake , ganti referensi layanan tertaut dengan Sambungan Key Vault atau Fabric, dan ganti metode yang tidak didukung dengan setara Spark SQL.
  • 4.4 Konektor refaktor: Kusto/ADX — ganti layanan tertaut dengan accessToken melalui getToken(). Cosmos DB — ganti getSecretWithLS dengan getSecret(akvName, secret).
  • 4.5 Ganti penyedia token Synapse (LinkedServiceBasedTokenProvider, TokenLibrary) dengan OAuth ClientCredsTokenProvider standar melalui spark.conf.set().
  • 4.6 Menguji secara menyeluruh notebook yang direfaktor dan SJD terhadap data (Fase 3) serta koneksi (Fase 2).

Fase 5: Keamanan, tata kelola, dan jaringan

Untuk panduan keamanan, tata kelola, dan pemetaan jaringan, lihat Fase 4: Migrasi keamanan dan tata kelola.

  • 5.1 Memetakan peran RBAC Synapse ke peran ruang kerja Fabric (Admin, Anggota, Kontributor, Penampil).
  • 5.2 Mengonfigurasi OneLake RBAC untuk kontrol akses data terperinci di tingkat folder dan tabel.
  • 5.3 Mengonfigurasi VNet Terkelola dan Titik Akhir Privat Terkelola untuk beban kerja Spark yang mengakses sumber data privat (memerlukan Kumpulan Kustom).
  • 5.4 Ganti SHIR dengan On-premises Data Gateway (OPDG), dan ganti VNet IR dengan VNet Data Gateway.
  • 5.5 Sambungkan ulang Microsoft Purview untuk label tata kelola, silsilah data, dan sensitivitas.
  • 5.6 Meninjau dan menerapkan label sensitivitas ke item Lakehouse yang dimigrasikan sesuai kebutuhan.

Fase 6: Mengoptimalkan dan memvalidasi

Untuk panduan validasi pascamigrasi dan kesiapan produksi, lihat Fase 4: Migrasi keamanan dan tata kelola.

  • 6.1 Aktifkan Native Execution Engine (NEE) untuk peningkatan performa Spark pada beban kerja Parquet dan Delta.
  • 6.2 Jalankan OPTIMIZE VORDER pada tabel yang digunakan oleh Power BI Direct Lake atau titik akhir analitik SQL.
  • 6.3 Jalankan beban kerja paralel dan bandingkan hasil pekerjaan Spark dan performa antara Synapse dan Fabric.
  • 6.4 Mengalihkan alur konsumen hilir, termasuk laporan Power BI, API, dan aplikasi, ke titik akhir Fabric.
  • 6.5 Memantau beban kerja Fabric menggunakan Monitoring Hub dan Diagnostic Emitter selama setidaknya satu hingga dua minggu.

Fase 7: Transisi

Untuk validasi akhir, pengalihan rute hilir, dan panduan cutover, lihat Fase 4: Migrasi keamanan dan tata kelola.

  • 7.1 Konfirmasi semua notebook, SJD, dan pekerjaan Spark yang dimigrasikan berhasil berjalan di Fabric.
  • 7.2 Memverifikasi integritas data melalui jumlah baris, validasi skema, dan perbandingan hasil kueri.
  • 7.3 Komunikasikan cutover kepada pemangku kepentingan dan perbarui dokumentasi.
  • 7.4 Menghentikan penggunaan kumpulan Synapse Spark, notebook, dan sumber daya terkait.

Note

Setelah migrasi, pertimbangkan untuk menyiapkan integrasi Git Fabric untuk notebook yang dimigrasikan dan definisi kerja Spark Anda. Fabric mendukung integrasi Git Azure DevOps untuk kontrol sumber, percabangan, dan alur penyebaran. Tidak seperti Synapse (yang menggunakan templat ARM untuk CI/CD), Fabric menggunakan model berbasis ruang kerja tempat Anda menyambungkan ruang kerja ke cabang Git dan menyinkronkan item secara langsung. Notebook, Lingkungan, dan SJD semuanya mendukung integrasi Git. Siapkan alur penyebaran (Dev → Test → Prod) untuk mengelola promosi di seluruh lingkungan.

Konten terkait

  • Last updated on