Perencanaan migrasi: Kumpulan SQL khusus Azure Synapse Analytics ke Fabric Data Warehouse

Berlaku untuk:✅ Warehouse in Microsoft Fabric

Artikel ini merinci strategi, pertimbangan, dan metode migrasi pergudangan data di kumpulan SQL khusus Azure Synapse Analytics ke Gudang Data Microsoft Fabric.

Petunjuk

Pengalaman otomatisasi untuk migrasi dari kumpulan SQL khusus Azure Synapse Analytics tersedia menggunakan Fabric Migration Assistant untuk Gudang Data. Artikel ini berisi informasi strategis dan perencanaan penting.

Pengenalan migrasi

Saat Microsoft memperkenalkan Microsoft Fabric, solusi analitik SaaS all-in-one untuk perusahaan yang menawarkan serangkaian layanan komprehensif, termasuk Data Factory, Rekayasa Data, Pergudangan Data, Ilmu Data, Inteligensi Real Time, dan Power BI.

Artikel ini berfokus pada opsi untuk migrasi skema (DDL), migrasi kode database (DML), dan migrasi data. Microsoft menawarkan beberapa opsi, dan di sini kami membahas setiap opsi secara rinci dan memberikan panduan tentang opsi mana yang harus Anda pertimbangkan untuk skenario Anda. Artikel ini menggunakan tolok ukur industri TPC-DS untuk ilustrasi dan pengujian performa. Hasil aktual Anda mungkin bervariasi tergantung pada banyak faktor termasuk jenis data, jenis data, lebar tabel, latensi sumber data, dll.

Penyiapan untuk migrasi

Rencanakan proyek migrasi Anda dengan hati-hati sebelum memulai dan pastikan bahwa skema, kode, dan data Anda kompatibel dengan Fabric Data Warehouse. Ada beberapa batasan yang perlu Anda pertimbangkan. Kuantifikasi pekerjaan pemfaktoran ulang item yang tidak kompatibel, serta sumber daya lain yang diperlukan sebelum pengiriman migrasi.

Tujuan utama perencanaan lainnya adalah menyesuaikan desain Anda untuk memastikan bahwa solusi Anda memanfaatkan sepenuhnya performa kueri tinggi yang dirancang untuk disediakan oleh Fabric Data Warehouse. Merancang gudang data untuk skala memperkenalkan pola desain yang unik, sehingga pendekatan tradisional tidak selalu yang terbaik. Tinjau panduan performa, karena meskipun beberapa penyesuaian desain dapat dilakukan setelah migrasi, membuat perubahan sebelumnya dalam proses akan menghemat waktu dan upaya Anda. Migrasi dari satu teknologi/lingkungan ke lingkungan lainnya selalu merupakan upaya utama.

Diagram berikut menggambarkan Siklus Hidup Migrasi yang mencantumkan pilar utama yang terdiri dari Menilai dan Mengevaluasi, Merencanakan dan Merancang, Memigrasikan, Memantau dan Mengatur, Mengoptimalkan dan Memodernisasi pilar dengan tugas terkait di setiap pilar untuk merencanakan dan mempersiapkan kelancaran migrasi.

Diagram Siklus Hidup Migrasi.

Panduan untuk migrasi

Pertimbangkan aktivitas berikut sebagai runbook perencanaan untuk migrasi Anda dari kumpulan SQL khusus Synapse ke Fabric Data Warehouse.

  1. Menilai dan Mengevaluasi
    1. Identifikasi tujuan dan motivasi. Menetapkan hasil yang diinginkan dengan jelas.
    2. Penemuan, penilaian, dan garis besar arsitektur yang ada.
    3. Identifikasi pemangku kepentingan dan sponsor utama.
    4. Tentukan cakupan apa yang akan dimigrasikan.
      1. Mulai dari yang kecil dan sederhana, bersiaplah untuk beberapa migrasi kecil.
      2. Mulai pantau dan dokumentasikan semua tahapan proses.
      3. Bangun inventaris data dan proses untuk migrasi.
      4. Tentukan perubahan model data (jika ada).
      5. Siapkan Ruang Kerja Fabric.
    5. Apa skillset/preferensi Anda?
      1. Otomatiskan jika memungkinkan.
      2. Gunakan alat dan fitur bawaan Azure untuk mengurangi upaya migrasi.
    6. Latih staf lebih awal di platform baru.
      1. Identifikasi kebutuhan peningkatan keterampilan dan sumber daya pelatihan, termasuk Microsoft Learn.
  2. Rencana dan Desain
    1. Tentukan arsitektur yang diinginkan.
    2. Pilih metode/alat untuk migrasi guna menyelesaikan tugas berikut:
      1. Ekstraksi data dari sumber.
      2. Konversi skema (DDL), termasuk metadata untuk tabel dan tampilan
      3. Penyerapan data, termasuk data historis.
        1. Jika perlu, rekayasa ulang model data menggunakan performa dan skalabilitas platform baru.
      4. Migrasi kode basis data (DML).
        1. Migrasi atau memfaktorkan ulang prosedur yang disimpan dan proses bisnis.
    3. Daftar dan ekstraksi fitur keamanan serta izin objek dari sumber tersebut.
    4. Rancang dan siapkan untuk mengganti/memodifikasi proses ETL/ELT untuk pemrosesan data secara bertahap.
      1. Buat proses ETL/ELT paralel ke lingkungan baru.
    5. Siapkan rencana migrasi terperinci.
      1. Petakan status saat ini ke status baru yang diinginkan.
  3. Migrasikan
    1. Lakukan skema, data, migrasi kode.
      1. Ekstraksi data dari sumber.
      2. Konversi Skema (DDL)
      3. Penyerapan data
      4. Migrasi kode basis data (DML).
    2. Jika perlu, skalakan sumber daya kumpulan SQL khusus untuk sementara waktu guna membantu kecepatan migrasi.
    3. Terapkan keamanan dan izin.
    4. Migrasi proses ETL/ELT yang ada untuk beban inkremental.
      1. Migrasi atau refaktorisasi proses pemuatan inkremental ETL/ELT.
      2. Menguji dan membandingkan proses beban kenaikan paralel.
    5. Sesuaikan rencana migrasi detail seperlunya.
  4. Memantau dan Mengatur
    1. Jalankan secara paralel, bandingkan dengan lingkungan sumber Anda.
      1. Menguji aplikasi, platform kecerdasan bisnis, dan alat kuesioner.
      2. Tolok ukur dan optimalkan performa kueri.
      3. Memantau dan mengelola biaya, keamanan, dan performa.
    2. Tolok ukur dan penilaian tata kelola.
  5. Mengoptimalkan dan Memodernisasi
    1. Saat bisnis stabil, transisikan aplikasi dan platform pelaporan utama ke Fabric.
      1. Tingkatkan/turunkan sumber daya saat beban kerja bergeser dari Azure Synapse Analytics ke Microsoft Fabric.
      2. Bangun templat yang dapat diulang dari pengalaman yang diperoleh untuk migrasi di masa mendatang. Iterate.
      3. Mengidentifikasi peluang untuk pengoptimalan biaya, keamanan, skalabilitas, dan keunggulan operasional
      4. Identifikasi peluang untuk memodernisasi aset data Anda dengan fitur terbaru dari Fabric.

'Angkat dan geser' atau modernisasi?

Secara umum, ada dua jenis skenario migrasi, terlepas dari tujuan dan cakupan migrasi yang direncanakan: angkat dan geser apa adanya, atau pendekatan bertahap yang menggabungkan perubahan arsitektur dan kode.

Angkat dan pindahkan

Dalam migrasi "lift and shift", model data yang ada dipindahkan dengan sedikit perubahan ke Fabric Data Warehouse yang baru. Pendekatan ini meminimalkan risiko dan waktu migrasi dengan mengurangi pekerjaan baru yang diperlukan untuk mewujudkan manfaat migrasi.

Migrasi angkat dan pindah cocok untuk skenario-skenario berikut:

  • Anda memiliki lingkungan yang sudah ada dengan sejumlah kecil gudang untuk dipindahkan.
  • Anda memiliki lingkungan yang ada dengan data yang sudah berada dalam skema bintang atau serpihan salju yang dirancang dengan baik.
  • Anda berada di bawah tekanan waktu dan biaya untuk pindah ke Fabric Data Warehouse.

Singkatnya, pendekatan ini berfungsi dengan baik untuk beban kerja yang dioptimalkan dengan lingkungan kumpulan SQL khusus Azure Synapse Anda saat ini, dan karenanya tidak memerlukan perubahan besar dalam Fabric.

Memodernkan dengan pendekatan bertahap melalui perubahan arsitektur

Jika gudang data lama telah berevolusi dalam jangka waktu yang lama, Anda mungkin perlu merekayasa ulang untuk mempertahankan tingkat performa yang diperlukan.

Anda mungkin juga ingin mendesain ulang arsitektur untuk memanfaatkan mesin dan fitur baru yang tersedia di Fabric Workspace.

Perbedaan desain: Kumpulan SQL khusus Synapse dan Fabric Data Warehouse

Pertimbangkan perbedaan pergudangan data Azure Synapse dan Microsoft Fabric berikut, membandingkan kumpulan SQL khusus dengan Gudang Data Fabric.

Pertimbangan Tabel

Saat Anda memigrasikan tabel di antara lingkungan yang berbeda, biasanya hanya data mentah dan metadata yang bermigrasi secara fisik. Elemen database lain dari sistem sumber, seperti indeks, biasanya tidak dimigrasikan karena mungkin tidak perlu atau diimplementasikan secara berbeda di lingkungan baru.

Pengoptimalan performa di lingkungan sumber, seperti indeks, menunjukkan di mana Anda dapat menambahkan pengoptimalan performa di lingkungan baru, tetapi sekarang Fabric menanganinya secara otomatis untuk Anda.

Pertimbangan T-SQL

Ada beberapa perbedaan sintaks Data Manipulation Language (DML) yang perlu diperhatikan. Lihat area permukaan T-SQL di Fabric Data Warehouse. Pertimbangkan juga penilaian kode saat memilih metode migrasi untuk kode database (DML).

Bergantung pada perbedaan paritas pada saat migrasi, Anda mungkin perlu menulis ulang bagian dari kode DML T-SQL Anda.

Perbedaan pemetaan jenis data

Ada beberapa perbedaan jenis data di Fabric Data Warehouse. Untuk informasi selengkapnya, lihat Jenis data di Microsoft Fabric.

Tabel berikut ini menyediakan pemetaan jenis data yang didukung dari kumpulan SQL khusus Synapse ke Fabric Data Warehouse.

Kumpulan SQL khusus Synapse Gudang Data Fabric
uang desimal(19,4)
smallmoney desimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar Char
nvarchar varchar
tinyint smallint
biner varbinary
datetimeoffset* datetime2

* Datetime2 tidak menyimpan informasi offset zona waktu tambahan yang disimpan dalam datetimeoffset. Karena jenis data datetimeoffset saat ini tidak didukung di Fabric Data Warehouse, data offset zona waktu perlu diekstrak ke dalam kolom terpisah.

Petunjuk

Siap untuk bermigrasi?

Untuk memulai dengan proses migrasi otomatis, lihat Asisten Migrasi Fabric untuk Gudang Data.

Untuk langkah dan detail migrasi manual lainnya, lihat Metode migrasi untuk kumpulan SQL khusus Azure Synapse Analytics ke Fabric Data Warehouse.

Konten terkait

  • Last updated on