Metode migrasi untuk SQL Server ke Fabric Data Warehouse

Diterapkan pada:✅ Gudang di Microsoft Fabric

Artikel ini menjelaskan metode migrasi data warehouse dari SQL Server ke Microsoft Fabric Data Warehouse.

Tip

Untuk informasi lebih lanjut tentang strategi dan perencanaan, lihat Perencanaan Migrasi: SQL Server ke Fabric Data Warehouse.

Gunakan Fabric Migration Assistant untuk Data Warehouse untuk pengalaman migrasi otomatis dari SQL Server. Sisa artikel ini menjelaskan lebih banyak langkah migrasi manual.

Tabel berikut merangkum metode untuk migrasi skema data (DDL), kode basis data (DML), dan data. Setiap opsi akan dijelaskan lebih lanjut dalam artikel ini.

Option Metode Apa fungsinya Keterampilan atau preferensi Scenario
1 Data Factory Konversi skema
Ekstraksi data
Penyerapan data		 Pipeline Data Factory Skema dan migrasi data yang disederhanakan. Direkomendasikan untuk tabel dimensi.
2 Data Factory dengan pemartisian Konversi skema
Ekstraksi data
Penyerapan data		 Pipeline Data Factory Migrasi paralel untuk tabel fakta besar.
3 Migrasi berbasis skema Konversi skema Pipeline Data Factory Migrasikan skema terlebih dahulu, lalu ekstrak dan masukkan data secara terpisah untuk kontrol throughput yang lebih baik.
4 Skrip migrasi SQL Konversi skema
Ekstraksi data
Penilaian kode		 T-SQL Gunakan IDE dan skrip untuk kontrol granular atas tugas migrasi.
5 Proyek database SQL Konversi skema
Penilaian kode		 Proyek SQL Gunakan proyek basis data untuk kontrol sumber, penilaian, dan penerapan.
6 dbt Konversi skema
Konversi kode basis data		 dbt Gunakan kembali proyek dbt yang sudah ada dengan mengubah adaptor dan konfigurasi target.

Pilih beban kerja untuk migrasi awal

Saat Anda memutuskan di mana memulai proyek migrasi SQL Server ke Fabric Data Warehouse, pilih area beban kerja di mana Anda dapat:

  • Buktikan kelayakan migrasi ke Fabric Data Warehouse dengan cepat memberikan manfaat dari lingkungan baru. Mulailah dari yang kecil dan sederhana, lalu bersiaplah untuk beberapa migrasi kecil.
  • Berikan waktu kepada staf teknis Anda untuk mendapatkan pengalaman relevan dengan proses dan alat yang mereka gunakan untuk memigrasi beban kerja lain.
  • Buat template untuk migrasi lebih lanjut yang spesifik untuk lingkungan, alat, dan proses SQL Server Anda.

Tip

Buat inventaris objek yang perlu dimigrasikan, dan dokumentasikan proses migrasi dari awal hingga akhir agar dapat diulang untuk database atau beban kerja lain.

Volume data dalam migrasi awal harus cukup besar untuk menunjukkan kemampuan dan manfaat Fabric Data Warehouse, tetapi cukup kecil untuk menunjukkan nilai dengan cepat. Ukuran dalam rentang 1-10 terabyte merupakan ukuran umum.

Migrasi dengan Fabric Data Factory

Fabric Data Factory menyediakan antarmuka low-code yang dapat mengonversi DDL tabel dan memigrasi data dari SQL Server.

Fabric Data Factory dapat melakukan tugas-tugas berikut:

  • Konversi skema (DDL) ke sintaks Fabric Data Warehouse.
  • Buat objek skema di Fabric Data Warehouse.
  • Migrasi data ke Fabric Data Warehouse.

Opsi 1. Migrasi skema dan data dengan asisten Copy

Metode ini menggunakan asisten Data Factory Copy untuk terhubung ke database sumber SQL Server, mengonversi DDL tabel ke sintaks Fabric, dan menyalin data ke Fabric Data Warehouse. Anda dapat memilih satu atau lebih tabel sumber. Pipeline yang dihasilkan menggunakan aktivitas ForEach untuk menyalin tabel yang dipilih secara paralel.

Saat Anda mengonfigurasi operasi penyalinan:

  • Gunakan konektor SQL Server untuk koneksi sumber.
  • Batasi salinan paralel hingga tingkat yang dapat dipertahankan oleh basis data sumber dan jaringan.
  • Pantau sumber CPU, I/O, penggunaan log transaksi, dan latensi beban kerja produksi selama ekstraksi.

Gunakan Copy assistant untuk antarmuka sederhana yang mengonversi DDL dan menginput tabel terpilih dalam satu operasi. Metode ini cocok untuk tabel dimensi dan beban kerja yang lebih kecil.

Untuk tabel besar, gunakan partisi untuk meningkatkan paralelisme baca dan tulis.

Opsi 2. Migrasi data dengan partisi

Untuk tabel fakta besar, gunakan Copy activity untuk setiap tabel dan konfigurasikan partisi sumber. Gunakan partisi fisik jika tersedia, atau konfigurasikan partisi rentang dinamis dengan menentukan kolom numerik atau tanggal yang sesuai beserta nilai minimum dan maksimumnya.

Tangkapan layar sumber pipeline dengan opsi partisi rentang dinamis.

Saat Anda menggunakan partisi:

  • Pilih kolom partisi yang mendistribusikan baris secara merata.
  • Hindari membuat lebih banyak kueri sumber secara bersamaan daripada yang dapat diproses SQL Server tanpa memengaruhi beban kerja produksi.
  • Uji rentang partisi dan pengaturan salinan paralel terhadap beban kerja representatif.
  • Tingkatkan paralelisme secara bertahap sambil memantau sumber dan tujuan.

Gunakan pemartisian Data Factory untuk tabel fakta berukuran besar jika ekstraksi paralel meningkatkan laju pemrosesan. Sesuaikan jumlah batch dan rentang partisi sesuai dengan sumber daya basis data sumber dan kapasitas jaringan Anda.

Opsi 3. Migrasi skema pertama

Untuk basis data yang lebih besar, pisahkan migrasi skema dari migrasi data:

  1. Konversi dan buat skema tabel dalam Fabric Data Warehouse.
  2. Ekstrak data sumber ke dalam Azure Data Lake Storage (ADLS) Gen2.
  3. Gunakan Data Factory atau perintah COPY INTO untuk menginput data bertahap ke dalam Fabric Data Warehouse.

Memisahkan fase-fase ini memungkinkan Anda menyetel ekstraksi dan konsumsi secara mandiri.

Migrasi skema dengan Data Factory

Anda dapat menggunakan pipeline Fabric untuk memigrasikan skema tabel dari SQL Server ke Fabric Data Warehouse tanpa menyalin baris.

Tangkapan layar dari Fabric Data Factory yang menunjukkan aktivitas Lookup yang terhubung ke aktivitas ForEach yang memigrasikan DDL.

Konfigurasikan parameter pipeline

Buat parameter SchemaName yang menentukan skema mana yang akan dimigrasikan. Gunakan dbo sebagai default, atau masukkan daftar yang dipisahkan dengan koma seperti 'dbo','sales'.

Tangkapan layar dari Data Factory yang menunjukkan parameter pipeline SchemaName.

Konfigurasikan aktivitas Lookup

Buat aktivitas Pencarian, dan atur koneksinya ke database SQL Server sumber. Di tab Pengaturan:

  • Atur Jenis penyimpanan data ke Eksternal.
  • Pilih koneksi SQL Server sumber.
  • Setel Gunakan kueri menjadi Kueri.
  • Tambahkan kueri dinamis yang mengembalikan skema sumber dan nama tabel.

Gunakan ekspresi berikut untuk membuat kueri:

@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Tangkapan layar dari Data Factory yang menunjukkan kueri dinamis di aktivitas Pencarian.

Konfigurasikan aktivitas ForEach

Di tab Pengaturan untuk aktivitas ForEach:

  • Nonaktifkan Sequential agar iterasi dapat berjalan secara bersamaan.
  • Atur jumlah batch ke nilai yang dapat dipertahankan oleh database sumber. Mulailah dengan nilai konservatif dan ujilah.
  • Atur item ke @activity('Get List of Source Objects').output.value.

Tangkapan layar yang menunjukkan pengaturan untuk aktivitas ForEach.

Konfigurasi aktivitas Salin

Di dalam aktivitas ForEach, tambahkan aktivitas Salin. Di tab Sumber :

  • Atur Jenis penyimpanan data ke Eksternal.
  • Pilih koneksi SQL Server sumber.
  • Atur Gunakan kueri ke Kueri.
  • Atur Query ke @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName) agar hanya metadata tabel yang dimigrasikan.

Tangkapan layar dari Data Factory yang menunjukkan pengaturan sumber untuk Copy activity.

Di tab Tujuan :

  • Atur Jenis penyimpanan-data menjadi Ruang Kerja.
  • Atur tipe penyimpanan data Workspace ke Data Warehouse, dan pilih gudang tujuan.
  • Atur skema tujuan ke @item().SchemaName.
  • Atur tabel tujuan ke @item().TableName.

Tangkapan layar dari Data Factory yang menunjukkan pengaturan tujuan untuk Copy activity.

Setelah Anda menjalankan pipeline, pastikan Fabric Data Warehouse berisi setiap tabel yang dipilih dengan skema yang diharapkan.

Migrasi menggunakan skrip SQL

Gunakan skrip migrasi T-SQL dan PowerShell ketika Anda ingin kontrol terperinci atas konversi skema, ekstraksi data, dan penilaian kode.

Skrip migrasi dapat:

  • Konversi skema (DDL) ke sintaks Fabric Data Warehouse.
  • Buat objek skema di Fabric Data Warehouse.
  • Ekstrak data dari SQL Server ke ADLS Gen2.
  • Tandai sintaks T-SQL yang tidak didukung dalam prosedur tersimpan, fungsi, dan tampilan.

Tim CAT Microsoft Fabric menyediakan sampel kode migrasi di repositori fabric-migration.

Gunakan skrip jika Anda sudah familiar dengan T-SQL, lebih memilih lingkungan pengembangan terintegrasi, dan perlu mengontrol tugas migrasi secara individual. Gunakan COPY INTO atau Data Factory untuk memasukkan data yang diekstrak ke dalam Fabric Data Warehouse.

Bermigrasi menggunakan proyek database SQL

Fabric Data Warehouse didukung dalam ekstensi SQL Database Projects untuk Visual Studio Code.

Proyek basis data SQL menyediakan kontrol sumber, pengujian basis data, validasi skema, dan kemampuan penyebaran. Ini dapat:

  • Konversi skema (DDL) ke sintaks Fabric Data Warehouse.
  • Buat objek skema di Fabric Data Warehouse.
  • Evaluasi sintaks T-SQL yang tidak didukung pada prosedur tersimpan, fungsi, dan tampilan.

Untuk migrasi data, gunakan Data Factory untuk menyalin langsung dari SQL Server, atau ekstrak data ke ADLS Gen2 dan masukkan ke COPY INTO Data Factory.

Untuk panduan langkah demi langkah tentang penggunaan proyek basis data SQL dengan skrip migrasi, lihat fabric-migration repository.

Untuk informasi lebih lanjut, lihat Mulai dengan ekstensi SQL Database Projects dan Bangun proyek database dari baris perintah.

Migrasi dengan dbt

Jika SQL Server data warehouse Anda menggunakan dbt, Anda dapat menggunakan adaptor dbt untuk Fabric Data Warehouse mengonversi kode skema dan basis data dengan mengubah profil dan adaptor target.

Kerangka kerja dbt menghasilkan skrip DDL dan DML dari file model. Anda harus memigrasikan data secara terpisah menggunakan Data Factory atau opsi migrasi data lain dalam artikel ini.

Untuk memulai, lihat Tutorial: Mengatur dbt untuk Fabric Data Warehouse.

Pengambilan data ke dalam Fabric Data Warehouse

Untuk data bertahap, gunakan COPY INTO atau Fabric Data Factory untuk menginput file dari ADLS Gen2 ke dalam Fabric Data Warehouse. Pertimbangkan panduan berikut:

  • Ekstrak tabel besar secara paralel ketika basis data sumber dan jaringan memiliki kapasitas yang cukup.
  • Pilih file Parquet untuk mengurangi penggunaan penyimpanan dan jaringan serta meningkatkan efisiensi peneliman.
  • Muat beberapa tabel tujuan secara bersamaan ketika kapasitas Fabric Anda dapat mendukung beban kerja tersebut.
  • Pantau baik ekstraksi sumber maupun kapasitas Fabric untuk menemukan tingkat paralelisme yang optimal.

Konten terkait

  • Terakhir diperbarui pada