Migračné metódy pre SQL Server na Fabric Data Warehouse

Vzťahuje sa na: ✅ sklad v Microsoft Fabric

Tento článok popisuje metódy migrácie dátových skladov v SQL Server do Microsoft Fabric Data Warehouse.

Prepitné

Pre viac informácií o stratégii a plánovaní pozri Migration planning: SQL Server to Fabric Data Warehouse.

Použite Fabric Migration Assistant for Data Warehouse na automatizovanú migráciu z SQL Server. Zvyšok tohto článku popisuje ďalšie manuálne kroky migrácie.

Nasledujúca tabuľka zhrňuje metódy migrácie dátovej schémy (DDL), databázového kódu (DML) a dát. Každá možnosť je opísaná neskôr v tomto článku.

Možnosť	Metóda	Funkcia	Zručnosť alebo preferencia	Úloha
1	Data Factory	Konverzia schémy Extrakcia údajov Príjem údajov	Pipeline Data Factory	Zjednodušená schéma a migrácia dát. Odporúčané pre tabuľky dimenzií.
2	Data Factory s partíciami	Konverzia schémy Extrakcia údajov Príjem údajov	Pipeline Data Factory	Paralelizovaná migrácia pre veľké faktové tabuľky.
3	Migrácia typu Schema first	Konverzia schémy	Pipeline Data Factory	Najprv migrujte schému, potom extrahujte a prijímajte dáta samostatne pre lepšiu kontrolu nad priepustnosťou.
4	SQL migračné skripty	Konverzia schémy Extrakcia údajov Hodnotenie kódu	T-SQL	Používajte IDE a skripty na detailnú kontrolu migračných úloh.
5	SQL databázové projekty	Konverzia schémy Hodnotenie kódu	SQL projekt	Použite databázový projekt na správu zdrojového kódu, hodnotenie a nasadenie.
6	DBT	Konverzia schémy Konverzia databázového kódu	dbt (databáza)	Opätovne použite existujúci DBT projekt zmenou adaptéra a cieľovej konfigurácie.

Výber vyťaženia pre počiatočnú migráciu

Keď sa rozhodujete, kde začať projekt SQL Server Fabric Data Warehouse migrácie, vyberte si oblasť pracovnej záťaže, kde môžete:

• Dokážte životaschopnosť migrácie na Fabric Data Warehouse rýchlym využitím výhod nového prostredia. Začnite pomaly a jednoducho a pripravte sa na viaceré malé migrácie.
• Dajte svojmu technickému tímu čas získať relevantné skúsenosti s procesmi a nástrojmi, ktoré používajú na migráciu iných pracovných záťaží.
• Vytvorte šablónu pre ďalšie migrácie, ktorá je špecifická pre vaše SQL Server prostredie, nástroje a procesy.

Prepitné

Vytvorte inventár objektov, ktoré je potrebné migrovať, a dokumentujte proces migrácie od začiatku do konca, aby sa mohol opakovať pre iné databázy alebo pracovné záťaže.

Objem dát pri počiatočnej migrácii by mal byť dostatočne veľký na to, aby demonštroval schopnosti a výhody Fabric Data Warehouse, ale zároveň dostatočne malý, aby rýchlo preukázal hodnotu. Typický je rozsah 1 – 10 terabajtov.

Migrácia s Fabric Data Factory

Fabric Data Factory poskytuje low-code rozhranie, ktoré dokáže konvertovať tabuľkové DDL a migrovať dáta zo SQL Server.

Fabric Data Factory môže vykonávať nasledujúce úlohy:

• Konvertujte schému (DDL) na Fabric Data Warehouse syntax.
• Vytvárajte schéma objekty v Fabric Data Warehouse.
• Migrovať dáta na Fabric Data Warehouse.

Možnosť č. 1. Migrácia schémy a dát s Copy Assistant

Táto metóda využíva Data Factory Copy asistenta na pripojenie k zdrojovej SQL Server databáze, konverziu tabuľky DDL na Fabric syntax a kopírovanie dát do Fabric Data Warehouse. Môžete vybrať jednu alebo viac zdrojových tabuliek. Generovaný pipeline používa aktivitu ForEach na paralelné kopírovanie vybraných tabuliek.

Keď konfigurujete kopírovaciu operáciu:

• Použite konektor SQL Server pre zdrojové pripojenie.
• Obmedzte paralelné kópie na úroveň, ktorú zdrojová databáza a sieť dokážu udržať.
• Monitorujte zdrojový CPU, I/O, využitie transakčných záznamov a latenciu produkčnej záťaže počas extrakcie.

Odporúčané použitie

Použite Copy assistant pre jednoduché rozhranie, ktoré konvertuje DDL a prijíma vybrané tabuľky v jednej operácii. Táto metóda je vhodná pre dimenzionálne tabuľky a menšie pracovné zaťaženia.

Pre veľké tabuľky použite rozdelenie na zvýšenie paralelizmu čítania a zápisu.

Možnosť č. 2. Migrácia dát s partíciami

Pre veľké faktové tabuľky použite Copy activity pre každú tabuľku a nakonfigurujte rozdelenie zdroja. Používajte fyzické partície, ak sú k dispozícii, alebo konfigurujte rozdelenie dynamického rozsahu špecifikovaním vhodného číselného alebo dátumového stĺpca a jeho minimálnych a maximálnych hodnôt.

Keď používate partície:

• Vyberte stĺpec partície, ktorý rovnomerne rozdeľuje riadky.
• Vyhnite sa vytváraniu viac súbežných zdrojových dotazov, než aké SQL Server dokáže spracovať bez ovplyvnenia produkčných pracovných záťaží.
• Otestujte rozsah partície a nastavenia paralelného kopírovania voči reprezentatívnej záťaži.
• Postupne zvyšujte paralelizmus pri monitorovaní zdroja a cieľa.

Odporúčané použitie

Použite rozdelenie v Data Factory pre veľké faktové tabuľky, keď paralelná extrakcia zvyšuje priepustnosť. Veľkosť počtu dávok a rozlíšení podľa zdrojov zdrojovej databázy a kapacity siete.

Možnosť č. 3. Migrácia typu Schema first

Pre väčšie databázy oddelte migráciu schémy od migrácie dát:

1. Prevádzajte a vytvárajte tabuľkové schémy v Fabric Data Warehouse.
2. Extract source data into Azure Data Lake Storage (ADLS) Gen2.
3. Použite Data Factory alebo príkaz COPY INTO na vloženie stupňovaných dát do Fabric Data Warehouse.

Oddelenie týchto fáz vám umožní samostatne ladiť extrakciu a príjem.

Migrácia schémy s Data Factory

Môžete použiť Fabric pipeline na migráciu schém tabuliek z SQL Server do Fabric Data Warehouse bez kopírovania riadkov.

Konfigurácia parametrov pipeline

Vytvorte parameter, SchemaName ktorý určuje, ktoré schémy sa majú migrovať. Použite dbo ako predvolený alebo zadajte zoznam oddelený čiarkami, napríklad 'dbo','sales'.

Nastavte vyhľadávaciu aktivitu

Vytvorte vyhľadávaciu aktivitu a nastavte jej spojenie so zdrojovou databázou SQL Server. Na karte Nastavenia :

• Nastavte typ ukladacieho priestoru údajov na externý.
• Vyberte zdrojové SQL Server pripojenie.
• Nastaviť Použiť dotaz na dotaz.
• Pridajte dynamický dotaz, ktorý vráti zdrojovú schému a názvy tabuliek.

Použite nasledujúci výraz na vytvorenie dotazu:

@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Nastavte aktivitu ForEach

V záložke Nastavenia pre aktivitu ForEach:

• Vypni sekvenčný režim , aby iterácie mohli bežať súčasne.
• Nastavte batch count na hodnotu, ktorú zdrojová databáza dokáže udržať. Začni s konzervatívnou hodnotou a otestuj ju.
• Nastavte položky na @activity('Get List of Source Objects').output.value.

Konfigurujte aktivitu Copy activity

Do aktivity ForEach pridajte aktivitu Copy activity. Na karte Zdroj :

• Nastavte typ ukladacieho priestoru údajov na externý.
• Vyberte zdrojové SQL Server pripojenie.
• Nastaviť Použiť dotaz na dotaz.
• Nastavte Query tak, @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName) aby sa migrovali iba metadáta tabuliek.

Na karte Cieľ :

• Nastavte typ ukladacieho priestoru údajov na pracovný priestor.
• Nastavte typ dátového úložiska Workspace na Data Warehouse a vyberte cieľový sklad.
• Nastavte cieľovú schému na @item().SchemaName.
• Nastavte cieľovú tabuľku na @item().TableName.

Po spustení pipeline overte, že Fabric Data Warehouse obsahuje každú vybranú tabuľku s očakávanou schémou.

Migrácia pomocou SQL skriptov

Používajte migračné skripty T-SQL a PowerShell, keď chcete detailnú kontrolu nad konverziou schémy, extrakciou dát a hodnotením kódu.

Migračné skripty môžu:

• Konvertujte schému (DDL) na Fabric Data Warehouse syntax.
• Vytvárajte schéma objekty v Fabric Data Warehouse.
• Extrahujte dáta zo SQL Server do ADLS Gen2.
• Označte nepodporovanú T-SQL syntax v uložených procedúrach, funkciách a zobrazeniach.

Tím Microsoft Fabric CAT poskytuje ukážky migračného kódu v úložisku migrácie tkaniny.

Odporúčané použitie

Používajte skripty, keď poznáte T-SQL, preferujete integrované vývojové prostredie a potrebujete kontrolovať jednotlivé migračné úlohy. Použite COPY INTO alebo Data Factory na importovanie extrahovaných dát do Fabric Data Warehouse.

Migrácia pomocou projektov databázy SQL

Fabric Data Warehouse je podporovaný v rozšírení SQL Database Projects pre Visual Studio Code.

Projekt SQL databázy poskytuje možnosti správy zdrojového kódu, testovania databázy, validácie schémy a nasadzovania. Môže:

• Konvertujte schému (DDL) na Fabric Data Warehouse syntax.
• Vytvárajte schéma objekty v Fabric Data Warehouse.
• Zhodnoťte nepodporovanú T-SQL syntax v uložených procedúrach, funkciách a zobrazeniach.

Na migráciu dát použite Data Factory na priamu kopíráciu zo SQL Server, alebo extrahujte dáta do ADLS Gen2 a importujte ich do COPY INTO Data Factory.

Pre návod na používanie SQL databázových projektov s migračnými skriptmi si pozrite repozitár migrácie fabric.

Viac informácií nájdete v článku Začnite s rozšírením SQL Database Projects a Build a database project z príkazového riadku.

Migrácia s DBT

Ak váš SQL Server data warehouse používa dbt, môžete použiť dbt adaptér na Fabric Data Warehouse na konverziu schémy a databázového kódu zmenou cieľového profilu a adaptéra.

DBT framework generuje DDL a DML skripty z modelových súborov. Dáta musíte migrovať samostatne pomocou Data Factory alebo inej možnosti migrácie dát uvedených v tomto článku.

Na začiatok si pozrite Návod: Nastaviť DBT pre Fabric Data Warehouse.

Vstup dát do Fabric Data Warehouse

Pre fázované dáta použite COPY INTO alebo Fabric Data Factory na importovanie súborov z ADLS Gen2 do Fabric Data Warehouse. Zvážte nasledujúce odporúčania:

• Extrahujte veľké tabuľky paralelne, keď má zdrojová databáza a sieť dostatočnú kapacitu.
• Uprednostňujte súbory Parquet na zníženie využitia úložiska a siete a zlepšenie efektivity prijímania.
• Načítajte viacero cieľových tabuliek súčasne, keď vaša kapacita Fabric zvládne túto záťaž.
• Monitorujte extrakciu zdroja aj kapacitu Fabric, aby ste našli optimálny stupeň paralelizmu.

Súvisiaci obsah

• Asistent migrácie prostriedkov pre dátový sklad
• Vytvorenie skladu v službe Microsoft Fabric
• Fabric Data Warehouse výkonnostné smernice
• Bezpečnosť pre dátové sklady v Microsoft Fabric
• Microsoft Fabric prehľad migrácie