Metódy migrácie pre vyhradené fondy SQL služby Azure Synapse Analytics do skladu údajov služby Fabric

Vzťahuje sa na:✅ Warehouse v službe Microsoft Fabric

V tomto článku sa popisujú metódy migrácie skladov údajov v rámci vyhradených fondov SQL služby Azure Synapse Analytics do skladu služby Microsoft Fabric.

Tip

Ďalšie informácie o stratégii a plánovaní migrácie nájdete v téme plánovanie migrácie: Vyhradené fondy SQL služby Azure Synapse Analytics pre sklad údajov služby Fabric.

Automatizované prostredie na migráciu z vyhradených fondov SQL služby Azure Synapse Analytics je k dispozícii pomocou služby Fabric Migration Assistant for Data Warehouse. Zvyšná časť tohto článku obsahuje ďalšie manuálne kroky migrácie.

Táto tabuľka obsahuje súhrn informácií pre schému údajov (DDL), kód databázy (DML) a metódy migrácie údajov. Ďalej rozbalíme jednotlivé scenáre prepojené v stĺpci Option (Možnosť ).

Číslo možnosti	Možnosť	Čo to robí	Skill/Preference	Scenár
1	Data Factory	Konverzia schémy (DDL) Extrahovanie údajov Prijímanie údajov	ADF/kanál	Zjednodušiť všetko v jednej schéme (DDL) a migrácii údajov. Odporúčané pre tabuľky dimenzií.
2	Data Factory s oblasťou	Konverzia schémy (DDL) Extrahovanie údajov Prijímanie údajov	ADF/kanál	Použitie možností rozdelenia na zvýšenie paralelného čítania a zapisovania, ktoré poskytujú desaťnásobok priepustnosti vs. možnosť 1, odporúča sa pre tabuľky faktov.
3	Data Factory s zrýchleným kódom	Konverzia schémy (DDL)	ADF/kanál	Najskôr konvertujte a migrujte schému (DDL), potom použite funkciu CETAS na extrahovanie a extrahovanie údajov COPY/Data Factory do údajov ingestu, aby ste dosiahli optimálny celkový výkon príjmu.
4	Uložené procedúry v zrýchlenom kóde	Konverzia schémy (DDL) Extrahovanie údajov Hodnotenie kódu	T-SQL	Používateľ SQL, ktorý používa prostredie IDE, s väčšou podrobnou kontrolou nad tým, s ktorými úlohami chce pracovať. Na ingestovanie údajov použite službu COPY/Data Factory.
5	Rozšírenie SQL Database Project pre Visual Studio Code	Konverzia schémy (DDL) Extrahovanie údajov Hodnotenie kódu	Projekt SQL	Projekt databázy SQL na nasadenie s integráciou možnosti 4. Na ingestovanie údajov použite službu COPY alebo Data Factory.
6	VYTVORENIE EXTERNEJ TABUĽKY PODĽA VÝBERU (CETAS)	Extrahovanie údajov	T-SQL	Nákladovo efektívne a vysoko výkonné extrahovanie údajov do služby Azure Data Lake Storage (ADLS) Gen2. Na ingestovanie údajov použite službu COPY/Data Factory.
7	Migrácia pomocou databázy	Konverzia schémy (DDL) Konverzia kódu databázy (DML)	dbt (databáza)	Existujúci používatelia dbt môžu použiť adaptér dbt Fabric na konverziu ich DDL a DML. Potom musíte migrovať údaje pomocou iných možností v tejto tabuľke.

Výber vyťaženia pre počiatočnú migráciu

Keď sa rozhodujete, kde začať s vyhradeným fondom SQL služby Synapse na projekte migrácie do skladu služieb Fabric, vyberte oblasť vyťaženia, v ktorej môžete:

• Vďaka rýchlemu poskytovaniu výhod nového prostredia do skladu služieb Fabric preukážte využiteľnosť migrácie do skladu služieb Fabric. Začnite s malou alebo jednoduchou prípravou na niekoľko malých migrácií.
• Umožnite vašim interným technickým zamestnancom získať relevantné skúsenosti s procesmi a nástrojmi, ktoré používajú pri migrácii do iných oblastí.
• Vytvorte šablónu na ďalšie migrácie, ktoré sú špecifické pre zdrojové prostredie Synapse, a nástroje a procesy, ktoré pomôžu.

Tip

Vytvorte súpis objektov, ktoré je potrebné migrovať, a zdokumentujte proces migrácie od začiatku do konca, aby ho bolo možné zopakovať pre iné vyhradené fondy alebo vyťaženia SQL.

Objem migrovaných údajov v počiatočnej migrácii by mal byť dostatočne veľký na to, aby preukázal možnosti a výhody prostredia skladu tkaniny, ale nie príliš veľký na to, aby rýchlo ukázal hodnotu. Typický je rozsah 1 – 10 terabajtov.

Migrácia pomocou služby Fabric Data Factory

V tejto časti si rozoberieme možnosti používania služby Data Factory pre subjekt s minimálnym použitím kódu alebo bez písania kódu, ktorí sú oboznámení so službami Azure Data Factory a Synapse Pipeline. Táto možnosť používateľského rozhrania presunutia myšou poskytuje jednoduchý krok na konverziu DDL a migráciu údajov.

Fabric Data Factory môže vykonávať nasledujúce úlohy:

• Konvertujte syntax schémy (DDL) na Fabric Warehouse.
• Vytvorte schému (DDL) v sklade služby Fabric.
• Migrácia údajov do skladu služby Fabric.

Možnosť č. 1. Migrácia schém/údajov – Kopírovať sprievodcu a Aktivita kopírovania programu ForEach

Táto metóda používa asistenta kopírovania v službe Data Factory na pripojenie k zdroju vyhradenému fondu SQL, konverziu vyhradenej syntaxe DDL fondu SQL do služby Fabric a skopírovanie údajov do skladu služby Fabric. Môžete vybrať jednu alebo viac cieľových tabuliek (pre TPC-DS množinu údajov existuje 22 tabuliek). Generuje ForEach slučky cez zoznam tabuliek vybratých v používateľskom rozhraní a poter 22 paralelné kopírovať činnosť vlákna.

• 22 Dotazy SELECT (jeden pre každú vybratú tabuľku) sa vygenerovali a vykonali vo vyhradenom fonde SQL.
• Uistite sa, že máte vhodnú dwu a triedu zdrojov, aby bolo možné vykonať dotazy vygenerované. V tomto prípade potrebujete minimálne DWU1000 s staticrc10 , aby bolo možné spracovať 22 odoslaných dotazov maximálne 32 dotazov.
• Priame kopírovanie údajov z vyhradeného fondu SQL do skladu služby Data Factory vyžaduje spájanie. Proces príjmu pozostával z dvoch fáz.
  • Prvá fáza sa skladá z extrahovania údajov z vyhradeného fondu SQL do ADLS a označuje sa ako pracovná inštalácia.
  • Druhá fáza sa skladá z ingestovania údajov z pracovnej verzie do skladu tkaniny. Väčšina časovania príjmu údajov sa nachádza v fáze spájania. Ako v skratke, inscenácia má obrovský vplyv na výkon príjmu.

Odporúčané použitie

Použitie Sprievodcu kopírovaním na generovanie funkcie ForEach poskytuje jednoduché používateľské rozhranie na konverziu DDL a ingestovanie vybratých tabuliek z vyhradeného fondu SQL do skladu služby Fabric v jednom kroku.

S celkovou priepustnosťou však nie je optimálna. Hlavnými faktormi latencie výkonu je požiadavka na používanie pracovnej verzie, potreba paralelného čítania a zapisovania pre krok "Source to Stage" (Zdroj k fáze). Túto možnosť sa odporúča použiť iba pre tabuľky dimenzií.

Možnosť č. 2. DDL/Migrácia údajov – Pipeline pomocou možnosti oddielu

Ak chcete vyriešiť zlepšenie priepustnosti na načítanie väčších tabuliek faktov pomocou kanála štruktúry, odporúča sa použiť aktivitu kopírovania pre každú tabuľku faktov s možnosťou oddielu. Pri kopírovaní aktivity tak dosiahnete najlepší výkon.

Ak je k dispozícii, môžete použiť fyzické rozdelenie zdrojovej tabuľky. Ak tabuľka nemá fyzické rozdelenie, musíte zadať stĺpec oblasti a zadať hodnoty minima/maxima, aby sa použilo dynamické rozdelenie. Na nasledujúcej snímke obrazovky možnosti zdroja kanála určujú dynamický rozsah oblastí na základe stĺpca ws_sold_date_sk .

Použitie oblasti môže zvýšiť priepustnosť pomocou fáz vnášacej fázy, je potrebné zvážiť vhodné úpravy:

• V závislosti od rozsahu oblastí by potenciálne mohol používať všetky intervaly súbežnosti, keďže by mohol generovať viac ako 128 dotazov vo vyhradenom fonde SQL.
• Ak chcete povoliť vykonávanie všetkých dotazov, musíte mierku upraviť na minimálnu DWU6000.
• Ako príklad pre tabuľku TPC-DS web_sales bolo odoslaných 163 dotazov do vyhradeného fondu SQL. V DWU6000 sa vykonalo 128 dotazov, zatiaľ čo do frontu bolo zaradených 35 dotazov.
• Dynamická oblasť automaticky vyberie oblasť rozsahu. V tomto prípade rozsah 11 dní pre každý dotaz SELECT odoslaný do vyhradeného fondu SQL. Napríklad:

  WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
  ...
  WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
  

Odporúčané použitie

Pre tabuľky faktov odporúčame použiť službu Data Factory s možnosťou rozdelenia na zvýšenie priepustnosť.

Zvýšené paralelné načítavanie však vyžaduje vyhradený fond SQL na škálovanie na vyššiu hodnotu DWU, čím sa umožní vykonanie extrahovaných dotazov. Pri priemere rozdelenia sa miera desaťkrát zlepší v rámci možnosti bez oblasti. Môžete zvýšiť dwu a získať dodatočnú priepustnosť prostredníctvom výpočtových zdrojov, ale vyhradený fond SQL má maximálne 128 aktívnych dotazov.

Ďalšie informácie o mapovaní služby Synapse DWU k službe Fabric nájdete v téme Blog: Mapovanie vyhradených fondov SQL služby Azure Synapse na výpočet skladu údajov služby Fabric.

Možnosť č. 3. Migrácia DDL – kopírovanie aktivity kopírovania údajov ForEach

Dve predchádzajúce možnosti sú skvelé možnosti migrácie údajov pre menšie databázy. Ak však potrebujete vyššiu priepustnosť, odporúčame alternatívnu možnosť:

1. Extrahovanie údajov z vyhradeného fondu SQL do ADLS, čím sa zmierni režijné náklady na výkon fázy.
2. Použite buď službu Data Factory, alebo príkaz COPY na presunutie údajov do skladu služby Fabric.

Odporúčané použitie

Na konverziu schémy (DDL) môžete naďalej používať službu Data Factory. Pomocou Sprievodcu kopírovaním môžete vybrať konkrétnu tabuľku alebo Všetky tabuľky. Tým sa v jednom kroku migruje schéma a údaje a extrahuje schému bez riadkov pomocou podmienky TOP 0 false vo príkaze dotazu.

Nasledujúca ukážka kódu zahŕňa migráciu schém (DDL) pomocou služby Data Factory.

Príklad kódu: Migrácia schémy (DDL) pomocou služby Data Factory

Kanály prostriedkov infraštruktúry môžete použiť na jednoduchú migráciu cez DDL (schémy) pre objekty tabuľky z ľubovoľného zdroja Azure SQL Database alebo vyhradeného fondu SQL. Tento kanál sa migruje cez schému (DDL) pre zdrojové vyhradené tabuľky fondu SQL do Fabric Warehouse.

Návrh kanála: parametre

Tento kanál akceptuje parameter SchemaName, ktorý vám umožňuje určiť, cez ktoré schémy sa má migrovať. Schéma dbo je predvolená.

Do poľa Predvolená hodnota zadajte zoznam schémy tabuľky s hodnotami oddelenými čiarkou, ktorý označuje schémy, ktoré sa majú migrovať: 'dbo','tpch' na poskytnutie dvoch schém dbo a tpch.

Návrh kanála: Aktivita vyhľadávania

Vytvorte aktivitu vyhľadávania a nastavte pripojenie tak, aby smerovala na zdrojovú databázu.

Na karte Nastavenia :

• Nastavte typ ukladacieho priestoru údajov na externý.

• Pripojenie je váš vyhradený fond SQL služby Azure Synapse. Typ pripojenia je Azure Synapse Analytics.

• Možnosť Použiť dotaz je nastavená na možnosť Dotaz.

• Pole Dotaz je potrebné zostaviť pomocou dynamického výrazu, ktorý umožní použitie parametra SchemaName v dotaze, ktorý vráti zoznam tabuliek cieľového zdroja. Vyberte položku Dotaz a potom položku Pridať dynamický obsah.

  Tento výraz v rámci aktivity LookUp vygeneruje príkaz SQL na dotazovanie systémových zobrazení na načítanie zoznamu schém a tabuliek. Odkazuje na parameter SchemaName a povolí filtrovanie schém SQL. Výstupom tohto je pole schémy SQL a tabuľky, ktoré sa použijú ako vstup do aktivity ForEach.

  Pomocou nasledujúceho kódu môžete vrátiť zoznam všetkých tabuliek používateľov s názvom schémy.

  @concat('
  SELECT s.name AS SchemaName,
  t.name  AS TableName
  FROM sys.tables AS t
  INNER JOIN sys.schemas AS s
  ON t.type = ''U''
  AND s.schema_id = t.schema_id
  AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
  ')
  

Návrh kanála: Slučka forEach

Pre slučku ForEach nakonfigurujte nasledujúce možnosti na karte Nastavenia :

• Ak chcete povoliť súbežné spúšťanie viacerých iterácií, zakážte položku Sekvenčné .
• Položku Počet šarží nastavte na 50hodnotu , čím obmedzíte maximálny počet súbežných iterácií.
• Pole Items musí používať dynamický obsah na odkazovanie na výstup aktivity LookUp. Použite nasledujúci úryvok kódu: @activity('Get List of Source Objects').output.value

Návrh kanála: Kopírovanie aktivity v slučke ForEach

V rámci aktivity ForEach pridajte aktivitu kopírovania. Táto metóda používa jazyk dynamických výrazov v rámci kanálov na vytvorenie SELECT TOP 0 * FROM <TABLE> a na migráciu iba schémy bez údajov do skladu štruktúry.

Na karte Zdroj :

• Nastavte typ ukladacieho priestoru údajov na externý.
• Pripojenie je váš vyhradený fond SQL služby Azure Synapse. Typ pripojenia je Azure Synapse Analytics.
• Nastavte položku Použiť dotaz na možnosť Dotaz.
• Do poľa Dotaz prilepte dotaz dynamického obsahu a použite tento výraz, ktorý vráti nulové riadky, a to len schému tabuľky:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Na karte Cieľ :

• Nastavte typ ukladacieho priestoru údajov na pracovný priestor.
• Typ úložiska údajov pracovného priestoru je Data Warehouse a položka Sklad údajov je nastavená na možnosť Sklad údajov.
• Cieľová schéma tabuľky a názov tabuľky sú definované pomocou dynamického obsahu.
  • Schéma odkazuje na pole aktuálnej iterácie SchemaName s úryvkom: @item().SchemaName
  • Tabuľka odkazuje tableName pomocou úryvku: @item().TableName

Návrh kanála: Drez

V časti Sink (Drez) ukážte na sklad a odkazujte na zdrojovú schému a názov tabuľky.

Po spustení tohto kanála sa zobrazí sklad údajov vyplnený každou tabuľkou v zdroji s správnou schémou.

Migrácia pomocou uložených procedúr vo vyhradenom fonde SQL služby Synapse

Táto možnosť používa uložené procedúry na vykonanie migrácie tkaniny.

Ukážky kódu môžete získať pri migrácii na lokalitu Microsoft/fabric-migration na GitHub.com. Tento kód sa zdieľa ako open-source, takže neváhajte a prispejte k spolupráci a pomoci komunite.

Čo môžu robiť uložené procedúry migrácie:

• Konvertujte syntax schémy (DDL) na Fabric Warehouse.
• Vytvorte schému (DDL) v sklade služby Fabric.
• Extrahovanie údajov z vyhradeného fondu SQL služby Synapse do ADLS.
• Označte nepodporovanú syntax tkaniny pre kódy T-SQL (uložené procedúry, funkcie, zobrazenia).

Odporúčané použitie

Toto je skvelá možnosť pre tých, ktorí:

• Sú oboznámení s T-SQL.
• Chcete použiť integrované vývojové prostredie, ako napríklad SQL Server Management Studio (SSMS).
• Chcete mať väčšiu kontrolu nad tým, na ktorých úlohách chcú pracovať.

Môžete spustiť konkrétnu uloženú procedúru pre konverziu schémy (DDL), extrahovanie údajov alebo hodnotenie kódu T-SQL.

Na migráciu údajov musíte použiť buď funkciu COPY INTO, alebo Data Factory na prijímanie údajov do skladu údajov.

Migrácia pomocou projektov databázy SQL

Microsoft Fabric Data Warehouse je podporovaný rozšírením SQL Database Projects dostupným vo Visual Studio Code.

Toto rozšírenie je dostupné vo Visual Studio Code. Táto funkcia umožňuje funkcie na ovládanie zdrojov, testovanie databázy a overenie schémy.

Ďalšie informácie o ovládaní zdrojového kódu pre sklady v službe Microsoft Fabric vrátane kanálov integrácie a nasadenia služby Git nájdete v téme Ovládanie zdrojov so skladom.

Odporúčané použitie

Táto možnosť je skvelou možnosťou pre tých, ktorí na svoje nasadenie radšej používajú projekt SQL Database Project. Táto možnosť v podstate integrovala uložené procedúry migrácie do projektu SQL Database Project, čím sa zabezpečí bezproblémová migrácia.

Projekt databázy SQL môže:

• Konvertujte syntax schémy (DDL) na Fabric Warehouse.
• Vytvorte schému (DDL) v sklade služby Fabric.
• Extrahovanie údajov z vyhradeného fondu SQL služby Synapse do ADLS.
• Príznak nepodporovanú syntax pre kódy T-SQL (uložené procedúry, funkcie, zobrazenia).

V prípade migrácie údajov použijete buď funkciu COPY INTO, alebo Data Factory na presunutie údajov do skladu služby Fabric.

Tím Microsoft Fabric CAT poskytol sadu skriptov PowerShell na spracovanie extrakcie, vytvárania a nasadenia schémy (DDL) a databázového kódu (DML) prostredníctvom projektu databázy SQL. Návod na používanie projektu DATABÁZA SQL s našimi užitočnými skriptami prostredia PowerShell nájdete v téme Migrácia na lokalitu microsoft/fabric-migration on GitHub.com.

Ďalšie informácie o databázovom projekte SQL nájdete v téme Začíname s rozšírením Sql Database Projects a Tvorba a publikovanie projektu.

Migrácia údajov pomocou cetas

Príkaz T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) poskytuje nákladovo efektívnu a optimálnu metódu na extrahovanie údajov z vyhradených fondov SQL Synapse do služby Azure Data Lake Storage (ADLS) Gen2.

Čo dokáže CETAS:

• Extrahovanie údajov do ADLS.
  • Táto možnosť vyžaduje, aby používatelia vytvorili schému (DDL) v sklade služby Fabric pred prenesením údajov. Zvážte možnosti v tomto článku na migráciu schémy (DDL).

Medzi výhody tejto možnosti patria:

• Pre zdroj synapse dedicated SQL pool sa odošle iba jeden dotaz na tabuľku. Nebudú sa tým využívať všetky intervaly súbežnosti, a preto nebudú blokovať súbežné produkčné ETL/dotazy zákazníka.
• Zmena mierky na DWU6000 nie je potrebná, pretože pre každú tabuľku sa používa len jeden slot súbežnosti, takže zákazníci môžu používať nižšie DWU.
• Extrahovanie sa spustí paralelne vo všetkých výpočtových uzloch a toto je kľúč k zlepšeniu výkonu.

Odporúčané použitie

Použitie CETAS na extrahovanie údajov do ADLS vo formáte súboru Parquet. Parquet súbory poskytujú výhodu efektívneho úložiska s stĺpcovou kompresiou, ktorá bude mať menšiu šírku pásma pre pohyb v sieti. Keďže fabric ukladal údaje ako formát Delta parquet, príjem údajov bude v porovnaní s formátom textového súboru 2,5-násobne rýchlejší, pretože počas príjmu nedôjde k žiadnej konverzii na formát Delta.

Ak chcete zvýšiť priepustnosť CETAS:

• Pridajte paralelné operácie CETAS, zvýši sa využívanie slotov súbežnosti, ale umožní sa väčšia priepustnosť.
• Škálovanie dwu na vyhradenom fonde SQL Synapse.

Migrácia cez dbt

V tejto časti si rozoberieme možnosť dbt pre tých zákazníkov, ktorí už používajú dbt v aktuálnom vyhradenom prostredí fondu SQL Synapse.

Čo dbt môže robiť:

• Konvertujte syntax schémy (DDL) na Fabric Warehouse.
• Vytvorte schému (DDL) v sklade služby Fabric.
• Konverzia kódu databázy (DML) na syntax tkaniny.

Architektúra dbt generuje DDL a DML (skripty SQL) za behu s každým spustením. So súbormi modelu vyjadrenými v príkazoch SELECT možno DDL/DML okamžite preložiť na akúkoľvek cieľovú platformu zmenou profilu (reťazec pripojenia) a typu adaptéra.

Odporúčané použitie

Architektúra dbt je kódom prvý prístup. Údaje sa musia migrovať pomocou možností uvedených v tomto dokumente, ako sú napríklad CETAS alebo COPY/Data Factory.

Adaptér na dbt pre sklad údajov služby Microsoft Fabric umožňuje, aby sa existujúce projekty dbt, ktoré sa zameriavali na rôzne platformy, ako sú fondy Synapse dedicated SQL, Snowflake, Databricks, Google Big Query alebo Amazon Redshift, mohli migrovať do skladu služby Fabric s jednoduchou zmenou konfigurácie.

Ak chcete začať pracovať s projektom dbt zameraným na sklad údajov služby Fabric, pozrite si tému Kurz: Nastavenie databázy pre sklad údajov služby Fabric. Tento dokument obsahuje aj možnosť presúvať sa medzi rôznymi skladmi alebo platformami.

Príjem údajov do skladu údajov

Pri prímesi do skladu služby Fabric použite službu COPY INTO alebo Fabric Data Factory v závislosti od vašich preferencií. Obe metódy sú odporúčané a možnosti s najlepším výkonom, pretože majú ekvivalentnú priepustnosť výkonu, vzhľadom na predpoklad, že súbory sú už extrahované do služby Azure Data Lake Storage (ADLS) Gen2.

Niekoľko faktorov, ktoré treba poznamenať, aby ste mohli navrhnúť proces s cieľom maximálneho výkonu:

• So službou Fabric neexistuje tvrdenie o prostriedkoch pri súbežnom načítavaní viacerých tabuliek z ADLS do skladu služby Fabric Warehouse. V dôsledku toho sa pri načítavaní paralelných vlákien nedochádza k žiadnemu poklesu výkonu. Maximálna priepustnosť príjmu bude obmedzená len výpočtovým výkonom kapacity služby Fabric.
• Správa vyťaženia služby fabric poskytuje oddelenie zdrojov vyhradených pre načítanie a dotazovanie. Zatiaľ čo sa dotazy a načítavanie údajov vykonávajú v rovnakom čase, k žiadnemu sporu o zdroje nedochádza.

Súvisiaci obsah

• Asistent migrácie prostriedkov pre dátový sklad
• Vytvorenie skladu v službe Microsoft Fabric
• Pokyny na výkon skladu údajov služby Fabric
• Zabezpečenie skladu údajov v službe Microsoft Fabric
• Blog: Mapovanie vyhradených fondov SQL služby Azure Synapse k výpočtu skladu údajov služby Fabric
• Prehľad migrácie prostriedkov Microsoft Fabric