Migrációs módszerek az SQL Serverről a Fabric Data Warehouse-ba

A következőkre vonatkozik:✅ Raktár a Microsoft Fabricben

Ez a cikk az adatraktárak áthelyezésének módszereit írja SQL Server-ben Microsoft Fabric Data Warehouse-re.

Jótanács

További információért a stratégiáról és tervezésről lásd: Migrációs tervezés: SQL Server Fabric Data Warehouse.

Használd a Fabric Migration Assistant for Data Warehouse automatizált migrációs élményhez SQL Server-ről. A cikk további kézi migrációs lépéseit mutatja be.

Az alábbi táblázat összefoglalja az adatsémák (DDL), adatbázis kód (DML) és az adatok migrálásának módszereit. Minden lehetőséget később ebben a cikkben részletezzük.

Option Módszer Mire szolgál? Képesség vagy preferencia Scenario
1 Adatgyár Sémakonvertálás
Adatkinyerés
Adatok betöltése		 Data Factory csővezeték Egyszerűsített séma és adatmigráció. Dimenziótáblákhoz ajánlott.
2 Data Factory partícióval Sémakonvertálás
Adatkinyerés
Adatok betöltése		 Data Factory csővezeték Párhuzamosított migráció nagy ténytáblák esetén.
3 Sémaalapú migráció Sémakonvertálás Data Factory csővezeték Először migráld át a sémát, majd külön-külön nyerd ki és veszd fel az adatokat a nagyobb áteresztőképesség kontroll érdekében.
4 SQL-migrációs szkriptek Sémakonvertálás
Adatkinyerés
Kódértékelés		 T-SQL Használj IDE-t és szkripteket a migrációs feladatok részletes vezérléséhez.
5 SQL Database-projektek Sémakonvertálás
Kódértékelés		 SQL projekt Használj adatbázis-projektet forráskód-ellenőrzésre, értékelésre és telepítésre.
6 dbt Sémakonvertálás
Adatbázis-kód átalakítás		 dbt Használd újra egy meglévő DBT projektet az adapter és a célkonfiguráció megváltoztatásával.

Kezdeti migráláshoz válasszon egy feladatkört

Amikor eldöntöd, hol kezded el a SQL Server Fabric Data Warehouse migrációs projektet, válassz egy olyan munkaterhelési területet, ahol a következőket teheted:

  • Bizonyítsd be a Fabric Data Warehouse-re való áttérés életképességét azzal, hogy gyorsan kiszolgálod az új környezet előnyeit. Kezdj kicsiben és egyszerűen, és készülj fel több kisebb migrációra.
  • Adj időt a technikai munkatársaidnak, hogy releváns tapasztalatot szerezzenek a folyamatokkal és eszközökkel, amelyeket más munkaterhelések migrációjához használnak.
  • Készíts egy sablont további migrációkhoz, amely kifejezetten az SQL Server környezetedhez, eszközeidhez és folyamataidhoz kapcsolódik.

Jótanács

Készíts egy készletet azokról az objektumokról, amelyeket migrálni kell, és dokumentáld a migrációs folyamatot az elejétől a végéig, hogy ezt más adatbázisokban vagy munkaterhelésekben is megismételhessék.

Az első migrációban lévő adatmennyiségnek elég nagy kell lennie ahhoz, hogy bemutassák a Fabric Data Warehouse képességeit és előnyeit, de elég kicsinek kell lennie ahhoz, hogy gyorsan értéket mutasson be. Az 1–10 terabájtos tartományban jellemző a méret.

Migráció a Fabric Data Factory-val

A Fabric Data Factory egy kevés kódot igénylő felületet biztosít, amellyel átalakítható a tábladefiníció (DDL), és migrálhatók az adatok az SQL Serverből.

A Fabric Data Factory a következő feladatokat hajthatja végre:

  • Konvertáld a sémát (DDL) Fabric Data Warehouse szintaxisra.
  • Hozz létre sémaobjektumokat Fabric Data Warehouse-ben.
  • Migráld az adatokat Fabric Data Warehouse-re.

1. lehetőség. Séma és adatmigráció Copy Assistant-tal

Ez a módszer a Data Factory Copy Assistant-et használja a forrás SQL Server adatbázishoz való csatlakozáshoz, a DDL táblát Fabric szintaxissá alakításához, majd az adatok másolásához Fabric Data Warehouse-re. Választhatsz egy vagy több forrástáblát. A generált csővezeték egy ForEach tevékenységet használ a kiválasztott táblák párhuzamos másolására.

Amikor beállítod a másolási műveletet:

  • A forráskapcsolathoz az SQL Server csatlakozót használd.
  • Korlátozzuk a párhuzamos másolatokat olyan szintre, amelyet a forrás adatbázis és hálózat képes fenntartani.
  • Figyelje a forrás CPU-, I/O- és tranzakciónapló-használatát, valamint az éles terhelés késleltetését a kinyerés során.

Használd a Copy Assistant-t egy egyszerű interfészhez, amely átalakítja a DDL-t és egyetlen műveletben beolvasza a kiválasztott táblákat. Ez a módszer jól illik dimenziótáblázatokhoz és kisebb munkaterhelésekhez.

Nagy táblák esetén a felosztást használjuk az olvasási és írási párhuzamosság növelésére.

2. lehetőség. Adatmigráció partícióval

Nagy ténytáblákhoz használj egy Copy tevékenység-t minden táblához, és konfiguráld a forráspartíciót. Használj fizikai partíciókat, ha elérhetőek, vagy konfigurálhatod a dinamikus tartomány felosztást megfelelő numerikus vagy dátumoszlop, valamint annak minimum- és maximális értékeinek megadásával be.

Képernyőkép egy pipeline forrásról dinamikus tartomány partíciós opciókkal.

Amikor partíciót használsz:

  • Válassz egy partíciós oszlopot, amely egyenletesen osztja el a sorokat.
  • Kerüld el több egyidejű forráslekérdezést létrehozni, mint amennyit az SQL Server képes feldolgozni anélkül, hogy befolyásolná a termelési terhelést.
  • Teszteljük a partíciós tartományt és a párhuzamos másolási beállításokat egy reprezentált munkaterhelés ellen.
  • Fokozatosan növeljük a párhuzamosságot, miközben figyeljük a forrást és a célt.

Használd az Data Factory partíciót nagy ténytáblákhoz, amikor a párhuzamos kinyerés növeli az áteresztőképességet. Méretezd a batch count és a partíciós tartományokat a forrásadatbázis-erőforrások és hálózati kapacitásod szerint.

3. lehetőség: Sémaalapú migráció

Nagyobb adatbázisok esetén válasszuk el a séma migrációt az adatmigrációtól:

  1. Konvertálj és hozz létre táblázatsémákat Fabric Data Warehouse-ben.
  2. Forrásadatok kinyerése az Azure Data Lake Storage (ADLS) Gen2-be.
  3. Használd az Data Factory-t vagy a COPY INTO parancsot, hogy bejuttasd a fokozatosan bejutott adatokat Fabric Data Warehouse-be.

Ezeknek a fázisoknak a szétválasztása lehetővé teszi, hogy a kivonást és a felvételt függetlenül hangolj.

Séma migráció Data Factory-val

Egy Fabric pipeline-t használhatsz a táblázatsémák átmigrálására SQL Server-ről Fabric Data Warehouse-re anélkül, hogy sorokat másolnál.

A Fabric Data Factoryt bemutató képernyőkép, amelyen egy DDL-t migráló ForEach tevékenységhez kapcsolódó Lookup tevékenység látható.

Csővezeték paraméterek konfigurálása

Hozz létre egy SchemaName paramétert, amely meghatározza, mely sémákat kell migrálni. Használd dbo alapértelmezett eszközként, vagy írj be egy vesszővel elválasztott listát, például 'dbo','sales'.

Képernyőkép a Data Factory-ról, amely a SchemaName pipeline paramétert mutatja.

Konfiguráld a Keresési tevékenységet

Hozz létre egy kereső tevékenységet, és állítsd be annak kapcsolatát a forrás SQL Server adatbázissal. A Beállítások lapon:

  • Az adattár típusának beállítása külsőre.
  • Válaszd ki a forrás SQL Server kapcsolatot.
  • Állítsa a Lekérdezés használata beállítást Lekérdezés értékre.
  • Adj hozzá egy dinamikus lekérdezést, amely visszaadja a forrássémát és a táblaneveket.

Használja a következő kifejezést a lekérdezés létrehozásához:

@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Képernyőkép a Data Factory-ből, amely dinamikus lekérdezést mutat a Lookup aktivitásban.

Konfiguráld a ForEach tevékenységet

A ForEach tevékenység Beállítások fülében:

  • Kapcsold ki a Sequential rendszert, hogy az iterációk egyszerre fusshassák.
  • Állítsuk be a Batch Count-t olyan értékre, amit a forrás adatbázis képes fenntartani. Kezdj egy konzervatív értékkel, és teszteld azt.
  • Állítsa a(z) Elemek beállítást erre: @activity('Get List of Source Objects').output.value.

Képernyőkép, amely a ForEach tevékenység beállításait mutatja.

A másolási tevékenység konfigurálása

A ForEach tevékenységen belül adj hozzá egy Copy tevékenység-t. A Forrás lapon:

  • Az adattár típusának beállítása külsőre.
  • Válaszd ki a forrás SQL Server kapcsolatot.
  • Állítsd a Lekérdezés használata beállítást Lekérdezés értékre.
  • Állítsuk be a lekérdezést úgy, @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName) hogy csak a tábla metaadat legyen migrálva.

Képernyőkép a Data Factory-ről, amely a Copy tevékenység forrásbeállításait mutatja.

A Cél fülön:

  • Állítsa be az adattártípustmunkaterületként.
  • Állítsd be a Workspace adattároló típusátData Warehouse-nak, és válaszd ki a célraktárt.
  • Állítsuk be a cél sémát .@item().SchemaName
  • Állítsuk be a céltáblát @item().TableName.

Képernyőkép a Data Factory-ből, amely mutatja a Copy tevékenység célbeállításait.

Miután lefuttattad a csővezetéket, ellenőrizd, hogy Fabric Data Warehouse tartalmazza-e minden kiválasztott táblát a várható sémával.

SQL szkriptekkel való migráció

Használj T-SQL és PowerShell migrációs szkripteket, amikor részletesen szeretnél szabályozni a séma átalakítását, adatkivonást és kódértékelést.

A migrációs szkriptek a következőképpen lehetségesek:

  • Konvertáld a sémát (DDL) Fabric Data Warehouse szintaxisra.
  • Hozz létre sémaobjektumokat Fabric Data Warehouse-ben.
  • Adatok kinyerése az SQL Serverből az ADLS Gen2-be.
  • Jelölje meg a nem támogatott T-SQL szintaxist tárolt eljárásokban, függvényekben és nézetekben.

A Microsoft Fabric CAT csapata migrációs kód mintákat biztosít a fabric-migrációs tárolóban.

Használj szkripteket, ha ismered a T-SQL-t, az integrált fejlesztői környezetet részesíted előnyben, és szükség van az egyes migrációs feladatok irányítására. Használja a COPY INTO vagy a Data Factory használatával a kinyert adatokat a Fabric Data Warehouse-ba való betöltéséhez.

Migrálás SQL-adatbázisprojektek használatával

A Fabric Data Warehouse támogatott a Visual Studio Code-hoz készült SQL Database Projects bővítményben.

Egy SQL adatbázis projekt forráskód-vezérlést, adatbázis-tesztelést, sémaellenőrzést és telepítési lehetőségeket biztosít. A következőkre képes:

  • Konvertáld a sémát (DDL) Fabric Data Warehouse szintaxisra.
  • Hozz létre sémaobjektumokat Fabric Data Warehouse-ben.
  • Értékelje a nem támogatott T-SQL szintaxist tárolt eljárásokban, függvényekben és nézetekben.

Adatmigrációhoz a Data Factory használatával másolhat közvetlenül az SQL Serverből, vagy kinyerheti az adatokat az ADLS Gen2-be, és betöltheti őket a COPY INTO vagy a Data Factory használatával.

Az SQL adatbázis projektek migrációs szkriptekkel való használatának útmutatója a fabric-migration repository oldalon található.

További információért lásd: Kezdj el az SQL Database Projects kiterjesztéssel és Build a database project a parancssorból.

Migráció a dbt-vel

Ha a SQL Server data warehouse DBT-t használ, akkor a dbt adapterrel Fabric Data Warehouse séma és adatbázis kódot konvertálhatsz a célprofil és az adapter megváltoztatásával.

A dbt keretrendszer modellfájlokból generál DDL és DML szkripteket. Az adatokat külön kell migrálnia a Data Factory használatával vagy a cikkben ismertetett más adatmigrációs lehetőség alkalmazásával.

A kezdéshez lásd: Tutorial: Setup up DBT for Fabric Data Warehouse.

Adatbetöltés a Fabric Data Warehouse-ba

Az átmeneti tárolóban lévő adatokhoz használja a COPY INTO vagy a Fabric Data Factory szolgáltatást az ADLS Gen2-ből származó fájlok Fabric Data Warehouse-ba történő betöltéséhez. Vegyük figyelembe az alábbi útmutatást:

  • Nagy táblákat párhuzamosan vonjunk ki, amikor a forrás adatbázis és a hálózat elegendő kapacitással rendelkezik.
  • A Parquet fájlokat preferáljuk a tárolás és a hálózati használat csökkentése érdekében, valamint a fogyasztás hatékonyságának javítása érdekében.
  • Töltsd be egyszerre több céltáblát, amikor a Fabric kapacitásod képes támogatni a terhelést.
  • Figyeld mind a forráskivonást, mind a Fabric kapacitását, hogy megtaláld az optimális párhuzamossági fokot.

Kapcsolódó tartalom

  • Utolsó frissítés időpontja: