Megosztás a következőn keresztül:


Migrálás tervezése: Dedikált Azure Synapse Analytics SQL-készletek a Fabric Data Warehouse-hoz

A következőre vonatkozik:✅ Warehouse a Microsoft Fabricben

Ez a cikk az Azure Synapse Analytics dedikált SQL-készleteiben a Microsoft Fabric Warehouse-ba történő adatraktározás stratégiáját, szempontjait és módszereit ismerteti.

Tipp

Az Azure Synapse Analytics dedikált SQL-készleteiből történő migrálás automatizált élménye a Fabric Migration Assistant for Data Warehouse segítségével érhető el. Ez a cikk fontos stratégiai és tervezési információkat tartalmaz.

Migrálás – bevezetés

A Microsoft bevezette a Microsoft Fabricet, amely egy teljes körű SaaS-elemzési megoldás a nagyvállalatok számára, amely átfogó szolgáltatáscsomagot kínál, beleértve a Data Factoryt, a adatmérnök inget, a Adattárolás, a Adattudomány, a valós idejű intelligenciát és a Power BI-t.

Ez a cikk a séma(DDL)-migrálás, az adatbáziskód (DML) migrálásának és az adatmigrálásnak a lehetőségeit ismerteti. A Microsoft számos lehetőséget kínál, és itt részletesen tárgyaljuk az egyes lehetőségeket, és útmutatást adunk ahhoz, hogy ezek közül melyiket érdemes megfontolnia az Ön forgatókönyvéhez. Ez a cikk a TPC-DS iparági teljesítménytesztet használja az illusztrációhoz és a teljesítményteszteléshez. A tényleges eredmény számos tényezőtől függően változhat, beleértve az adatok típusát, az adattípusokat, a táblák szélességét, az adatforrás késését stb.

Előkészületek a migráláshoz

Az első lépések előtt gondosan tervezze meg a migrálási projektet, és győződjön meg arról, hogy a séma, a kód és az adatok kompatibilisek a Fabric Warehouse-ral. Figyelembe kell vennie néhány korlátozást . Számszerűsítse a nem kompatibilis elemek újrabontási munkáját, valamint az áttelepítés végrehajtása előtt szükséges egyéb erőforrásokat.

A tervezés másik fő célja a tervezés módosítása annak biztosítása érdekében, hogy a megoldás teljes mértékben kihasználja a Fabric Warehouse által nyújtott magas lekérdezési teljesítményt. Az adattárházak méretezéshez való tervezése egyedi tervezési mintákat vezet be, így a hagyományos megközelítések nem mindig a legjobbak. Tekintse át a teljesítményre vonatkozó irányelveket, mert bár a migrálás után bizonyos tervezési módosítások elvégezhetők, a folyamat korábbi szakaszában végzett módosítások időt és energiát takaríthatnak meg. Az egyik technológiából/környezetből a másikba való migrálás mindig nagy erőfeszítést igényel.

Az alábbi ábra a migrálási életciklust mutatja be, amely felsorolja azokat a fő pilléreket, amelyek az értékelésből és értékelésből, a tervezésből és tervezésből, a migrálásból, a monitorozásból és a szabályozásból, az optimalizálásból és a modernizálásból, valamint az egyes pillérek kapcsolódó feladataiból állnak a zökkenőmentes migrálás megtervezéséhez és előkészítéséhez.

A migrálási életciklus diagramja.

Migrálás útmutatója

Vegye figyelembe az alábbi tevékenységeket a tervezési munkafüzet részeként, amikor a Dedikált Synapse SQL-poolokból a Fabric Warehouse-ba migrál.

  1. Értékelés és értékelés
    1. Célkitűzések és motivációk azonosítása. Világos, kívánt eredmények létrehozása.
    2. A meglévő architektúra felderítése, értékelése és alapkonfigurációja.
    3. A főbb érdekelt felek és szponzorok azonosítása.
    4. Határozza meg a migrálni kívánt tevékenység hatókörét.
      1. Kezdjen kicsi és egyszerű lépésekkel, készüljön fel több kisebb migrálásra.
      2. Kezdje el figyelni és dokumentálni a folyamat minden szakaszát.
      3. Adatok és folyamatok leltárának összeállítása a migráláshoz.
      4. Adatmodell-módosítások definiálása (ha van ilyen).
      5. Állítsa be a Fabric munkaterületet.
    5. Mi a készségkészlete/preferenciája?
      1. Ahol csak lehetséges, automatizálja.
      2. A migrálási munka csökkentéséhez használja az Azure beépített eszközeit és funkcióit.
    6. Az új platformon korán betanítsa a személyzetet.
      1. A képzési igények és a betanítási eszközök azonosítása, beleértve a Microsoft Learnet is.
  2. Tervezés és dizájn
    1. Határozza meg a kívánt architektúrát.
    2. Válassza ki a migráláshoz szükséges módszert/eszközöket a következő feladatok végrehajtásához:
      1. Adatok kinyerése a forrásból.
      2. Séma (DDL) konvertálása, beleértve a táblák és nézetek metaadatait
      3. Adatbetöltés, beleértve az előzményadatokat is.
        1. Szükség esetén új platformteljesítmény és skálázhatóság használatával tervezz újra az adatmodellt.
      4. Adatbázis-kód (DML) migrálása.
        1. Tárolt eljárások és üzleti folyamatok migrálása vagy újrabontása.
    3. Leltározza és kinyerje a biztonsági funkciókat és az objektumengedélyeket a forrásból.
    4. Tervezze meg és tervezze meg a meglévő ETL/ELT-folyamatok cseréjét/módosítását növekményes terhelésre.
      1. Párhuzamos ETL-/ELT-folyamatok létrehozása az új környezethez.
    5. Részletes migrálási terv előkészítése.
      1. Az aktuális állapot leképezése új kívánt állapotra.
  3. Migrate (Áttelepítés)
    1. Séma, adatok, kódmigrálás végrehajtása.
      1. Adatok kinyerése a forrásból.
      2. Séma (DDL) konvertálása
      3. Adatbetöltés
      4. Adatbázis-kód (DML) migrálása.
    2. Ha szükséges, a dedikált SQL-készlet erőforrásait ideiglenesen skálázza fel a migrálás sebességének elősegítésére.
    3. Alkalmazza a biztonságot és az engedélyeket.
    4. Meglévő ETL-/ELT-folyamatok migrálása növekményes terheléshez.
      1. ETL/ELT növekményes terhelési folyamatok migrálása vagy újrabontása.
      2. Párhuzamos növekményes terhelési folyamatok tesztelése és összehasonlítása.
    5. Szükség szerint adaptáljon részletes migrálási tervet.
  4. Figyelés és szabályozás
    1. Futtasson párhuzamosan, hasonlítsa össze forráskörnyezetével.
      1. Alkalmazások, üzletiintelligencia-platformok és lekérdezési eszközök tesztelése.
      2. Mérje fel és optimalizálja a lekérdezési teljesítményt.
      3. A költségek, a biztonság és a teljesítmény monitorozása és kezelése.
    2. Szabályozási teljesítménymutató és -értékelés.
  5. Optimalizálás és modernizálás
    1. Amikor az üzlet stabil, váltsál át az alkalmazásokat és az elsődleges jelentési platformokat a Fabricre.
      1. Az erőforrások vertikális fel- és leskálázása az Azure Synapse Analyticsről a Microsoft Fabricre való váltáskor.
      2. Ismétlődő sablon létrehozása a jövőbeli migrálások során szerzett tapasztalatok alapján. Ismételd.
      3. A költségoptimalizálás, a biztonság, a méretezhetőség és a működési kiválóság lehetőségeinek azonosítása
      4. Az adattulajdon modernizálásának lehetőségeit a legújabb Fabric-funkciókkal azonosíthatja.

"Lift and shift" vagy modernizálás?

Általában kétféle migrálási forgatókönyv létezik, függetlenül a tervezett migrálás céljától és hatókörétől: az átemelés és a váltás a jelenlegi állapotban, vagy az architektúra- és kódmódosításokat magában foglaló szakaszos megközelítés.

Átemelés és áthelyezés

Az "lift and shift" migráció során egy meglévő adatmodellt kevés módosítással átemelnek az új Fabric Raktárba. Ez a megközelítés minimalizálja a kockázatokat és a migrálási időt azáltal, hogy csökkenti a migrálás előnyeinek eléréséhez szükséges új munkát.

A lift and shift migráció megfelelő az alábbi forgatókönyvekhez:

  • Meglévő környezeted van, kevés adatpiacot kell migrálnod.
  • Létező környezete van, amelyben az adatok már jól meg vannak tervezve egy csillag- vagy hópehelysémában.
  • Ön idő- és költségnyomás alatt áll a Fabric Warehouse-ba való költözés miatt.

Összefoglalva, ez a megközelítés jól működik azokon a számítási feladatokon, amelyek az aktuális Dedikált Synapse SQL-készletek környezetével vannak optimalizálva, ezért nem igényel jelentős módosításokat a Fabricben.

Modernizálás szakaszos megközelítésben architekturális változásokkal

Ha egy régi adattárház hosszú ideig fejlődött, előfordulhat, hogy újra kell terveznie a szükséges teljesítményszintek fenntartásához.

Érdemes lehet újratervezni az architektúrát is, és kihasználja a Fabric munkaterületen elérhető új motorokat és funkciókat.

Tervezési különbségek: Dedikáltan használt Synapse SQL-készletek és Fabric Tárház

Vegye figyelembe a következő Azure Synapse- és Microsoft Fabric-adattárház-különbségeket, és hasonlítsa össze a dedikált SQL-készleteket a Fabric Warehouse-ral.

Táblázatokkal kapcsolatos szempontok

Amikor táblákat migrál különböző környezetek között, általában csak a nyers adatok és a metaadatok migrálnak fizikailag. A forrásrendszer más adatbáziselemei, például az indexek általában nem lesznek migrálva, mert szükségtelenek vagy más módon implementálhatók az új környezetben.

A forráskörnyezet teljesítményoptimalizálásai, például az indexek jelzik, hogy hol adhat hozzá teljesítményoptimalizálást egy új környezetben, de a Fabric ezt automatikusan elvégzi Önnek.

T-SQL-szempontok

Számos adatmanipulációs nyelv (DML) szintaxisbeli különbséget kell figyelembe venni. Tekintse meg a T-SQL felületét a Fabric Data Warehouse-ban. Az adatbáziskód (DML) migrálási módszere(i) kiválasztásakor érdemes megfontolni a kód értékelését is.

A migráláskor tapasztalható paritásbeli különbségektől függően előfordulhat, hogy át kell írnia a T-SQL DML-kód egyes részeit.

Adattípus-leképezési különbségek

A Fabric Warehouse számos adattípusbeli különbséget mutat. További információ: Adattípusok a Microsoft Fabricben.

Az alábbi táblázat a támogatott adattípusok leképezését tartalmazza a Dedikált Synapse SQL-készletekből a Fabric Warehouse-ba.

Synapse dedikált SQL-készletek Textilraktár
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
datetimeoffset* datetime2

#B0 #C1 nem tárolja azokat a kiegészítő időzóna eltolási adatokat, amelyeket máshol tárolnak. Mivel az #D0 adattípus jelenleg nem támogatott a Fabric Warehouse-ban, az időzóna-eltolás adatait külön oszlopba kell kinyerni.

Tipp.

Kész az átállásra?

Az automatizált migrálási folyamat megkezdéséhez tekintse meg a Fabric Migration Assistant for Data Warehouse alkalmazást.

További manuális migrálási lépések és részletekért lásd: Dedikált Azure Synapse Analytics SQL-készletek migrálási módszerei a Fabric Data Warehouse-ra.