Vizualizáció és jelentéskészítés Netezza-migrálásokhoz

Ez a cikk egy hétrészes sorozat negyedik része, amely útmutatást nyújt a Netezza-ból az Azure Synapse Analyticsbe való migráláshoz. A cikk középpontjában a vizualizációval és jelentéskészítéssel kapcsolatos ajánlott eljárások kerülnek.

Hozzáférés az Azure Synapse Analyticshez a Microsoft és harmadik féltől származó BI-eszközök használatával

A szervezetek számos üzletiintelligencia-eszköz és alkalmazás használatával férnek hozzá az adattárházakhoz és adatpiacokhoz. Néhány példa a BI-termékekre:

• Microsoft BI-eszközök, például a Power BI.

• Office-alkalmazások, például Microsoft Excel-számolótáblák.

• Külső BI-eszközök különböző gyártóktól.

• Egyéni elemzési alkalmazások beágyazott BI-eszközfunkciókkal.

• Az igény szerinti BI-t támogató operatív alkalmazások lekérdezések és jelentések futtatásával egy olyan BI-platformon, amely adatraktárban vagy adattárházban lekérdezi az adatokat.

• Interaktív adatelemzési fejlesztési eszközök, például Azure Synapse Spark Notebooks, Azure Machine Learning, RStudio és Jupyter Notebooks.

Ha az adattárház migrálásának részeként migrálja a vizualizációt és a jelentéskészítést, a BI-termékek által létrehozott összes meglévő lekérdezésnek, jelentésnek és irányítópultnak az új környezetben kell futnia. A BI-termékeknek ugyanazokat az eredményeket kell eredményezniük az Azure Synapse-ban, mint az örökölt adattárház-környezetben.

A migrálás utáni konzisztens eredmények érdekében minden BI-eszköznek és alkalmazásfüggőségnek működnie kell, miután migrálta az adattárház sémáját és adatait az Azure Synapse-be. A függőségek kevésbé látható szempontokat tartalmaznak, például a hozzáférést és a biztonságot. Amikor a hozzáféréssel és a biztonsággal foglalkozik, bizonyosodjon meg arról, hogy migrál:

• Hitelesítés, hogy a felhasználók bejelentkezhessenek az adattárházba és az adattárház-adatbázisokba az Azure Synapse-ban.

• Az Azure Synapse minden felhasználója.

• Minden felhasználói csoport hozzárendelése az Azure Synapse-hoz.

• Az Azure Synapse összes szerepköre.

• Az Azure Synapse hozzáférés-vezérlését szabályozó összes engedélyezési jogosultság.

• Felhasználói, szerepkör- és jogosultság-hozzárendelések, hogy tükrözni tudja a meglévő adattárházban a migrálás előtt meglévőket. Például:

  • Adatbázis-objektum jogosultságai szerepkörökhöz rendelve
  • Felhasználói csoportokhoz rendelt szerepkörök
  • Felhasználói csoportokhoz és/vagy szerepkörökhöz rendelt felhasználók

A hozzáférés és a biztonság fontos szempontok az adatokhoz való hozzáféréshez a migrált rendszerben, és részletesebben tárgyaljuk a Netezza-migrálások biztonsági, hozzáférési és műveleteit.

Jótanács

A meglévő felhasználókat, felhasználói csoportokat, szerepköröket és hozzáférési biztonsági jogosultságok hozzárendeléseit először migrálni kell a jelentések és vizualizációk sikeres migrálásához.

Az összes szükséges adat migrálása annak biztosítása érdekében, hogy az örökölt környezetben adatokat lekérdező jelentések és irányítópultok ugyanazokat az eredményeket eredményezik az Azure Synapse-ban.

Az üzleti felhasználók zökkenőmentes migrálást várnak, és nem lesznek meglepetések, amelyek rontják az Azure Synapse migrált rendszerbe vetett bizalmát. Ügyeljen arra, hogy minden olyan félelmet eloszlatjon, amelyet a felhasználók jó kommunikációval érhetnek el. A felhasználók a következőt várják:

• A táblaszerkezet változatlan marad, ha a lekérdezésekben közvetlenül hivatkoznak rá.

• A tábla- és oszlopnevek ugyanazok maradnak, ha a lekérdezésekben közvetlenül hivatkoznak rá. Például a BI-eszközök oszlopaiból származó és számított mezőknek nem szabad kudarcot vallaniuk, amikor összesített jelentéseket készítenek.

• A korábbi elemzések változatlanok maradnak.

• Ha lehetséges, az adattípusok változatlanok maradnak.

• A lekérdezési viselkedés változatlan marad.

• Az ODBC-/JDBC-illesztőprogramok tesztelése biztosítja, hogy a lekérdezési viselkedés változatlan maradjon.

Jótanács

A kommunikáció és az üzleti felhasználók bevonása kritikus fontosságú a siker szempontjából.

Ha a BI-eszközök lekérdezik a nézeteket a mögöttes adattárházban vagy az adattárházban, ezek a nézetek továbbra is működni fognak a migrálás után? Előfordulhat, hogy egyes nézetek nem működnek, ha az örökölt adattárház DBMS-hez tartozó, saját fejlesztésű SQL-bővítményeknek nincs megfelelője az Azure Synapse-ben. Ha igen, tudnia kell ezekről a inkompatibilitásokról, és meg kell találnia a megoldásuk módját.

Jótanács

A védett SQL-lekérdezésbővítményeket használó nézetek és SQL-lekérdezések valószínűleg olyan inkompatibilitásokat eredményeznek, amelyek hatással vannak a BI-jelentésekre és az irányítópultokra.

Más problémákat, például az értékek viselkedését NULL vagy az adattípus-variációkat a DBMS-platformokon tesztelni kell annak érdekében, hogy a számítási eredményekben még kisebb különbségek ne legyenek. Minimalizálja ezeket a problémákat, és tegye meg az összes szükséges lépést annak érdekében, hogy megvédje az üzleti felhasználókat attól, hogy azok érintettek legyenek. Az örökölt adattárház-környezettől függően olyan külső eszközök, amelyek segítenek elrejteni az örökölt és az új környezetek közötti különbségeket, hogy a BI-eszközök és -alkalmazások változatlanul fussanak.

A tesztelés kritikus fontosságú a vizualizáció és a jelentésmigrálás szempontjából. A tesztek mindkét környezetben való futtatásához és újrafuttatásához tesztcsomagra és egyeztetett tesztadatokra van szüksége. A tesztkeret is hasznos, és néhányat említ ebben az útmutatóban. Emellett fontos, hogy az üzleti felhasználókat is bevonjuk a migrálás tesztelési aspektusaiba, hogy magas szintű megbízhatóságot biztosítsunk nekik, és hogy a projekt részét képezze.

Jótanács

Ismétlődő tesztek használatával biztosíthatja a jelentések, irányítópultok és egyéb vizualizációk sikeres áttelepítését.

Előfordulhat, hogy bi-eszközök váltásán gondolkodik, például a Power BI-ba való migrálásra. A kísértés az, hogy az ilyen módosításokat a séma, az adatok, az ETL-feldolgozás stb. migrálásával egyidejűleg végezze el. A kockázat minimalizálása érdekében azonban jobb, ha először az Azure Synapse-be migrálunk, és mindent bevetünk, mielőtt további modernizációt végeznénk.

Ha a meglévő BI-eszközök a helyszínen futnak, győződjön meg arról, hogy a tűzfalon keresztül csatlakozhatnak az Azure Synapse-hez, így összehasonlíthatja mindkét környezetet. Ha a meglévő BI-eszközök szállítója az Azure-ban kínálja a termékét, ott is kipróbálhatja. Ugyanez vonatkozik a helyszíni alkalmazásra is, amelyek bi-t ágyaznak be vagy igény szerint meghívják a BI-kiszolgálót, például xml- vagy JSON-adatokkal rendelkező "fej nélküli jelentést" kérnek.

Itt sok mindenre kell gondolni, ezért nézzük meg közelebbről.

Adatvirtualizálás használata a migrálás bi-eszközökre és jelentésekre gyakorolt hatásának minimalizálásához

A migrálás során előfordulhat, hogy hosszú távú követelmények teljesítésére van szükség, például üzleti kérelmek megnyitására, hiányzó adatok hozzáadására vagy új funkciók bevezetésére. Az ilyen módosítások azonban hatással lehetnek az adattárházhoz való BI-eszközök hozzáférésére, különösen akkor, ha a változás az adatmodell szerkezeti változásait is magában foglalja. Ha agilis adatmodellezési technikát szeretne alkalmazni, vagy szerkezeti módosításokat szeretne végrehajtani, tegye ezt a migrálás után .

A sémamódosítások vagy egyéb szerkezeti változások bi-eszközökre gyakorolt hatásának minimalizálásának egyik módja, ha adatvirtualizálást vezet be a BI-eszközök, valamint az adattárház és az adattárházak között. Az alábbi ábra azt mutatja be, hogyan rejtheti el az adatvirtualizálás a felhasználók elől az áttelepítést.

Az adatvirtualizálás megszakítja az önkiszolgáló BI-eszközöket használó üzleti felhasználók közötti függőséget, valamint az alapul szolgáló adattárház és az áttelepített adattárházak fizikai sémáját.

Jótanács

Az adatvirtualizálással megvédheti az üzleti felhasználókat a szerkezeti változásoktól a migrálás során, így nem tudnak ezekről a változásokról. A szerkezeti módosítások közé tartoznak az Azure Synapse adatmodelljéhez hangolt sémamódosítások.

Az adatvirtualizálással az Azure Synapse-ba való migrálás során végrehajtott sémamódosítások, például a teljesítmény optimalizálása érdekében, elrejthetők az üzleti felhasználók elől, mivel csak az adatvirtualizálási rétegben lévő virtuális táblákhoz férnek hozzá. Ha pedig szerkezeti módosításokat hajt végre, csak az adattárház vagy az adattárházak és a virtuális táblák közötti leképezéseket kell frissítenie. Az adatvirtualizálással a felhasználók nem ismerik a szerkezeti változásokat. A Microsoft-partnerek adatvirtualizálási szoftvereket biztosítanak.

Elsőként migrálandó magas prioritású jelentések azonosítása

A meglévő jelentések és irányítópultok Azure Synapse-ba való migrálásakor kulcsfontosságú kérdés, hogy melyikeket kell először migrálni. Ezt a döntést több tényező is befolyásolhatja, például:

• Használat

• Üzleti érték

• Könnyű migrálás

• Adatmigrálási stratégia

A következő szakaszok ezeket a tényezőket ismertetik.

Bármi legyen is a döntése, az üzleti felhasználókat is bevonja, mert jelentéseket, irányítópultokat és egyéb vizualizációkat készítenek, és üzleti döntéseket hoznak ezekből az elemekből származó megállapítások alapján. Mindenki számára előnyös, ha:

• Jelentések és irányítópultok zökkenőmentes migrálása,
• Jelentések és irányítópultok migrálása minimális erőfeszítéssel, és
• Az örökölt adattárházrendszer helyett az Azure Synapse-ra irányíthatja a BI-eszköz(ek)et, és hasonló jelentéseket, irányítópultokat és egyéb vizualizációkat kaphat.

Jelentések migrálása a használat alapján

A használat gyakran az üzleti érték mutatója. A nem használt jelentések és irányítópultok egyértelműen nem járulnak hozzá az üzleti döntésekhez, és nem kínálnak aktuális értéket. Ha nem tudja megtudni, hogy mely jelentések és irányítópultok nincsenek használatban, használhatja a használati statisztikákat biztosító bi-eszközök egyikét.

Ha az örökölt adattárháza évek óta működik, akkor jó eséllyel több száz, ha nem ezres számú jelentés létezik. Érdemes összeállítani a jelentések és irányítópultok leltárát, és azonosítani azok üzleti célját és használati statisztikáit.

A fel nem használt jelentések esetében határozza meg, hogy le szeretné-e szerelni őket a migrálási munka csökkentése érdekében. A fel nem használt jelentések leszerelésének eldöntésekor az a legfontosabb kérdés, hogy a jelentés nem lett-e használatban, mert a felhasználók nem tudják, hogy létezik-e, mert nem kínál üzleti értéket, vagy mert egy másik jelentés felülírta.

Jelentések migrálása üzleti érték alapján

A használat önmagában nem mindig jó mutatója az üzleti értéknek. Érdemes megfontolni, hogy egy jelentés elemzési adatai milyen mértékben járulnak hozzá az üzleti értékhez. Ennek egyik módja a jelentésre és a támaszkodás mértékére támaszkodó üzleti döntések jövedelmezőségének értékelése. Ez az információ azonban nem valószínű, hogy könnyen elérhető lesz a legtöbb szervezetben.

Az üzleti érték kiértékelésének másik módja, ha megnézzük, hogy egy jelentés hogyan illeszkedik az üzleti stratégiához. A vezető által meghatározott üzleti stratégia általában stratégiai üzleti célkitűzéseket (SPO-kat), fő teljesítménymutatókat (KPI-ket), elérendő KPI-célokat határoz meg, és azok eléréséért felelős. Osztályozhatja a jelentést az alapján, hogy mely SBO-khoz járul hozzá, például a csalások csökkentéséhez, az ügyfél-elkötelezettség javításához és az üzleti műveletek optimalizálásához. Ezután rangsorolhatja a magas prioritású célkitűzésekhez társított jelentéseket és irányítópultokat a migráláshoz. Ily módon a kezdeti migrálás üzleti értéket biztosíthat egy stratégiai területen.

Az üzleti érték értékelésének másik módja a jelentések és irányítópultok operatív, taktikai vagy stratégiai besorolása annak megállapításához, hogy melyik üzleti szinten használják őket. Az SPO-k minden szinten hozzájárulást igényelnek. Ha tudja, hogy mely jelentéseket és irányítópultokat használják, milyen szinten és milyen célokhoz vannak társítva, a kezdeti migrálást a magas prioritású üzleti értékre összpontosíthatja. A jelentések és irányítópultok kiértékeléséhez az alábbi üzleti stratégia célkitűzéstábláját használhatja.

szint	Jelentés/ irányítópult neve	Üzleti cél	Használt osztály	Használati gyakoriság	Üzleti prioritás
Stratégiai
Taktikai
Működési

A metaadat-felderítési eszközök, például az Azure Data Catalog lehetővé teszik az üzleti felhasználók számára, hogy címkézzék és értékeljék az adatforrásokat, hogy bővítsék az adatforrások metaadatait a felderítésük és besorolásuk elősegítése érdekében. A jelentések vagy irányítópultok metaadataival könnyebben megértheti annak üzleti értékét. Ilyen eszközök nélkül a jelentések és irányítópultok üzleti értékhez való hozzájárulásának megértése valószínűleg időigényes feladat, akár migrál, akár nem.

Jelentések migrálása adatmigrálási stratégia alapján

Ha a migrálási stratégia az adat martok migrálásán alapul, akkor a data mart migrálásának sorrendje befolyásolja, hogy mely jelentések és irányítópultok migrálódnak először. Ha a stratégia üzleti értéken alapul, az adatpiacok Azure Synapse-ba való migrálásának sorrendje az üzleti prioritásokat tükrözi. A metaadat-felderítési eszközök segíthetnek a stratégia megvalósításában azáltal, hogy megmutatja, mely adattáblák mely jelentésekhez nyújtanak adatokat.

Jótanács

Az adatmigrálási stratégia befolyásolja, hogy mely jelentések és vizualizációk migrálhatók először.

A jelentésekre és vizualizációkra hatással lévő migrálási kompatibilitási problémák

A BI-eszközök jelentéseket, irányítópultokat és egyéb vizualizációkat hoznak létre olyan SQL-lekérdezések kiadásával, amelyek fizikai táblákhoz és/vagy nézetekhez férnek hozzá az adattárházban vagy az adatpiacon. Ha az örökölt adattárházat az Azure Synapse-be migrálja, számos tényező befolyásolhatja a jelentések, irányítópultok és egyéb vizualizációk egyszerű migrálását. Ezek a tényezők a következők:

• Séma inkompatibilitások a környezetek között.

• SQL-inkompatibilitások a környezetek között.

Séma-inkompatibilitások

Migráció során az adattárház vagy adatraktár táblái, amelyek jelentésekhez, irányítópultokhoz és egyéb vizualizációkhoz biztosítanak adatokat, séma-inkompatibilitásokkal szembesülhetnek.

• Az örökölt adattárház DBMS nem szabványos táblatípusai, amelyek nem rendelkeznek az Azure Synapse-beli megfelelőkkel.

• Az örökölt adattárház DBMS-ben lévő adattípusok, amelyek nem rendelkeznek az Azure Synapse-beli megfelelőkkel.

A legtöbb esetben van megoldás az inkompatibilitásokra. A nem támogatott táblatípusban lévő adatokat például áttelepítheti egy szabványos táblába, amely megfelelő adattípusokkal rendelkezik, és indexelt vagy particionált egy dátum/idő oszlopban. Hasonlóképpen lehetséges lehet egy másik oszloptípus nem támogatott adattípusainak ábrázolása és számítások végrehajtása az Azure Synapse-ban ugyanazon eredmények elérése érdekében.

Jótanács

A séma inkompatibilitásai közé tartoznak az örökölt raktári DBMS-táblatípusok és az Azure Synapse-ben nem támogatott adattípusok.

A séma inkompatibilitása által érintett jelentések azonosításához futtasson lekérdezéseket az örökölt adattárház rendszerkatalógusában a nem támogatott adattípusokkal rendelkező táblák azonosításához. Ezután a BI-eszköz metaadataival azonosíthatja azokat a jelentéseket, amelyek hozzáférnek az adott táblák adataihoz. Az objektumtípus-inkompatibilitások azonosításáról további információt a Nem támogatott Netezza-adatbázisobjektum-típusok című témakörben talál.

Jótanács

Az örökölt raktár dbMS rendszerkatalógusának lekérdezésével azonosíthatja a séma inkompatibilitásait az Azure Synapse-nal.

A séma inkompatibilitásainak hatása a jelentésekre, irányítópultokra és más vizualizációkra kisebb lehet, mint gondolná, mivel számos BI-eszköz nem támogatja a kevésbé általános adattípusokat. Ennek eredményeképpen előfordulhat, hogy az örökölt adattárház már rendelkezik olyan nézetekkel, amelyek CAST nem támogatják az általánosabb típusú adattípusokat.

SQL-inkompatibilitások

A migrálás során az SQL inkompatibilitásai valószínűleg hatással lesznek egy olyan alkalmazás vagy eszköz jelentésére, irányítópultjára vagy egyéb vizualizációjára, amely:

• Hozzáfér az örökölt adattárház DBMS-nézeteihez, amelyek olyan saját SQL-függvényeket tartalmaznak, amelyeknek nincs megfelelője az Azure Synapse-ban.

• Az olyan SQL-lekérdezéseket ad ki, amelyek tartalmazzák az Ön örökölt környezetének SQL-dialektusára jellemző, egyedi SQL-függvényeket, amelyeknek nincs megfelelőjük az Azure Synapse rendszerben.

Az SQL inkompatibilitásainak a jelentéskészítési portfólióra gyakorolt hatásának felmérése

A jelentéskészítési portfólió beágyazott lekérdezési szolgáltatásokat, jelentéseket, irányítópultokat és egyéb vizualizációkat tartalmazhat. Ne támaszkodjon az adott elemekhez társított dokumentációra, hogy felmérje az SQL inkompatibilitásainak hatását a jelentéskészítési portfólió Azure Synapse-ba való migrálására. Pontosabb módszert kell használnia az SQL inkompatibilitásainak értékeléséhez.

AZ SQL inkompatibilitásainak megkeresése a EXPLAIN utasításokkal

Az SQL-inkompatibilitásokat a rendszertáblából lekérdezve tekintheti meg a _v_qryhist legutóbbi SQL-tevékenységeket az örökölt Netezza-adattárházban. További információt a Lekérdezéselőzmények táblában talál. Szkripttel kinyerhet egy jellemző SQL-utasításkészletet egy fájlba. Ezután az egyes SQL-utasítások előtagja egy EXPLAIN utasítással, majd futtassa ezeket az EXPLAIN utasításokat az Azure Synapse-ban. A védett, nem támogatott SQL-bővítményeket tartalmazó SQL-utasításokat az Azure Synapse elutasítja az EXPLAIN utasítások végrehajtásakor. Ezzel a módszerrel felmérheti az SQL inkompatibilitásának mértékét.

Az örökölt adattárház ADATBÁZIS-adataiból származó metaadatok segíthetnek az inkompatibilis nézetek azonosításában is. A korábbiakhoz hasonlóan rögzítse az SQL-utasítások reprezentatív készletét, az egyes SQL-utasítások előtagját egy EXPLAIN utasítással, és futtassa ezeket az utasításokat az EXPLAIN Azure Synapse-ban a nem kompatibilis SQL-sel való nézetek azonosításához.

Jótanács

Mérje fel az SQL inkompatibilitásainak hatását a DBMS-naplófájlok begyűjtésével és az utasítások futtatásával EXPLAIN .

Tesztjelentés és irányítópult migrálása az Azure Synapse Analyticsbe

Az adattárház migrálásának egyik fő eleme a jelentések és irányítópultok tesztelése az Azure Synapse-ban az áttelepítés sikerességének ellenőrzéséhez. Határozzon meg egy tesztsorozatot és egy sor szükséges eredményt minden futtatandó teszthez a sikeresség ellenőrzéséhez. Tesztelje és hasonlítsa össze a meglévő és migrált adattárházrendszerek jelentéseit és irányítópultjait a következőkkel:

• Annak azonosítása, hogy a migrálás során végrehajtott sémamódosítások befolyásolták-e a jelentések futtatásának, a jelentés eredményeinek vagy a megfelelő jelentésvizualizációknak a képességét. Sémamódosításra példa, ha egy inkompatibilis adattípust az Azure Synapse-ban támogatott, egyenértékű adattípusra képez le.

• Ellenőrizze, hogy az összes felhasználó migrálva van-e.

• Ellenőrizze, hogy az összes szerepkör migrálva van-e, és hogy a felhasználók hozzá vannak-e rendelve ezekhez a szerepkörökhöz.

• Ellenőrizze, hogy az összes adathozzáférési biztonsági jogosultság migrálva van-e a hozzáférés-vezérlési lista (ACL) migrálásához.

• Konzisztens eredmények biztosítása az összes ismert lekérdezéshez, jelentéshez és irányítópulthoz.

• Győződjön meg arról, hogy az adatok és az ETL migrálása befejeződött és hibamentes.

• Győződjön meg arról, hogy az adatvédelmet tiszteletben tartja.

• Tesztelje a teljesítményt és a méretezhetőséget.

• Elemzési funkciók tesztelése.

Jótanács

A számítási költségek minimalizálása érdekében tesztelje és hangolja a teljesítményt.

A felhasználók, felhasználói csoportok, szerepkörök és jogosultságok áttelepítéséről további információt a Netezza-migrálások biztonságáról, hozzáféréséről és műveleteiről talál.

A tesztelés automatizálása a lehető legnagyobb mértékben az egyes tesztek megismételhetővé tétele és a teszteredmények kiértékelése konzisztens megközelítésének támogatása érdekében. Az automatizálás jól működik az ismert rendszeres jelentésekhez, és az Azure Synapse pipelines vagy az Azure Data Factory rendszeren keresztül kezelhető. Ha már rendelkezik teszt lekérdezésekkel a regressziós teszteléshez, a meglévő tesztelési eszközökkel automatizálhatja a migrálás utáni tesztelést.

Jótanács

Ajánlott eljárás egy automatizált tesztcsomag létrehozása a tesztek megismételhetővé tétele érdekében.

Az alkalmi elemzés és jelentéskészítés nagyobb kihívást jelent, és egy tesztkészlet összeállítását igényli annak ellenőrzéséhez, hogy a migrálás előtti és utáni jelentések és irányítópultok konzisztensek-e. Ha inkonzisztenciákat talál, akkor a migrálási tesztelés során elengedhetetlenné válik, hogy összehasonlítsa a metaadat-leállásokat az eredeti és a migrált rendszerek között. Ez az összehasonlítás kiemelheti a különbségeket, és megállapíthatja, hogy honnan származnak az inkonzisztenciák, ha az észlelés más módon nehéz.

Jótanács

Az eredmények ellenőrzéséhez használjunk olyan eszközöket, amelyek összehasonlítják a metaadat vonalvezetését.

Elemezze a vonalakat a jelentések, irányítópultok és adatok közötti függőségek megértéséhez

A jelentések és irányítópultok sikeres migrálásában kritikus szerepe van a származás megértésének. A származás olyan metaadat, amely bemutatja a migrált adatok útját, hogy nyomon tudja követni annak útját egy jelentésből vagy irányítópultról egészen az adatforrásig. A lineage azt mutatja be, hogyan haladtak az adatok pontról pontra, hol találhatók az adattárházban és/vagy az adatpiacban, és mely jelentések és irányítópultok használják azokat. A lineage segítségével megértheti, hogy mi történik az adatokkal, amikor az adatok különböző adattárakon, például fájlokon és adatbázisokon, különböző ETL-folyamatokon és jelentéseken haladnak keresztül. Ha az üzleti felhasználók hozzáférnek az adatsorokhoz, az javítja a bizalmat, növeli a megbízhatóságot, és támogatja a megalapozott üzleti döntéseket.

Jótanács

A metaadatok és az adatsorok hozzáférése a jelentésekből egészen az adatforrásig kritikus fontosságú annak ellenőrzéséhez, hogy az áttelepített jelentések megfelelően működnek-e.

A több gyártós adatraktár-környezetekben a BI-csapatok üzleti elemzői leképezhetik az adatsorokat. Ha például különböző szállítókat használ az ETL-hez, az adattárházhoz és a jelentéskészítéshez, és mindegyik szállító saját metaadat-adattárral rendelkezik, akkor nehéz és időigényes lehet kitalálni, hogy egy jelentés adott adateleme honnan származik.

Jótanács

A migrálás során értékesek azok az eszközök, amelyek automatizálják a metaadatok gyűjtését és a végpontok közötti leválasztást egy több gyártós környezetben.

Ha zökkenőmentesen szeretne migrálni egy örökölt adattárházból az Azure Synapse-be, a végpontok közötti adatsorok használatával bizonyíthatja a hasonló migrálást az egyes környezetek által létrehozott jelentések és irányítópultok összehasonlítása során. A végpontok közötti adatút megjelenítéséhez több eszköz metaadatait kell rögzítenie és integrálnia. Az automatizált metaadatok felderítését és adatsorrendet támogató eszközökhöz való hozzáféréssel azonosíthatja az ismétlődő jelentéseket vagy az ETL-folyamatokat, és megkeresheti az elavult, megkérdőjelezhető vagy nem létező adatforrásokra támaszkodó jelentéseket. Ezekkel az információkkal csökkentheti az áttelepített jelentések és ETL-folyamatok számát.

Összehasonlíthatja az Azure Synapse-jelentések végpontok közötti vonalvezetését az örökölt környezetben található jelentés végpontok közötti ágával, hogy ellenőrizze azokat a különbségeket, amelyek véletlenül előfordultak a migrálás során. Ez az összehasonlítási típus kivételesen hasznos, ha tesztelnie és ellenőriznie kell a migrálás sikerességét.

Az adatsorvizualizáció nemcsak az áttelepítési folyamat idejét, erőfeszítését és hibáját csökkenti, hanem gyorsabb migrálást is lehetővé tesz.

Automatizált metaadat-felderítési és adatútvonal-elemző eszközök használatával, amelyek összehasonlítják az adatok útvonalát, ellenőrizheti, hogy az Azure Synapse-ben a migrált adatokból előállított jelentés ugyanúgy készül-e a régi környezetben. Ez a képesség a következők meghatározásában is segít:

• Milyen adatokat kell migrálni a jelentések és irányítópultok sikeres végrehajtásának biztosításához az Azure Synapse-ban.

• Milyen átalakításokat kellett és kellett végrehajtani az Azure Synapse sikeres végrehajtásának biztosítása érdekében.

• A jelentések duplikációinak csökkentése.

Az automatizált metaadat-felderítési és adatleágazási eszközök jelentősen leegyszerűsítik a migrálási folyamatot, mivel segítenek a vállalatoknak jobban megismerni az adategységeiket, és tudniuk kell, mit kell migrálni az Azure Synapse-ba egy megbízható jelentési környezet eléréséhez.

Számos ETL-eszköz biztosít végpontok közötti leágazási képességet, ezért ellenőrizze, hogy a meglévő ETL-eszköz rendelkezik-e ezzel a képességgel, ha azt az Azure Synapse-jal tervezi használni. Az Azure Synapse-folyamatok vagy a Data Factory egyaránt támogatják a leképezési folyamatokban a vonalasság megtekintését. A Microsoft-partnerek automatizált metaadat-felderítési, adatsor- és életút-összehasonlító eszközöket is biztosítanak.

BI-eszközök szemantikai rétegeinek migrálása az Azure Synapse Analyticsbe

Egyes BI-eszközök szemantikai metaadat-rétegként ismertek. Ez a réteg leegyszerűsíti az üzleti felhasználók hozzáférését az adattárház vagy adattárház-adatbázis mögöttes fizikai adatstruktúráihoz. A szemantikai metaadatok rétege leegyszerűsíti a hozzáférést olyan magas szintű objektumok biztosításával, mint a dimenziók, mértékek, hierarchiák, számított metrikák és illesztések. A felső szintű objektumok üzleti kifejezéseket használnak, amelyek ismerősek az üzleti elemzők számára, és leképezhetők az adattárházban vagy adattárban lévő fizikai adatstruktúrákra.

Jótanács

Egyes BI-eszközök szemantikai rétegekkel rendelkeznek, amelyek leegyszerűsítik az üzleti felhasználók számára az adattárházban vagy adattárházban lévő fizikai adatstruktúrákhoz való hozzáférést.

Az adattárház-migrálás során előfordulhat, hogy az oszlopnevek vagy a táblanevek módosítására kényszerül. Az IBM Netezza-ban például a táblanevek "#" típusúak lehetnek. Az Azure Synapse-ban a "#" csak egy táblanév előtagjaként engedélyezett, hogy egy ideiglenes táblát jelezze. Az IBM Netezza-ban az ideiglenes táblák nevében nem feltétlenül szerepel "#", a Synapse esetében azonban kötelező. Ilyen esetekben előfordulhat, hogy újra kell végeznie a táblázatleképezések módosítását.

Ha több BI-eszköz konzisztenciáját szeretné elérni, hozzon létre egy univerzális szemantikai réteget egy olyan adatvirtualizálási kiszolgálóval, amely a BI-eszközök és alkalmazások, valamint az Azure Synapse között helyezkedik el. Az adatvirtualizálási kiszolgálón használjon gyakori adatneveket olyan magas szintű objektumokhoz, mint a dimenziók, mértékek, hierarchiák és illesztések. Így minden konfigurálható, beleértve a számított mezőket, az illesztéseket és a leképezéseket is, csak egyszer, nem pedig minden eszközben. Ezután irányítsa az összes BI-eszközt az adatvirtualizálási kiszolgálóra.

Jótanács

Adatvirtualizálással hozzon létre egy közös szemantikai réteget az Azure Synapse-környezet összes BI-eszközének konzisztenciájának garantálásához.

Az adatvirtualizálással konzisztenciát kaphat az összes BI-eszközben, és megszakíthatja a BI-eszközök és -alkalmazások, valamint az Azure Synapse mögöttes fizikai adatstruktúrái közötti függőséget. A Microsoft-partnerek segíthetnek a konzisztencia elérésében az Azure-ban. Az alábbi ábra bemutatja, hogy az adatvirtualizálási kiszolgáló gyakori szókincse hogyan teszi lehetővé, hogy több BI-eszköz láthassa a közös szemantikai réteget.

Összegzés

Egy "lift and shift" adattárház-migráció során a legtöbb jelentésnek, irányítópultnak és egyéb vizualizációnak könnyen át kellene helyeződnie.

Az örökölt környezetből való migrálás során előfordulhat, hogy az örökölt adattárház vagy adattároló táblák adatai nem támogatott adattípusokban tárolódnak. Vagy olyan régi adattárház-nézeteket is találhat, amelyek speciális SQL-t tartalmaznak, amihez nincs megfelelő az Azure Synapse-ban. Ha igen, meg kell oldania ezeket a problémákat az Azure Synapse-ba való sikeres migrálás biztosításához.

Ne támaszkodjon a felhasználó által karbantartott dokumentációra, hogy azonosítsa a problémák helyét. Ehelyett használjon EXPLAIN utasításokat, mert gyors, gyakorlatias módszer az SQL inkompatibilitásainak azonosítására. A nem kompatibilis SQL-utasítások átdolgozása az Azure Synapse egyenértékű funkcióinak elérése érdekében. Emellett használjon automatizált metaadat-felderítési és leágazási eszközöket a függőségek megértéséhez, az ismétlődő jelentések kereséséhez, valamint az elavult, megkérdőjelezhető vagy nem létező adatforrásokra támaszkodó érvénytelen jelentések azonosításához. A származási eszközökkel hasonlítsa össze a származást annak ellenőrzésére, hogy a régebbi adattárház-környezetében futó jelentések azonos módon készültek-e az Azure Synapse-ban.

Ne migrálja a már nem használt jelentéseket. A BI-eszközök használati adatai segíthetnek meghatározni, hogy mely jelentések nincsenek használatban. A migrálni kívánt jelentések, irányítópultok és egyéb vizualizációk esetében migrálja az összes felhasználót, felhasználói csoportot, szerepkört és jogosultságot. Ha üzleti értéket használ a jelentésmigrálási stratégia kialakításához, a jelentések stratégiai üzleti célkitűzésekhez és prioritásokhoz való társítása segít azonosítani a jelentéselemzések adott célkitűzésekhez való hozzájárulását. Ha adatpiaconként migrál, metaadatok segítségével azonosíthatja, hogy mely jelentések függenek mely tábláktól és nézetektől, így megalapozott döntést hozhat arról, hogy mely adatpiacokat migrálja először.

Jótanács

Az inkompatibilitások korai azonosítása a migrálási erőfeszítések mértékének felméréséhez. Migrálja a felhasználókat, a csoportszerepköröket és a jogosultsági hozzárendeléseket. Csak azokat a jelentéseket és vizualizációkat migrálja, amelyeket használnak, és üzleti értékhez járulnak hozzá.

Az adattárház vagy az adattárház adatmodelljének szerkezeti változásai a migrálás során következhetnek be. Fontolja meg az adatvirtualizálás használatát a BI-eszközök és alkalmazások strukturális változásoktól való megvédéséhez. Az adatvirtualizálással közös szókincs használatával definiálhat egy közös szemantikai réteget. A közös szemantikai réteg egységes általános adatneveket, definíciókat, metrikákat, hierarchiákat és illesztéseket biztosít az új Azure Synapse-környezetben található összes BI-eszköz és alkalmazás között.

Következő lépések

Ha többet szeretne megtudni az SQL-problémák minimalizálásáról, tekintse meg a következő cikket ebben a sorozatban: A Netezza-migrálások SQL-problémáinak minimalizálása.