Visualisatie en rapportage voor Netezza-migraties

Dit artikel is deel vier van een zevendelige reeks met richtlijnen voor het migreren van Netezza naar Azure Synapse Analytics. De focus van dit artikel ligt op best practices voor visualisatie en rapportage.

Toegang tot Azure Synapse Analytics met behulp van BI-hulpprogramma's van Microsoft en derden

Organisaties hebben toegang tot datawarehouses en datamarts met behulp van een reeks hulpprogramma's en toepassingen voor business intelligence (BI). Enkele voorbeelden van BI-producten zijn:

• Microsoft BI-hulpprogramma's, zoals Power BI.

• Office-toepassingen, zoals Microsoft Excel-spreadsheets.

• BI-hulpprogramma's van derden van verschillende leveranciers.

• Aangepaste analysetoepassingen met ingesloten BI-hulpprogrammafunctionaliteit.

• Operationele toepassingen die BI op aanvraag ondersteunen door query's en rapporten uit te voeren op een BI-platform dat op zijn beurt query's uitvoert op gegevens in een datawarehouse of datamart.

• Interactieve hulpprogramma's voor data science-ontwikkeling, zoals Azure Synapse Spark Notebooks, Azure Machine Learning, RStudio en Jupyter Notebooks.

Als u visualisatie en rapportage migreert als onderdeel van uw datawarehouse-migratie, moeten alle bestaande query's, rapporten en dashboards die door BI-producten worden gegenereerd, worden uitgevoerd in de nieuwe omgeving. Uw BI-producten moeten op Azure Synapse dezelfde resultaten opleveren als in uw verouderde datawarehouse-omgeving.

Voor consistente resultaten na de migratie moeten alle BI-hulpprogramma's en toepassingsafhankelijkheden werken nadat u uw datawarehouseschema en gegevens hebt gemigreerd naar Azure Synapse. De afhankelijkheden bevatten minder zichtbare aspecten, zoals toegang en beveiliging. Wanneer u over toegang en beveiliging gaat, moet u ervoor zorgen dat u migreert:

• Verificatie zodat gebruikers zich kunnen aanmelden bij de datawarehouse- en datamart-databases op Azure Synapse.

• Alle gebruikers die Azure Synapse.

• Alle gebruikersgroepen die moeten worden Azure Synapse.

• Alle rollen die moeten worden Azure Synapse.

• Alle autorisatiebevoegdheden die toegangsbeheer voor Azure Synapse.

• Toewijzingen van gebruikers, rollen en bevoegdheden om te spiegelen wat u in uw bestaande datawarehouse had vóór de migratie. Bijvoorbeeld:

  • Bevoegdheden voor databaseobjecten die zijn toegewezen aan rollen
  • Rollen die zijn toegewezen aan gebruikersgroepen
  • Gebruikers die zijn toegewezen aan gebruikersgroepen en/of rollen

Toegang en beveiliging zijn belangrijke overwegingen voor gegevenstoegang in het gemigreerde systeem en worden uitgebreid besproken in Beveiliging, toegang en bewerkingen voor Netezza-migraties.

Tip

Bestaande gebruikers, gebruikersgroepen, rollen en toewijzingen van toegangsbeveiligingsbevoegdheden moeten eerst worden gemigreerd voor een geslaagde migratie van rapporten en visualisaties.

Migreer alle vereiste gegevens om ervoor te zorgen dat de rapporten en dashboards die gegevens opvragen in de verouderde omgeving, dezelfde resultaten opleveren in Azure Synapse.

Zakelijke gebruikers verwachten een naadloze migratie, zonder verrassingen die hun vertrouwen in het gemigreerde systeem op Azure Synapse. Zorg ervoor dat u eventuele angsten wegneemt die uw gebruikers mogelijk hebben door middel van goede communicatie. Uw gebruikers verwachten dat:

• De tabelstructuur blijft hetzelfde wanneer er rechtstreeks naar wordt verwezen in query's.

• Tabel- en kolomnamen blijven hetzelfde wanneer er rechtstreeks naar wordt verwezen in query's. Berekende velden die zijn gedefinieerd voor kolommen in BI-hulpprogramma's, mogen bijvoorbeeld niet mislukken wanneer statistische rapporten worden geproduceerd.

• De historische analyse blijft hetzelfde.

• Gegevenstypen blijven, indien mogelijk, hetzelfde.

• Het querygedrag blijft hetzelfde.

• ODBC-/JDBC-stuurprogramma's worden getest om ervoor te zorgen dat het querygedrag hetzelfde blijft.

Tip

Communicatie en betrokkenheid van zakelijke gebruikers zijn essentieel voor succes.

Als BI-hulpprogramma's query's uitvoeren op weergaven in de onderliggende datawarehouse- of datamart-database, werken deze weergaven dan nog steeds na de migratie? Sommige weergaven werken mogelijk niet als er eigen SQL-extensies zijn die specifiek zijn voor uw verouderde datawarehouse-DBMS die geen equivalent hebben in Azure Synapse. Als dat het zo is, moet u op de hoogte zijn van deze compatibiliteitsproblemen en een manier vinden om ze op te lossen.

Tip

Weergaven en SQL-query's met behulp van eigen SQL-queryextensies leiden waarschijnlijk tot incompatibiliteit die van invloed zijn op BI-rapporten en -dashboards.

Andere problemen, zoals het gedrag van waarden of variaties van NULL gegevenstypen in DBMS-platforms, moeten worden getest om ervoor te zorgen dat zelfs kleine verschillen niet bestaan in de berekeningsresultaten. Minimaliseer deze problemen en neem alle benodigde stappen om te voorkomen dat zakelijke gebruikers er last van hebben. Afhankelijk van uw verouderde datawarehouse-omgeving kunnen hulpprogramma's van derden helpen de verschillen tussen de verouderde en nieuwe omgevingen te verbergen, zodat BI-hulpprogramma's en -toepassingen ongewijzigd worden uitgevoerd.

Testen is essentieel voor visualisatie- en rapportmigratie. U hebt een testpakket en overeengekomen testgegevens nodig om tests in beide omgevingen uit te voeren en opnieuw uit te voeren. Een testharnas is ook handig en er worden er een paar genoemd in deze handleiding. Het is ook belangrijk om zakelijke gebruikers te betrekken bij het testaspect van de migratie om het vertrouwen hoog te houden en hen betrokken te houden en deel uit te maken van het project.

Tip

Gebruik herhaalbare tests om ervoor te zorgen dat rapporten, dashboards en andere visualisaties met succes worden gemigreerd.

U kunt overwegen om van BI-hulpprogramma over te schakelen, bijvoorbeeld om te migreren naar Power BI. De verleiding is om dergelijke wijzigingen aan te brengen op hetzelfde moment dat u uw schema, gegevens, ETL-verwerking en meer migreert. Om risico's te minimaliseren, is het echter beter om eerst naar Azure Synapse te migreren en alles te laten werken voordat u verder gaat moderniseren.

Als uw bestaande BI-hulpprogramma's on-premises worden uitgevoerd, moet u ervoor zorgen dat ze verbinding kunnen maken met Azure Synapse via uw firewall, zodat u vergelijkingen kunt uitvoeren met beide omgevingen. Als de leverancier van uw bestaande BI-hulpprogramma's hun product op Azure aanbiedt, kunt u het daar ook proberen. Hetzelfde geldt voor toepassingen die on-premises worden uitgevoerd die BI insluiten of uw BI-server op aanvraag aanroepen, bijvoorbeeld door een 'headless rapport' met XML- of JSON-gegevens aan te vragen.

Er is hier veel om over na te denken, dus laten we het eens nader bekijken.

Gegevensvirtualisatie gebruiken om de impact van migratie op BI-hulpprogramma's en -rapporten te minimaliseren

Tijdens de migratie kunt u mogelijk voldoen aan vereisten voor de lange termijn, zoals het openen van zakelijke aanvragen, het toevoegen van ontbrekende gegevens of het implementeren van nieuwe functies. Dergelijke wijzigingen kunnen echter van invloed zijn op de toegang van het BI-hulpprogramma tot uw datawarehouse, met name als de wijziging structurele wijzigingen in uw gegevensmodel met zich meebrengt. Als u een flexibele methode voor gegevensmodellering wilt gebruiken of structurele wijzigingen wilt implementeren, doet u dit na de migratie.

Een manier om het effect van schemawijzigingen of andere structurele wijzigingen op uw BI-hulpprogramma's te minimaliseren, is het introduceren van gegevensvirtualisatie tussen de BI-hulpprogramma's en uw datawarehouse en datamarts. In het volgende diagram ziet u hoe gegevensvirtualisatie een migratie voor gebruikers kan verbergen.

Gegevensvirtualisatie onderbreekt de afhankelijkheid tussen zakelijke gebruikers die gebruikmaken van selfservice BI-hulpprogramma's en het fysieke schema van het onderliggende datawarehouse en de datamarts die worden gemigreerd.

Tip

Met gegevensvirtualisatie kunt u zakelijke gebruikers beschermen tegen structurele wijzigingen tijdens de migratie, zodat ze zich niet bewust zijn van deze wijzigingen. Structurele wijzigingen omvatten schemawijzigingen die uw gegevensmodel afstemmen op Azure Synapse.

Met gegevensvirtualisatie kunnen schemawijzigingen die tijdens een migratie naar Azure Synapse worden aangebracht, bijvoorbeeld om de prestaties te optimaliseren, worden verborgen voor zakelijke gebruikers omdat ze alleen toegang hebben tot virtuele tabellen in de gegevensvirtualisatielaag. En als u structurele wijzigingen aanbrengt, hoeft u alleen de toewijzingen tussen het datawarehouse of de datamarts en virtuele tabellen bij te werken. Met gegevensvirtualisatie blijven gebruikers zich niet bewust van structurele wijzigingen. Microsoft-partners bieden software voor gegevensvirtualisatie.

Rapporten met hoge prioriteit identificeren die eerst moeten worden gemigreerd

Een belangrijke vraag bij het migreren van uw bestaande rapporten en dashboards naar Azure Synapse is welke u als eerste moet migreren. Deze beslissing kan worden genomen door verschillende factoren, zoals:

• Gebruik

• Bedrijfswaarde

• Eenvoudige migratie

• Strategie voor gegevensmigratie

In de volgende secties worden deze factoren besproken.

Wat uw beslissing ook is, uw zakelijke gebruikers moeten hierbij betrokken zijn, omdat ze de rapporten, dashboards en andere visualisaties produceren en zakelijke beslissingen nemen op basis van inzichten uit die items. Iedereen profiteert wanneer u het volgende kunt doen:

• Rapporten en dashboards naadloos migreren
• Rapporten en dashboards migreren met minimale inspanning, en
• Richt uw BI-hulpprogramma('s) op Azure Synapse in plaats van uw verouderde datawarehousesysteem en ontvang soortgelijke rapporten, dashboards en andere visualisaties.

Rapporten migreren op basis van gebruik

Gebruik is vaak een indicator van bedrijfswaarde. Ongebruikte rapporten en dashboards dragen duidelijk niet bij aan zakelijke beslissingen en bieden geen actuele waarde. Als u geen manier hebt om erachter te komen welke rapporten en dashboards niet worden gebruikt, kunt u een van de verschillende BI-hulpprogramma's gebruiken die gebruiksstatistieken bieden.

Als uw verouderde datawarehouse al jaren actief is, is de kans groot dat u honderden, zo niet duizenden, rapporten hebt. Het is de moeite waard om een inventaris van rapporten en dashboards op te stellen en hun bedrijfsdoel- en gebruiksstatistieken te identificeren.

Voor ongebruikte rapporten bepaalt u of u ze buiten gebruik wilt stellen om uw migratie-inspanning te verminderen. Een belangrijke vraag bij het uit bedrijf nemen van een ongebruikt rapport is of het rapport niet wordt gebruikt omdat mensen niet weten dat het bestaat, omdat het geen bedrijfswaarde biedt of omdat het is vervangen door een ander rapport.

Rapporten migreren op basis van bedrijfswaarde

Gebruik alleen is niet altijd een goede indicator van bedrijfswaarde. U kunt overwegen in hoeverre de inzichten van een rapport bijdragen aan de bedrijfswaarde. Een manier om dit te doen, is door de winstgevendheid te evalueren van elke zakelijke beslissing die afhankelijk is van het rapport en de mate van afhankelijkheid. Het is echter onwaarschijnlijk dat deze informatie in de meeste organisaties direct beschikbaar is.

Een andere manier om de bedrijfswaarde te evalueren, is door te kijken naar de afstemming van een rapport met de bedrijfsstrategie. De bedrijfsstrategie die door uw leidinggevende is ingesteld, bevat doorgaans strategische bedrijfsdoelstellingen (SBO's), KPI's (Key Performance Indicators), KPI-doelen die moeten worden behaald en wie verantwoordelijk is voor het bereiken ervan. U kunt een rapport classificeren aan welke SBO's het rapport bijdraagt, zoals fraudevermindering, verbeterde klantbetrokkenheid en geoptimaliseerde bedrijfsactiviteiten. Vervolgens kunt u voor de migratie prioriteit geven aan de rapporten en dashboards die zijn gekoppeld aan doelstellingen met hoge prioriteit. Op deze manier kan de initiële migratie bedrijfswaarde leveren op een strategisch gebied.

Een andere manier om de bedrijfswaarde te evalueren, is door rapporten en dashboards te classificeren als operationeel, tactisch of strategisch om te bepalen op welk bedrijfsniveau ze worden gebruikt. SBO's vereisen bijdragen op al deze niveaus. Door te weten welke rapporten en dashboards worden gebruikt, op welk niveau en aan welke doelstellingen ze zijn gekoppeld, kunt u de eerste migratie richten op bedrijfswaarde met hoge prioriteit. U kunt de volgende tabel met bedrijfsstrategiedoelstelling gebruiken om rapporten en dashboards te evalueren.

Niveau	Naam van rapport/dashboard	Zakelijk doel	Gebruikte afdeling	Gebruiksfrequentie	Bedrijfsprioriteit
Strategisch
Tactisch
Operationeel

Met hulpprogramma's voor metagegevensdetectie, zoals Azure Data Catalog kunnen zakelijke gebruikers gegevensbronnen taggen en beoordelen om de metagegevens voor die gegevensbronnen te verrijken om te helpen bij hun detectie en classificatie. U kunt de metagegevens voor een rapport of dashboard gebruiken om inzicht te geven in de bedrijfswaarde ervan. Zonder dergelijke hulpprogramma's is het begrijpen van de bijdrage van rapporten en dashboards aan de bedrijfswaarde waarschijnlijk een tijdrovende taak, ongeacht of u migreert of niet.

Rapporten migreren op basis van een strategie voor gegevensmigratie

Als uw migratiestrategie is gebaseerd op het eerst migreren van datamarts, is de volgorde van de datamartmigratie van invloed op welke rapporten en dashboards het eerst worden gemigreerd. Als uw strategie is gebaseerd op bedrijfswaarde, weerspiegelt de volgorde waarin u datamarts migreert naar Azure Synapse de bedrijfsprioriteiten. Hulpprogramma's voor het detecteren van metagegevens kunnen u helpen bij het implementeren van uw strategie door te laten zien welke datamart-tabellen gegevens leveren voor welke rapporten.

Tip

Uw strategie voor gegevensmigratie bepaalt welke rapporten en visualisaties als eerste worden gemigreerd.

Incompatibiliteitsproblemen met migraties die van invloed kunnen zijn op rapporten en visualisaties

BI-hulpprogramma's produceren rapporten, dashboards en andere visualisaties door SQL-query's uit te voeren die toegang hebben tot fysieke tabellen en/of weergaven in uw datawarehouse of datamart. Wanneer u uw verouderde datawarehouse naar Azure Synapse migreert, kunnen verschillende factoren van invloed zijn op het gemak van de migratie van rapporten, dashboards en andere visualisaties. Deze factoren zijn onder andere:

• Schemacompatibiliteit tussen de omgevingen.

• SQL-incompatibiliteit tussen de omgevingen.

Schemacompatibiliteit

Tijdens een migratie kunnen schemacompatibiliteiten in de datawarehouse- of datamarttabellen die gegevens leveren voor rapporten, dashboards en andere visualisaties, zijn:

• Niet-standaardtabeltypen in uw verouderde datawarehouse-DBMS die geen equivalent hebben in Azure Synapse.

• Gegevenstypen in uw verouderde datawarehouse-DBMS die geen equivalent hebben in Azure Synapse.

In de meeste gevallen is er een tijdelijke oplossing voor de compatibiliteitsproblemen. U kunt bijvoorbeeld de gegevens in een niet-ondersteund tabeltype migreren naar een standaardtabel met de juiste gegevenstypen en geïndexeerd of gepartitioneerd op een datum/tijd-kolom. Op dezelfde manier is het mogelijk om niet-ondersteunde gegevenstypen in een ander type kolom weer te geven en berekeningen uit te voeren in Azure Synapse om dezelfde resultaten te bereiken.

Tip

Schemacompatibiliteit omvat verouderde DBMS-tabeltypen en gegevenstypen die niet worden ondersteund op Azure Synapse.

Als u de rapporten wilt identificeren die worden beïnvloed door schema-incompatibiliteit, voert u query's uit op de systeemcatalogus van uw verouderde datawarehouse om de tabellen met niet-ondersteunde gegevenstypen te identificeren. Vervolgens kunt u metagegevens van uw BI-hulpprogramma gebruiken om de rapporten te identificeren die toegang hebben tot gegevens in die tabellen. Zie Niet-ondersteunde Netezza-databaseobjecttypen voor meer informatie over het identificeren van objecttypecompatibiliteit.

Tip

Voer een query uit in de systeemcatalogus van uw verouderde magazijn-DBMS om schemacompatibiliteit met Azure Synapse te identificeren.

Het effect van incompatibiliteit van schema's op rapporten, dashboards en andere visualisaties is mogelijk minder dan u denkt, omdat veel BI-hulpprogramma's geen ondersteuning bieden voor de minder algemene gegevenstypen. Als gevolg hiervan heeft uw verouderde datawarehouse mogelijk al weergaven van CAST niet-ondersteunde gegevenstypen tot meer algemene typen.

Incompatibiliteit van SQL

Tijdens een migratie zijn incompatibiliteit van SQL waarschijnlijk van invloed op rapporten, dashboards of andere visualisaties in een toepassing of hulpprogramma die:

• Hiermee krijgt u toegang tot verouderde DBMS-weergaven van datawarehouses met eigen SQL-functies die geen equivalent hebben in Azure Synapse.

• Problemen met SQL-query's die eigen SQL-functies bevatten, specifiek voor het SQL-dialect van uw verouderde omgeving, die geen equivalent hebben in Azure Synapse.

De impact van incompatibiliteit van SQL op uw rapportageportfolio meten

Uw rapportageportfolio kan ingesloten queryservices, rapporten, dashboards en andere visualisaties bevatten. Vertrouw niet op de documentatie die aan deze items is gekoppeld om het effect van incompatibiliteit van SQL te meten op de migratie van uw rapportageportfolio naar Azure Synapse. U moet een nauwkeurigere manier gebruiken om het effect van incompatibiliteit van SQL te beoordelen.

EXPLAIN-instructies gebruiken om te zoeken naar incompatibiliteit van SQL

U kunt SQL-compatibiliteitsproblemen vinden door een query uit te voeren op de _v_qryhist systeemtabel om recente SQL-activiteiten in uw verouderde Netezza-datawarehouse weer te geven. Zie Querygeschiedenistabel voor meer informatie. Gebruik een script om een representatieve set SQL-instructies uit te pakken in een bestand. Voeg vervolgens een EXPLAIN instructie toe aan elke SQL-instructie en voer deze EXPLAIN instructies uit in Azure Synapse. SQL-instructies met eigen niet-ondersteunde SQL-extensies worden geweigerd door Azure Synapse wanneer de EXPLAIN instructies worden uitgevoerd. Met deze benadering kunt u de mate van incompatibiliteit van SQL beoordelen.

Metagegevens van uw verouderde datawarehouse-DBMS kunnen u ook helpen bij het identificeren van incompatibele weergaven. Leg net als voorheen een representatieve set SQL-instructies vast, voeg een voorvoegsel toe aan elke SQL-instructie EXPLAIN en voer deze EXPLAIN instructies uit in Azure Synapse om weergaven met incompatibele SQL te identificeren.

Tip

Meet de impact van incompatibiliteit van SQL door uw DBMS-logboekbestanden te verzamelen en instructies uit te voeren EXPLAIN .

Migratie van rapporten en dashboards naar Azure Synapse Analytics testen

Een belangrijk element van datawarehousemigratie is het testen van rapporten en dashboards in Azure Synapse om te controleren of de migratie heeft gewerkt. Definieer een reeks tests en een set vereiste resultaten voor elke test die u gaat uitvoeren om te controleren of het is gelukt. Test en vergelijk de rapporten en dashboards in uw bestaande en gemigreerde datawarehousesystemen om:

• Bepaal of schemawijzigingen die tijdens de migratie zijn aangebracht, van invloed zijn op de mogelijkheid van rapporten om uit te voeren, rapportresultaten of de bijbehorende rapportvisualisaties. Een voorbeeld van een schemawijziging is als u een incompatibel gegevenstype hebt toegewezen aan een gelijkwaardig gegevenstype dat wordt ondersteund in Azure Synapse.

• Controleer of alle gebruikers zijn gemigreerd.

• Controleer of alle rollen zijn gemigreerd en of gebruikers zijn toegewezen aan deze rollen.

• Controleer of alle beveiligingsbevoegdheden voor gegevenstoegang zijn gemigreerd om migratie van toegangsbeheerlijsten (ACL) te garanderen.

• Zorg voor consistente resultaten voor alle bekende query's, rapporten en dashboards.

• Zorg ervoor dat de gegevens- en ETL-migratie is voltooid en foutloos is.

• Zorg ervoor dat de gegevensprivacy wordt gehandhaafd.

• Prestaties en schaalbaarheid testen.

• Test de analytische functionaliteit.

Tip

Prestaties testen en afstemmen om de rekenkosten te minimaliseren.

Zie Beveiliging, toegang en bewerkingen voor Netezza-migraties voor informatie over het migreren van gebruikers, gebruikersgroepen, rollen en bevoegdheden.

Automatiseer testen zoveel mogelijk om elke test herhaalbaar te maken en een consistente benadering voor het evalueren van testresultaten te ondersteunen. Automatisering werkt goed voor bekende reguliere rapporten en kan worden beheerd via Azure Synapse pijplijnen of Azure Data Factory indeling. Als u al een reeks testquery's hebt voor regressietests, kunt u de bestaande testhulpprogramma's gebruiken om het testen na de migratie te automatiseren.

Tip

De best practice is om een geautomatiseerde testsuite te bouwen om tests herhaalbaar te maken.

Ad-hocanalyse en -rapportage zijn lastiger en vereisen het compileren van een set tests om te controleren of dezelfde rapporten en dashboards van vóór en na de migratie consistent zijn. Als u inconsistenties aantreft, is het van cruciaal belang dat u de herkomst van metagegevens in de oorspronkelijke en gemigreerde systemen kunt vergelijken tijdens het testen van de migratie. Deze vergelijking kan verschillen markeren en aanwijzen waar inconsistenties vandaan komen, wanneer detectie op andere manieren moeilijk is.

Tip

Maak gebruik van hulpprogramma's die de gegevensherkomst van metagegevens vergelijken om resultaten te verifiëren.

Herkomst analyseren om inzicht te hebben in afhankelijkheden tussen rapporten, dashboards en gegevens

Uw kennis van herkomst is een essentiële factor voor een geslaagde migratie van rapporten en dashboards. Herkomst is metagegevens die het traject van gemigreerde gegevens weergeven, zodat u het pad van een rapport of dashboard helemaal terug naar de gegevensbron kunt bijhouden. Gegevensherkomst laat zien hoe gegevens van punt naar punt zijn gereisd, de locatie in het datawarehouse en/of de datamart en welke rapporten en dashboards deze gebruiken. Gegevensherkomst kan u helpen begrijpen wat er gebeurt met gegevens die door verschillende gegevensarchieven worden geleid, zoals bestanden en databases, verschillende ETL-pijplijnen en in rapporten. Wanneer zakelijke gebruikers toegang hebben tot gegevensherkomst, verbetert het het vertrouwen, geeft het vertrouwen en ondersteunt het weloverwogen zakelijke beslissingen.

Tip

De mogelijkheid om toegang te krijgen tot metagegevens en gegevensherkomst van rapporten helemaal terug naar een gegevensbron, is essentieel om te controleren of gemigreerde rapporten correct werken.

In datawarehouseomgevingen met meerdere leveranciers kunnen bedrijfsanalisten in BI-teams gegevensherkomst in kaart laten komen. Als u bijvoorbeeld verschillende leveranciers gebruikt voor ETL, datawarehouse en rapportage en elke leverancier een eigen metagegevensopslagplaats heeft, kan het uitzoeken waar een specifiek gegevenselement in een rapport vandaan komt lastig en tijdrovend zijn.

Tip

Hulpprogramma's die het verzamelen van metagegevens automatiseren en end-to-end herkomst weergeven in een omgeving met meerdere leveranciers, zijn waardevol tijdens een migratie.

Als u naadloos wilt migreren van een verouderd datawarehouse naar Azure Synapse, gebruikt u end-to-end-gegevensherkomst om een like-voor-achtige migratie te bewijzen wanneer u de rapporten en dashboards vergelijkt die door elke omgeving worden gegenereerd. Als u het end-to-end-gegevenstraject wilt weergeven, moet u metagegevens van verschillende hulpprogramma's vastleggen en integreren. Toegang tot hulpprogramma's die ondersteuning bieden voor geautomatiseerde detectie van metagegevens en gegevensherkomst, helpt u dubbele rapporten of ETL-processen te identificeren en rapporten te vinden die afhankelijk zijn van verouderde, twijfelachtige of niet-bestaande gegevensbronnen. U kunt deze informatie gebruiken om het aantal rapporten en ETL-processen dat u migreert te verminderen.

U kunt ook de end-to-endherkomst van een rapport in Azure Synapse vergelijken met de end-to-end-herkomst van hetzelfde rapport in uw verouderde omgeving om te controleren op verschillen die mogelijk per ongeluk zijn opgetreden tijdens de migratie. Dit type vergelijking is bijzonder nuttig wanneer u de migratie wilt testen en controleren.

Visualisatie van gegevensherkomst vermindert niet alleen tijd, moeite en fouten in het migratieproces, maar maakt ook snellere migratie mogelijk.

Met behulp van geautomatiseerde hulpprogramma's voor het detecteren van metagegevens en gegevensherkomst waarmee gegevensherkomst worden vergeleken, kunt u controleren of een rapport in Azure Synapse dat is geproduceerd op basis van gemigreerde gegevens, op dezelfde manier wordt geproduceerd in uw verouderde omgeving. Deze mogelijkheid helpt u ook bij het bepalen van:

• Welke gegevens moeten worden gemigreerd om een geslaagde uitvoering van rapporten en dashboards in Azure Synapse te garanderen.

• Welke transformaties zijn en moeten worden uitgevoerd om een succesvolle uitvoering in Azure Synapse te garanderen.

• Duplicatie van rapporten verminderen.

Geautomatiseerde hulpprogramma's voor het detecteren van metagegevens en gegevensherkomst vereenvoudigen het migratieproces aanzienlijk, omdat ze bedrijven helpen zich bewuster te worden van hun gegevensassets en te weten wat er moet worden gemigreerd naar Azure Synapse om een solide rapportageomgeving te bereiken.

Verschillende ETL-hulpprogramma's bieden end-to-end herkomstmogelijkheden. Controleer dus of uw bestaande ETL-hulpprogramma die mogelijkheid heeft als u van plan bent om het te gebruiken met Azure Synapse. Azure Synapse pijplijnen of Data Factory ondersteunen beide de mogelijkheid om herkomst in toewijzingsstromen weer te geven. Microsoft-partners bieden ook geautomatiseerde hulpprogramma's voor het detecteren van metagegevens, gegevensherkomst en herkomstvergelijking.

Semantische lagen van het BI-hulpprogramma migreren naar Azure Synapse Analytics

Sommige BI-hulpprogramma's hebben een zogeheten semantische metagegevenslaag. Deze laag vereenvoudigt de toegang van zakelijke gebruikers tot de onderliggende fysieke gegevensstructuren in een datawarehouse- of datamart-database. De semantische metagegevenslaag vereenvoudigt de toegang door objecten op hoog niveau te bieden, zoals dimensies, metingen, hiërarchieën, berekende metrische gegevens en joins. De objecten op hoog niveau gebruiken zakelijke termen die bekend zijn bij bedrijfsanalisten en worden toegewezen aan fysieke gegevensstructuren in uw datawarehouse of datamart.

Tip

Sommige BI-hulpprogramma's hebben semantische lagen die zakelijke gebruikerstoegang tot fysieke gegevensstructuren in uw datawarehouse of datamart vereenvoudigen.

In een datawarehouse-migratie kunnen wijzigingen in kolomnamen of tabelnamen aan u worden opgelegd. In IBM Netezza kunnen tabelnamen bijvoorbeeld een '#' hebben. In Azure Synapse is de '#' alleen toegestaan als voorvoegsel voor een tabelnaam om een tijdelijke tabel aan te geven. In IBM Netezza hebben TIJDELIJKE TABELLEN niet noodzakelijkerwijs een '#' in de naam, maar in Synapse wel. Mogelijk moet u in dergelijke gevallen wat bijwerken om tabeltoewijzingen te wijzigen.

Als u consistentie tussen meerdere BI-hulpprogramma's wilt bereiken, maakt u een universele semantische laag met behulp van een gegevensvirtualisatieserver tussen BI-hulpprogramma's en -toepassingen en Azure Synapse. Gebruik in de gegevensvirtualisatieserver algemene gegevensnamen voor objecten op hoog niveau, zoals dimensies, metingen, hiërarchieën en joins. Op die manier configureert u alles, inclusief berekende velden, joins en toewijzingen, slechts eenmaal in plaats van in elk hulpprogramma. Wijs vervolgens alle BI-hulpprogramma's naar de gegevensvirtualisatieserver.

Tip

Gebruik gegevensvirtualisatie om een gemeenschappelijke semantische laag te maken om consistentie te garanderen tussen alle BI-hulpprogramma's in een Azure Synapse omgeving.

Met gegevensvirtualisatie krijgt u consistentie in alle BI-hulpprogramma's en wordt de afhankelijkheid tussen BI-hulpprogramma's en -toepassingen en de onderliggende fysieke gegevensstructuren in Azure Synapse verbroken. Microsoft-partners kunnen u helpen consistentie in Azure te bereiken. In het volgende diagram ziet u hoe een gemeenschappelijke woordenlijst in de gegevensvirtualisatieserver meerdere BI-hulpprogramma's een gemeenschappelijke semantische laag laat zien.

Conclusies

Bij een lift-and-shift-datawarehouse-migratie moeten de meeste rapporten, dashboards en andere visualisaties eenvoudig worden gemigreerd.

Tijdens een migratie vanuit een verouderde omgeving ziet u mogelijk dat gegevens in de verouderde datawarehouse- of datamarttabellen worden opgeslagen in niet-ondersteunde gegevenstypen. Of u vindt verouderde datawarehouse-weergaven met eigen SQL zonder equivalent in Azure Synapse. Als dat het probleem is, moet u deze problemen oplossen om een geslaagde migratie naar Azure Synapse te garanderen.

Vertrouw niet op door de gebruiker onderhouden documentatie om te bepalen waar problemen zich bevinden. Gebruik EXPLAIN in plaats daarvan instructies omdat ze een snelle, pragmatische manier zijn om incompatibiliteit van SQL te identificeren. Herwerk de incompatibele SQL-instructies om gelijkwaardige functionaliteit in Azure Synapse te bereiken. Gebruik ook hulpprogramma's voor geautomatiseerde detectie en herkomst van metagegevens om afhankelijkheden te begrijpen, dubbele rapporten te vinden en ongeldige rapporten te identificeren die afhankelijk zijn van verouderde, twijfelachtige of niet-bestaande gegevensbronnen. Gebruik herkomsthulpprogramma's om herkomst te vergelijken om te controleren of rapporten die worden uitgevoerd in uw verouderde datawarehouse-omgeving, identiek worden geproduceerd in Azure Synapse.

Migreer geen rapporten die u niet meer gebruikt. Gebruiksgegevens van het BI-hulpprogramma kunnen u helpen bepalen welke rapporten niet in gebruik zijn. Voor de rapporten, dashboards en andere visualisaties die u wel wilt migreren, migreert u alle gebruikers, gebruikersgroepen, rollen en bevoegdheden. Als u bedrijfswaarde gebruikt om uw rapportmigratiestrategie te stimuleren, koppelt u rapporten aan strategische bedrijfsdoelstellingen en -prioriteiten om de bijdrage van rapport-inzichten aan specifieke doelstellingen te identificeren. Als u datamart per datamart migreert, gebruikt u metagegevens om te bepalen welke rapporten afhankelijk zijn van welke tabellen en weergaven, zodat u een weloverwogen beslissing kunt nemen over welke datamarts het eerst moeten worden gemigreerd.

Tip

Identificeer incompatibiliteit in een vroeg stadium om de omvang van de migratie-inspanning te meten. Migreer uw gebruikers, groepsrollen en bevoegdheidstoewijzingen. Migreer alleen de rapporten en visualisaties die worden gebruikt en die bijdragen aan de bedrijfswaarde.

Structurele wijzigingen in het gegevensmodel van uw datawarehouse of datamart kunnen optreden tijdens een migratie. Overweeg het gebruik van gegevensvirtualisatie om BI-hulpprogramma's en -toepassingen te beschermen tegen structurele wijzigingen. Met gegevensvirtualisatie kunt u een gemeenschappelijke woordenlijst gebruiken om een gemeenschappelijke semantische laag te definiëren. De algemene semantische laag garandeert consistente algemene gegevensnamen, definities, metrische gegevens, hiërarchieën en joins voor alle BI-hulpprogramma's en -toepassingen in de nieuwe Azure Synapse-omgeving.

Volgende stappen

Zie het volgende artikel in deze reeks voor meer informatie over het minimaliseren van SQL-problemen: SQL-problemen minimaliseren voor Netezza-migraties.