Hoofdgegevensbeheer met Profisee en Azure Data Factory

Dit architectuurpatroon laat zien hoe u MDM kunt opnemen in het Ecosysteem van Azure Data Services om de kwaliteit van gegevens te verbeteren die worden gebruikt voor analyse en operationele besluitvorming. MDM lost verschillende veelvoorkomende uitdagingen op, waaronder:

• Dubbele gegevens identificeren en beheren (vergelijken en samenvoegen).
• Problemen met gegevenskwaliteit markeren en oplossen.
• Gegevens standaardiseren en verrijken.
• Gegevensstewards toestaan om de gegevens proactief te beheren en te verbeteren.

Dit patroon biedt een moderne benadering van MDM. Alle technologieën kunnen systeemeigen worden geïmplementeerd in Azure, met inbegrip van Profisee, die u kunt implementeren via containers en beheren met Azure Kubernetes Service.

Architectuur

Download een Visio-bestand van de diagrammen die in deze architectuur worden gebruikt.

Gegevensstroom

De volgende gegevensstroom komt overeen met het voorgaande diagram:

1. Brongegevens laden: Brongegevens uit zakelijke toepassingen worden gekopieerd naar Azure Data Lake en worden opgeslagen voor verdere transformatie en gebruik in downstreamanalyses. Brongegevens vallen doorgaans in een van de volgende drie categorieën:

   • Gestructureerde hoofdgegevens: de informatie die klanten, producten, locaties, enzovoort beschrijft. Hoofdgegevens zijn laag volume, hoge complexiteit en worden langzaam in de loop van de tijd gewijzigd. Het zijn vaak de gegevens waarmee organisaties het meest moeite hebben in termen van gegevenskwaliteit.
   • Gestructureerde transactionele gegevens: zakelijke gebeurtenissen die plaatsvinden op een specifiek tijdstip, zoals een bestelling, factuur of interactie. Transacties bevatten de metrische gegevens voor die transactie (zoals verkoopprijs) en verwijzingen naar hoofdgegevens (zoals het product en de klant die betrokken zijn bij een aankoop). Transactionele gegevens zijn doorgaans hoog volume, lage complexiteit en worden na verloop van tijd niet gewijzigd.
   • Ongestructureerde gegevens: gegevens die documenten, afbeeldingen, video's, inhoud van sociale media en audio kunnen bevatten. Moderne analyseplatforms kunnen steeds vaker ongestructureerde gegevens gebruiken om nieuwe inzichten te leren. Niet-gestructureerde gegevens zijn vaak gekoppeld aan hoofdgegevens, zoals een klant die is gekoppeld aan een sociale media-account of een product dat is gekoppeld aan een afbeelding.

2. Bronmodelgegevens laden: hoofdgegevens uit bronbedrijfstoepassingen worden 'zoals is' geladen in de MDM-toepassing, met volledige herkomstinformatie en minimale transformaties.

3. Geautomatiseerde MDM-verwerking: de MDM-oplossing maakt gebruik van geautomatiseerde processen voor het standaardiseren, verifiëren en verrijken van gegevens, zoals adresgegevens. De oplossing identificeert ook problemen met gegevenskwaliteit, groepeert dubbele records (zoals dubbele klanten) en genereert hoofdrecords, ook wel 'gouden records' genoemd.

4. Data-stewardship: Indien nodig kunnen gegevensstewards:

   • Groepen overeenkomende records controleren en beheren
   • Gegevensrelaties maken en beheren
   • Ontbrekende gegevens invullen
   • Problemen met gegevenskwaliteit oplossen.

   Gegevensstewards kunnen naar behoefte meerdere alternatieve hiërarchische roll-ups beheren, zoals producthiërarchieën.

5. Beheerde hoofdgegevensbelasting: hoofdgegevens van hoge kwaliteit stromen naar downstreamanalyseoplossingen. Deze actie vereenvoudigt het proces omdat gegevensintegraties geen transformaties van gegevenskwaliteit meer vereisen.

6. Transactionele en ongestructureerde gegevensbelasting: transactionele en ongestructureerde gegevens worden geladen in de downstreamanalyseoplossing, waarbij deze wordt gecombineerd met hoofdgegevens van hoge kwaliteit.

7. Visualisatie en analyse: gegevens worden gemodelleerd en beschikbaar gesteld aan zakelijke gebruikers voor analyse. Hoofdgegevens van hoge kwaliteit elimineren veelvoorkomende problemen met gegevenskwaliteit, wat resulteert in verbeterde inzichten.

Onderdelen

• Azure Data Factory is een hybride gegevensintegratieservice waarmee u uw ETL- en ELT-werkstromen kunt maken, plannen en organiseren.

• Azure Data Lake biedt onbeperkte opslag voor analysegegevens.

• Profisee is een schaalbaar MDM-platform dat eenvoudig kan worden geïntegreerd met het Microsoft-ecosysteem.

• Azure Synapse Analytics is het snelle, flexibele en vertrouwde clouddatawarehouse waarmee u gegevens elastisch en onafhankelijk kunt schalen, berekenen en opslaan, met een zeer parallelle verwerkingsarchitectuur.

• Power BI is een suite met hulpprogramma's voor bedrijfsanalyse die inzichten biedt binnen uw organisatie. Verbinding maken tot honderden gegevensbronnen, vereenvoudigt u de voorbereiding van gegevens en zorgt u voor geïmproviseerde analyse. Maak schitterende rapporten die u vervolgens voor uw organisatie kunt publiceren voor gebruik op internet en op mobiele apparaten.

Alternatieven

Als u geen speciaal gebouwde MDM-toepassing hebt, kunt u enkele technische mogelijkheden vinden die nodig zijn om een MDM-oplossing te bouwen in het Azure-ecosysteem.

• Gegevenskwaliteit: bij het laden naar een analyseplatform kunt u gegevenskwaliteit inbouwen in de integratieprocessen. Pas bijvoorbeeld transformaties van gegevenskwaliteit toe in een Azure Data Factory-pijplijn met vastgelegde scripts.
• Gegevensstandaardisatie en verrijking: Azure Kaarten helpt gegevensverificatie en standaardisatie te bieden voor adresgegevens, die u kunt gebruiken in Azure Functions en Azure Data Factory. Standaardisatie van andere gegevens vereist mogelijk de ontwikkeling van vastgelegde scripts.
• Duplicaatgegevensbeheer: u kunt Azure Data Factory gebruiken om rijen te ontdubbelen waar voldoende id's beschikbaar zijn voor een exacte overeenkomst. In dit geval vereist de logica om samen te voegen die overeenkomt met de juiste overlevenden waarschijnlijk aangepaste, vastgelegde scripts.
• Gegevensstewardship: gebruik Power Apps om snel eenvoudige oplossingen voor gegevensstewardship te ontwikkelen om gegevens in Azure te beheren, samen met de juiste gebruikersinterfaces voor beoordeling, werkstroom, waarschuwingen en validaties.

Scenariodetails

Veel programma's voor digitale transformatie gebruiken Azure als kern. Maar het hangt af van de kwaliteit en consistentie van gegevens uit meerdere bronnen, zoals zakelijke toepassingen, databases, gegevensfeeds, enzovoort. Het biedt ook waarde via business intelligence, analyses, machine learning en meer. De Mdm-oplossing (Master Gegevensbeheer) van Profisee voltooit de Azure-gegevensomgeving met een praktische methode om gegevens uit meerdere bronnen uit te lijnen en te combineren. Dit doet u door consistente gegevensstandaarden af te dwingen voor brongegevens, zoals overeenkomst, samenvoegen, standaardiseren, verifiëren en corrigeren. Systeemeigen integratie met Azure Data Factory en andere Azure Data Services stroomlijnt dit proces verder om de levering van zakelijke voordelen van Azure te versnellen.

Een belangrijk aspect van de werking van MDM-oplossingen is dat ze gegevens uit meerdere bronnen combineren om een 'golden record master' te maken die de bekendste en vertrouwde gegevens voor elke record bevat. Deze structuur bouwt domein-per-domein uit op basis van vereisten, maar het vereist bijna altijd meerdere domeinen. Algemene domeinen zijn klant, product en locatie. Maar domeinen kunnen alles vertegenwoordigen, van referentiegegevens tot contracten en drugsnamen. Over het algemeen is de betere domeindekking die u kunt uitbouwen ten opzichte van de brede Azure-gegevensvereisten des te beter.

MDM-integratiepijplijn

Een Visio-bestand van deze architectuur downloaden.

In de voorgaande afbeelding ziet u de details voor de integratie met de Profisee MDM-oplossing. U ziet dat Azure Data Factory en Profisee systeemeigen REST-integratieondersteuning bevatten en een lichtgewicht en moderne integratie bieden.

1. Brongegevens laden naar MDM: Azure Data Factory extraheert gegevens uit de data lake, transformeert deze zodat deze overeenkomt met het model van de hoofdgegevens en streamt deze naar de MDM-opslagplaats via een REST-sink.

2. MDM-verwerking: het MDM-platform verwerkt hoofdgegevens van de bron via een reeks activiteiten om de gegevens te verifiëren, te standaardiseren en te verrijken en om processen van gegevenskwaliteit uit te voeren. Ten slotte voert MDM overeenkomende en overlevende records uit om dubbele records te identificeren en te groeperen en hoofdrecords te maken. Optioneel kunnen gegevensstewards taken uitvoeren die resulteren in een set hoofdgegevens voor gebruik in downstreamanalyses.

3. Hoofdgegevens laden voor analyse: Azure Data Factory gebruikt de REST-bron om hoofdgegevens van Profisee naar Azure Synapse Analytics te streamen.

Azure Data Factory-sjablonen voor Profisee

In samenwerking met Microsoft heeft Profisee een set Azure Data Factory-sjablonen ontwikkeld die het sneller en eenvoudiger maken om Profisee te integreren in het Azure Data Services-ecosysteem. Deze sjablonen gebruiken azure Data Factorys REST-gegevensbron en -gegevenssink om gegevens te lezen en te schrijven uit de REST Gateway-API van Profisee. Ze bieden sjablonen voor het lezen van en schrijven naar Profisee.

Voorbeeld van een Data Factory-sjabloon: JSON naar Profisee via REST

In de volgende schermopnamen ziet u een Azure Data Factory-sjabloon waarmee gegevens uit een JSON-bestand in een Azure Data Lake worden gekopieerd naar Profisee via REST.

Met de sjabloon worden de JSON-brongegevens gekopieerd:

Vervolgens worden de gegevens gesynchroniseerd met Profisee via REST:

Zie Azure Data Factory-sjablonen voor Profisee voor meer informatie.

MDM-verwerking

In een analytische MDM-use case worden gegevens vaak via de MDM-oplossing automatisch verwerkt om gegevens voor analyse te laden. In de volgende secties ziet u een typisch proces voor klantgegevens in deze context.

1. Brongegevens laden

Brongegevens worden vanuit bronsystemen in de MDM-oplossing geladen, inclusief herkomstgegevens. In dit geval hebben we twee bronrecords, één van CRM en één uit de ERP-toepassing. Bij visuele inspectie lijken de twee records beide dezelfde persoon te vertegenwoordigen.

2. Gegevensverificatie en standaardisatie

Verificatie- en standaardisatieregels en -services helpen bij het standaardiseren en verifiëren van adres-, naam- en telefoonnummergegevens.

3. Overeenkomende

Bij gestandaardiseerde gegevens vindt overeenkomende overeenkomsten plaats, waarbij de overeenkomst tussen records in de groep wordt geïdentificeerd. In dit scenario komen twee records exact overeen met elkaar op naam en Telefoon, en de andere fuzzy overeenkomsten op naam en adres.

4. Overlevenden

Met een groep die is gevormd, maakt en vult overlevenden een hoofdrecord (ook wel een 'gouden record' genoemd) om de groep weer te geven.

Deze hoofdrecord, samen met verbeterde brongegevens en herkomstgegevens, wordt geladen in de downstream analytics-oplossing, waar deze is gekoppeld aan transactionele gegevens.

In dit voorbeeld ziet u eenvoudige, geautomatiseerde MDM-verwerking. U kunt ook regels voor gegevenskwaliteit gebruiken om automatisch waarden te berekenen en bij te werken, en ontbrekende of ongeldige waarden markeren voor gegevensstewards om op te lossen. Gegevensstewards helpen bij het beheren van de gegevens, waaronder het beheren van hiërarchische samengetelde gegevens.

De impact van MDM op integratiecomplexiteit

Zoals eerder is weergegeven, lost MDM verschillende veelvoorkomende uitdagingen op bij het integreren van gegevens in een analyseoplossing. Het omvat het corrigeren van problemen met de kwaliteit van gegevens, het standaardiseren en verrijken van gegevens en het rationaliseren van dubbele gegevens. Door MDM in uw analysearchitectuur op te nemen, wordt de gegevensstroom fundamenteel gewijzigd door hardcoded logica in het integratieproces te elimineren en deze te offloaden naar de MDM-oplossing, waardoor integraties aanzienlijk worden vereenvoudigd. De volgende tabel bevat enkele veelvoorkomende verschillen in het integratieproces met en zonder MDM.

MDM-use cases

Hoewel er talloze use cases zijn voor MDM, hebben enkele use cases betrekking op de meeste echte MDM-implementaties. Hoewel deze gebruiksscenario's zich richten op één domein, zijn ze onwaarschijnlijk gebouwd op basis van dat domein. Met andere woorden, zelfs deze gerichte use cases omvatten waarschijnlijk meerdere hoofdgegevensdomeinen.

Klantbeeld van 360 graden

Het consolideren van klantgegevens voor analyses is de meest voorkomende MDM-use-case. Organisaties leggen klantgegevens vast in een toenemend aantal toepassingen, waardoor dubbele klantgegevens binnen en tussen toepassingen worden gemaakt met inconsistenties en discrepanties. Deze klantgegevens van slechte kwaliteit maken het moeilijk om de waarde van moderne analyseoplossingen te realiseren. Symptomen zijn:

• Moeilijk om eenvoudige zakelijke vragen te beantwoorden, zoals 'Wie zijn onze belangrijkste klanten?' en 'Hoeveel nieuwe klanten hebben we?', waarvoor aanzienlijke handmatige inspanningen nodig zijn.
• Ontbrekende en onnauwkeurige klantgegevens, waardoor het moeilijk is om gegevens op te rollen of in te zoomen.
• Het niet kunnen analyseren van klantgegevens in systemen of bedrijfseenheden vanwege een onvermogen om een klant uniek te identificeren binnen organisatie- en systeemgrenzen.
• Inzichten van slechte kwaliteit van AI en machine learning vanwege invoergegevens van slechte kwaliteit.

Product 360

Productgegevens worden vaak verspreid over meerdere bedrijfstoepassingen, zoals ERP, PLM of e-commerce. Het resultaat is een uitdaging om inzicht te krijgen in de totale catalogus met producten die inconsistente definities hebben voor eigenschappen zoals de naam, beschrijving en kenmerken van het product. En verschillende definities van referentiegegevens bemoeilijken deze situatie verder. Symptomen zijn:

• Het is niet mogelijk om verschillende hiërarchische rollup- en inzoompaden te ondersteunen voor productanalyses.
• Of u nu afgewerkte goederen of materiaalinventaris hebt, moeite om precies te begrijpen welke producten u bij de hand hebt, de leveranciers van waaruit u uw producten koopt en dubbele producten, wat leidt tot overtollige voorraad.
• Problemen bij het rationaliseren van producten als gevolg van conflicterende definities, wat leidt tot ontbrekende of onjuiste informatie in analyse.

Referentiegegevens 360

In de context van analyses bestaan referentiegegevens als talloze lijsten met gegevens die helpen andere sets met hoofdgegevens verder te beschrijven. Referentiegegevens kunnen lijsten bevatten van landen en regio's, valuta's, kleuren, grootten en maateenheden. Inconsistente referentiegegevens leiden tot duidelijke fouten in downstreamanalyses. Symptomen zijn:

• Meerdere representaties van hetzelfde. De staat Georgia wordt bijvoorbeeld weergegeven als 'GA' en 'Georgia', waardoor het moeilijk is om gegevens consistent samen te voegen en in te zoomen.
• Problemen bij het aggregeren van gegevens uit verschillende toepassingen vanwege een onvermogen om de referentiegegevenswaarden tussen systemen over te lopen. De kleur rood wordt bijvoorbeeld weergegeven als 'R' in het ERP-systeem en 'Rood' in PLM-systeem.
• Problemen met overeenkomende getallen in organisaties vanwege verschillen in overeengekomen referentiegegevenswaarden voor het categoriseren van gegevens.

Financiën 360

Financiële organisaties zijn sterk afhankelijk van gegevens voor kritieke activiteiten, zoals maandelijkse, kwartaal- en jaarlijkse rapportage. Organisaties met meerdere financiële en boekhoudsystemen hebben vaak financiële gegevens over meerdere grootboekers, die ze consolideren om financiële rapporten te produceren. MDM kan een gecentraliseerde locatie bieden voor het toewijzen en beheren van accounts, kostencentra, bedrijfsentiteiten en andere financiële gegevenssets aan een geconsolideerde weergave. Symptomen zijn:

• Problemen met het samenvoegen van financiële gegevens over meerdere systemen in een geconsolideerde weergave.
• Gebrek aan proces voor het toevoegen en toewijzen van nieuwe gegevenselementen in de financiële systemen.
• Vertragingen bij het produceren van financiële rapporten over het einde van de periode.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Overzicht van de betrouwbaarheidspijler voor meer informatie.

Profisee wordt systeemeigen uitgevoerd in Azure Kubernetes Service en Azure SQL Database. Beide services bieden out-of-the-box mogelijkheden ter ondersteuning van hoge beschikbaarheid.

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid om op efficiënte wijze uw werkbelasting te schalen om te voldoen aan de vereisten die gebruikers eraan stellen. Zie overzicht van de pijler Prestatie-efficiëntie voor meer informatie.

Profisee wordt systeemeigen uitgevoerd in Azure Kubernetes Service en Azure SQL Database. U kunt Azure Kubernetes Service configureren om Profisee omhoog en uit te schalen, afhankelijk van de behoefte. U kunt Azure SQL Database in veel verschillende configuraties implementeren om de prestaties, schaalbaarheid en kosten te verdelen.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Profisee verifieert gebruikers via OpenID Verbinding maken, waarmee een OAuth 2.0-verificatiestroom wordt geïmplementeerd. De meeste organisaties configureren Profisee om gebruikers te verifiëren op basis van Microsoft Entra ID. Dit proces zorgt ervoor dat bedrijfsbeleid voor verificatie wordt toegepast en afgedwongen.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

Lopende kosten bestaan uit een softwarelicentie en Azure-verbruik. Neem voor meer informatie contact op met Profisee.

Dit scenario implementeren

Ga als volgt te werk om dit scenario te implementeren:

1. Profisee implementeren in Azure met behulp van een ARM-sjabloon.
2. Maak een Azure Data Factory.
3. Configureer uw Azure Data Factory om verbinding te maken met een Git-opslagplaats.
4. Voeg de Azure Data Factory-sjablonen van Profisee toe aan uw Azure Data Factory Git-opslagplaats.
5. Maak een nieuwe Azure Data Factory-pijplijn met behulp van een sjabloon.

Bijdragers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Sunil Sabat | Principal Program Manager

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

• Inzicht in de mogelijkheden van de REST Copy Verbinding maken or in Azure Data Factory.
• Meer informatie over Profisee die systeemeigen wordt uitgevoerd in Azure.
• Meer informatie over het implementeren van Profisee in Azure met behulp van een ARM-sjabloon.
• Bekijk de Profisee Azure Data Factory-sjablonen.

Verwante resources

Architectuurhandleidingen

• Extraheren, transformeren en laden (Extraction, Transformation, and Loading, of ETL)
• Integratieruntime in Azure Data Factory
• Een indelingstechnologie voor gegevenspijplijnen kiezen in Azure

Referentiearchitecturen

• Geautomatiseerde ondernemings-BI
• Mainframe en midrangegegevens moderniseren
• DataOps voor het moderne datawarehouse
• Datawarehousing en analyses