Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
In veel ondernemingen is SAP de meest essentiële toepassing en het primaire recordsysteem voor een breed scala aan gegevens. Bedrijven moeten op een rendabele, schaalbare en flexibele manier gebruik kunnen maken van inzichtelijke gegevens voor analyses van sap en de upstream- en downstreamtoepassingen. Tegelijkertijd moeten bedrijven deze gegevens ook in overeenstemming houden met talloze voorschriften.
Architectuur
De volgende architectuur beschrijft het gebruik van Delphix Continuous Compliance (Delphix CC) in een Azure Data Factory- of Azure Synapse Analytics-pijplijn om gevoelige gegevens te identificeren en te maskeren.
Een Visio-bestand van deze architectuur downloaden.
Opmerking
Deze oplossing is specifiek voor Azure Data Factory- en Azure Synapse Analytics-pijplijnen. Gegevensmaskering met Delphix en Gevoelige gegevensdetectie met Delphix-pijplijnsjablonen is nog niet beschikbaar voor Microsoft Fabric Data Factory. Neem contact op met uw Perforce Delphix-accountvertegenwoordiger over de ondersteuning van Microsoft Fabric.
Gegevensstroom
De volgende gegevensstroom komt overeen met het vorige diagram:
Data Factory extraheert gegevens uit het brongegevensarchief (SAP HANA) naar een container in Azure Files met behulp van de activiteit Gegevens kopiëren. Deze container wordt de brongegevenscontainer genoemd. De gegevens hebben een CSV-indeling. Als u de SAP HANA-connector wilt gebruiken, raadt Microsoft aan om een zelf-hostende Integration Runtime te implementeren. Zie Gegevens kopiëren uit SAP HANA met behulp van Data Factory of Azure Synapse Analytics voor meer informatie.
Data Factory initieert een iterator (ForEach-activiteit) die een lijst met maskeringstaken doorloopt die zijn geconfigureerd in Delphix. Deze vooraf geconfigureerde maskeringstaken maskeren gevoelige gegevens in de brongegevenscontainer.
Voor elke taak in de lijst wordt de maskeringstaak geverifieerd en gestart door de REST API-eindpunten aan te roepen op de Delphix CC-engine.
De Cc-engine van Delphix leest gegevens uit de brongegevenscontainer en voert het maskeringsproces uit.
In dit maskeringsproces worden gegevens in het geheugen gemaskeerd en worden de resulterende gemaskeerde gegevens teruggeschreven naar een Azure Files-doelcontainer, die wordt aangeduid als een doelgegevenscontainer.
Data Factory initieert nu een tweede iterator (ForEach-activiteit) die de bewerkingen bewaakt.
Voor elke bewerking (maskeringstaak) die wordt gestart, controleert de activiteit Status controleren het resultaat van maskering.
Nadat alle maskeringstaken zijn voltooid, worden de gemaskeerde gegevens uit de doelgegevenscontainer in Data Factory geladen naar Azure Synapse Analytics.
Onderdelen
Data Factory is een ETL-service (extract, transform, load) voor het uitschalen van serverloze gegevensintegratie en gegevenstransformatie. Het biedt een codevrije gebruikersinterface voor intuïtieve creatie en geïntegreerde bewaking en beheer. In deze architectuur organiseert Data Factory de volledige werkstroom voor gegevensmaskering. Deze werkstroom omvat het extraheren van gegevens uit SAP HANA, het initiëren van maskeringstaken, bewakingsbewerkingen en het laden van gemaskeerde gegevens in Azure Synapse Analytics.
Azure Storage biedt schaalbare cloudopslag voor gestructureerde en ongestructureerde gegevens. In deze architectuur worden zowel de onbewerkte brongegevens als de gemaskeerde uitvoergegevens opgeslagen. Het fungeert als de tussenliggende opslaglaag tussen extractie en laden.
Een zelf-hostende Integration Runtime is een onderdeel dat beveiligde gegevensverplaatsing tussen on-premises en cloudomgevingen mogelijk maakt. In deze architectuur wordt gegevensextractie van SAP HANA vergemakkelijkt met behulp van het vereiste ODBC-stuurprogramma (Open Database Connectivity).
Azure Virtual Network is een privé-, geïsoleerde netwerkomgeving in Azure. In deze architectuur maakt het beveiligde communicatie mogelijk tussen services die geen deel uitmaken van de Azure Synapse Analytics-werkruimte. Het helpt bij het beheren van toegang, beveiliging en routering tussen resources.
Wat is Data Factory?
Data Factory is een beheerde, serverloze gegevensintegratieservice. Het biedt een visuele ervaring voor het integreren van gegevensbronnen met meer dan 100 ingebouwde, onderhoudsvrije connectors zonder extra kosten. Bouw eenvoudig ETL en extraheren, laden, transformeren (ELT) verwerkt codevrij in een intuïtieve omgeving of schrijf uw eigen code. Als u de kracht van uw gegevens wilt ontgrendelen via zakelijke inzichten, levert u geïntegreerde gegevens aan Azure Synapse Analytics.
Wat is Delphix CC?
Delphix CC identificeert gevoelige informatie en automatiseert gegevensmaskering en scrambling. Het biedt een geautomatiseerde, API-gestuurde manier om beveiligde gegevens te bieden.
Hoe lossen Delphix CC en Data Factory het automatiseren van compatibele gegevens op?
Het verplaatsen van beveiligde gegevens is een uitdaging voor alle organisaties. Delphix vereenvoudigt het bereiken van consistente gegevenscompatibiliteit, terwijl Data Factory gegevensintegratie en -verplaatsing mogelijk maakt. Samen combineren Delphix CC en Data Factory toonaangevende compliance- en automatiseringsaanbiedingen om de levering van on-demand, compatibele gegevens te vereenvoudigen.
Deze oplossing maakt gebruik van Data Factory-gegevensbronconnectors om een ETL-pijplijn te maken waarmee een gebruiker de volgende stappen kan automatiseren:
Lees gegevens uit het recordsysteem (SAP HANA) en schrijf deze naar CSV-bestanden in Azure Storage.
Voer een Masking-taak van Delphix uit op de bestanden om gevoelige gegevenselementen te vervangen door vergelijkbare maar fictieve waarden.
Laad de compatibele gegevens naar Azure Synapse Analytics.
Potentiële gebruikscases
Verplaats compatibele gegevens van SAP-toepassingen automatisch naar Microsoft Synapse om de benodigde gegevens op te halen voor het testen op een kostengevoelige, snelle en schaalbare manier. Deze architectuur is specifiek voor SAP-toepassingen met een HANA-back-end. Voer in enkele minuten miljoenen scramblingbewerkingen uit.
Gebruik het Algorithm Framework van Delphix om te voldoen aan wettelijke vereisten voor uw gegevens, bijvoorbeeld om te voldoen aan de California Consumer Privacy Act (CCPA), General Data Protection Law (Lei Geral de Proteção de Dados, LGPD) en Health Insurance Portability and Accountability Act (HIPAA).
Masker en scramble gegevens consistent in gegevensbronnen, terwijl referentiële integriteit behouden blijft voor geïntegreerde toepassingstests. De naam George moet bijvoorbeeld altijd worden gemaskeerd aan Elliot. Of een bepaald SSN altijd moet worden gemaskeerd tot dezelfde fictieve SSN, ongeacht of het SSN van George of George in SAP, Oracle, Salesforce of een andere toepassing verschijnt.
Masker en scramble gegevens zonder de trainingscycli te vergroten of de nauwkeurigheid van het model en de voorspelling te beïnvloeden.
Configureer een oplossing die zowel on-premises als de cloud werkt door de bronconnectors te wijzigen. U kunt bijvoorbeeld gegevens ophalen uit een on-premises SAP-toepassing, die gegevens repliceren naar de cloud en ervoor zorgen dat deze voldoen voordat u deze in Azure Synapse Analytics laadt.
Belangrijkste voordelen
- Realistische, deterministische maskering en scrambling die referentiële integriteit behoudt
- Preventieve identificatie van gevoelige gegevens voor de meest voorkomende SAP-tabellen en -modules
- Systeemeigen cloud-implementatie
- Implementatie op basis van sjablonen
- Schaalbaar
- Goedkoop alternatief voor dure HANA-hardware in het geheugen
Dit scenario implementeren
Implementeer in Data Factory de Data Masking met Delphix en Sensitive Data Discovery met Delphix-sjablonen . Deze sjablonen werken voor zowel Azure Synapse Analytics-pijplijnen als Data Factory-pijplijnen.
Stel een zelf-hostende Integration Runtime in om gegevens uit SAP HANA te extraheren.
Configureer in de onderdelen gegevens kopiëren de gewenste bron als SAP HANA in de stap Extraheren en Synapse als het gewenste doel in de stap Laden. Voer in de onderdelen van de webactiviteit het IP-adres of de hostnaam van de Delphix-toepassing en de referenties in die moeten worden geverifieerd met Delphix CC API's.
Voer de detectie van gevoelige gegevens uit met de sjabloon Delphix Data Factory voor de eerste installatie en wanneer u gevoelige gegevens wilt identificeren, zoals een schemawijziging. Deze sjabloon biedt Delphix CC met de eerste configuratie die nodig is om te scannen op kolommen die mogelijk gevoelige gegevens bevatten. U kunt deze werkstroom ook gebruiken met de Delphix Compliance Accelerator voor SAP, vooraf geïdentificeerde gevoelige velden en maskeringsalgoritmen om gegevens te beveiligen in kern-SAP-tabellen, zoals financiën, human resources en logistieke modules. Neem contact op met Delphix om deze optie toe te passen.
Maak een regelset die de verzameling gegevens aangeeft die u wilt profilen. Voer een profileringstaak uit in de Ui van Delphix om gevoelige velden voor die regelset te identificeren en classificeren en de juiste maskeringsalgoritmen toe te wijzen.
Voer de sjabloon uit. Na voltooiing bevat Azure Synapse Analytics gemaskeerde gegevens, waaronder velden uit sleuteltabellen en modules die de Delphix Compliance Accelerator voor SAP vooraf geïdentificeerd.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Well-Architected Framework voor meer informatie.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie de controlelijst ontwerpbeoordeling voor beveiliging voor meer informatie.
Delphix CC maskert gegevenswaarden met realistische gegevens die volledig functioneel blijven, waardoor de ontwikkeling van code van hogere kwaliteit mogelijk is. Onder de set algoritmen die beschikbaar zijn om gegevens te transformeren naar gebruikersspecificaties, heeft Delphix CC een gepatenteerd algoritme. Het algoritme produceert opzettelijk gegevensconflicten en stelt u in staat om gegevens te zouten met specifieke waarden die nodig zijn voor mogelijke validatieroutines op de gemaskeerde gegevensset. Vanuit een nulvertrouwensperspectief hebben operators geen toegang nodig tot de werkelijke gegevens om deze te maskeren. De volledige levering van gemaskeerde gegevens van punt A tot punt B kan worden geautomatiseerd via API's.
Kostenoptimalisatie
Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie de controlelijst ontwerpbeoordeling voor Kostenoptimalisatie voor meer informatie.
Als u wilt zien hoe uw specifieke vereisten van invloed zijn op de kosten, past u waarden aan in de Azure-prijscalculator.
Azure Synapse Analytics: U kunt reken- en opslagniveaus onafhankelijk schalen. Rekenresources worden per uur in rekening gebracht en u kunt deze resources op aanvraag schalen of onderbreken. Opslagbronnen worden gefactureerd per terabyte, zodat uw kosten toenemen wanneer u gegevens opneemt.
Data Factory: De kosten zijn gebaseerd op het aantal lees- en schrijfbewerkingen, bewakingsbewerkingen en indelingsactiviteiten voor elke workload. De kosten nemen toe met elke extra gegevensstroom en de hoeveelheid gegevens die door elke gegevensstroom worden verwerkt.
Delphix CC: In tegenstelling tot andere producten voor gegevensnaleving heeft Delphix geen volledig fysiek exemplaar van de omgeving nodig om maskering uit te voeren.
Omgevingsredundantie kan om verschillende redenen duur zijn:
- De tijd die nodig is om de infrastructuur in te stellen en te onderhouden
- De kosten van de infrastructuur zelf
- De tijd die u herhaaldelijk besteedt aan het laden van fysieke gegevens in de maskeringsomgeving
Prestatie-efficiëntie
Prestatie-efficiëntie verwijst naar de mogelijkheid van uw workload om efficiënt te voldoen aan de behoeften van de gebruiker. Zie de controlelijst ontwerpbeoordeling voor prestatie-efficiëntie voor meer informatie.
Delphix CC is horizontaal en verticaal schaalbaar. De transformaties vinden plaats in het geheugen en kunnen worden geparallelliseerd. Het product wordt uitgevoerd als een service en als een apparaat met meerdere knooppunten, zodat u oplossingsarchitecturen van elke grootte kunt ontwerpen op basis van de toepassing. Delphix is marktleider bij het leveren van grote gemaskeerde gegevenssets.
Maskeringsstromen kunnen worden verhoogd om meerdere CPU-kernen in een taak te betrekken. Zie Maskeringstaken maken voor meer informatie over het wijzigen van geheugentoewijzing.
Voor optimale prestaties van gegevenssets die groter zijn dan 1 TB, breekt Delphix Hyperscale Masking de gegevenssets in talloze modules en organiseert vervolgens de maskeringstaken voor meerdere continue nalevingsengines.
Medewerkers
Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.
Belangrijkste auteurs:
- Tess Maggio | Product Manager 2
- Arun Saju | Senior Staff Engineer
- Mick Shieh | SAP Global Practice Leader
Andere Inzenders:
- Jon Burchel | Senior Content Developer
- Abhishek Narain | Senior Program Manager
- Michael Torok | Senior Directeur digitale klantervaring
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.