Not
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
I många företag är SAP det mest verksamhetskritiska programmet och det primära postsystemet för en mängd olika data. Företag måste kunna utnyttja insiktsfulla data för analys från både SAP och dess överordnade och underordnade program på ett kostnadseffektivt, skalbart och flexibelt sätt. Samtidigt måste företag också hålla dessa data i enlighet med otaliga regler.
Arkitektur
I följande arkitektur beskrivs användningen av Delphix Continuous Compliance (Delphix CC) i en Azure Data Factory- eller Azure Synapse Analytics-pipeline för att identifiera och maskera känsliga data.
Ladda ned en Visio-fil med den här arkitekturen.
Anmärkning
Den här lösningen är specifik för Azure Data Factory och Azure Synapse Analytics-pipelines. Datamaskering med Delphix och identifiering av känsliga data med Delphix-pipelinemallar är ännu inte tillgängliga för Microsoft Fabric Data Factory. Kontakta perforce Delphix-kontorepresentanten om Microsoft Fabric-supporten.
Dataflöde
Följande dataflöde motsvarar föregående diagram:
Data Factory extraherar data från källdatalagringen (SAP HANA) till en container i Azure Files med hjälp av aktiviteten Kopiera data. Den här containern kallas för källdatacontainern. Data är i CSV-format. För att använda SAP HANA-anslutningsappen rekommenderar Microsoft att du distribuerar en lokalt installerad integrationskörning. Mer information finns i Kopiera data från SAP HANA med hjälp av Data Factory eller Azure Synapse Analytics.
Data Factory initierar en iterator (ForEach-aktivitet) som loopar igenom en lista över maskeringsjobb som konfigurerats i Delphix. Dessa förkonfigurerade maskeringsjobb maskerar känsliga data i källdatacontainern.
För varje jobb i listan autentiserar aktiviteten Initiera maskering och initierar maskeringsjobbet genom att anropa REST API-slutpunkterna på Delphix CC-motorn.
Delphix CC-motorn läser data från källdatacontainern och körs genom maskeringsprocessen.
I den här maskeringsprocessen maskerar Delphix data i minnet och skriver tillbaka resulterande maskerade data till en Azure Files-målcontainer, som kallas för en måldatacontainer.
Data Factory initierar nu en andra iterator (ForEach-aktivitet) som övervakar åtgärderna.
För varje åtgärd (maskeringsjobb) som startas kontrollerar checkstatusaktiviteten resultatet av maskeringen.
När alla maskeringsjobb har slutförts läser Data Factory in maskerade data från måldatacontainern till Azure Synapse Analytics.
Komponenter
Data Factory är en ETL-tjänst (extract, transform, load) för skalbar serverlös dataintegrering och datatransformering. Det ger ett kodfritt användargränssnitt för intuitiv redigering och enhetlig övervakning och hantering. I den här arkitekturen samordnar Data Factory hela arbetsflödet för datamaskering. Det här arbetsflödet omfattar att extrahera data från SAP HANA, initiera maskeringsjobb, övervaka åtgärder och läsa in maskerade data i Azure Synapse Analytics.
Azure Storage tillhandahåller skalbar molnlagring för strukturerade och ostrukturerade data. I den här arkitekturen lagras både rådata och maskerade utdata. Den fungerar som mellanlagringslager mellan extrahering och inläsning.
En lokalt installerad integrationskörning är en komponent som möjliggör säker dataflytt mellan lokala miljöer och molnmiljöer. I den här arkitekturen underlättar det dataextrahering från SAP HANA med hjälp av den nödvändiga ODBC-drivrutinen (Open Database Connectivity).
Azure Virtual Network är en privat, isolerad nätverksmiljö i Azure. I den här arkitekturen möjliggör den säker kommunikation mellan tjänster som inte ingår i Azure Synapse Analytics-arbetsytan. Det hjälper dig att hantera åtkomst, säkerhet och routning mellan resurser.
Vad är Data Factory?
Data Factory är en hanterad, serverlös dataintegreringstjänst. Det ger en visuell upplevelse för att integrera datakällor med mer än 100 inbyggda, underhållsfria anslutningsappar utan extra kostnad. Skapa enkelt ETL och extrahera, läsa in, transformera (ELT) bearbetar kodfritt i en intuitiv miljö eller skriv din egen kod. Om du vill frigöra dina datas kraft genom affärsinsikter kan du leverera integrerade data till Azure Synapse Analytics.
Vad är Delphix CC?
Delphix CC identifierar känslig information och automatiserar datamaskering och förvrängning. Det erbjuder ett automatiserat, API-drivet sätt att tillhandahålla säkra data.
Hur löser Delphix CC och Data Factory automatisering av kompatibla data?
Förflyttning av säkra data är en utmaning för alla organisationer. Delphix gör det enklare att uppnå konsekvent dataefterlevnad, medan Data Factory möjliggör dataintegrering och förflyttning. Tillsammans kombinerar Delphix CC och Data Factory branschledande efterlevnads- och automatiseringserbjudanden för att förenkla leveransen av data som är kompatibla på begäran.
Den här lösningen använder Data Factory-anslutningsappar för datakällor för att skapa en ETL-pipeline som gör att en användare kan automatisera följande steg:
Läs data från sap hana-systemet och skriv dem till CSV-filer i Azure Storage.
Kör ett Delphix-maskeringsjobb mot filerna för att ersätta känsliga dataelement med liknande men fiktiva värden.
Läs in kompatibla data till Azure Synapse Analytics.
Potentiella användningsfall
Flytta kompatibla data från SAP-program till Microsoft Synapse automatiskt för att hämta nödvändiga data för testning på ett kostnadskänsligt, snabbt och skalbart sätt. Den här arkitekturen är specifik för SAP-program som har en HANA-serverdel. Utför miljontals förvrängningsåtgärder på några minuter.
Använd Delphix Algorithm Framework för att hantera regelkrav för dina data, till exempel för att följa California Consumer Privacy Act (CCPA), Allmän dataskyddslag (Lei Geral de Proteção de Dados, LGPD) och Health Insurance Portability and Accountability Act (HIPAA).
Maskera och förvränga data konsekvent mellan datakällor, samtidigt som referensintegriteten bibehålls för integrerad programtestning. Till exempel måste namnet George alltid vara maskerat med Elliot. Eller så måste ett visst personnummer (SSN) alltid maskeras till samma fiktiva SSN, oavsett om George och Georges SSN förekommer i SAP, Oracle, Salesforce eller något annat program.
Maskera och förvränga data utan att öka träningscyklerna eller påverka modellens och förutsägelsenoggrannheten.
Konfigurera en lösning som fungerar både lokalt och i molnet genom att ändra källanslutningarna. Du kan till exempel hämta data från ett lokalt SAP-program, replikera dessa data till molnet och säkerställa efterlevnad innan du läser in dem i Azure Synapse Analytics.
Viktiga fördelar
- Realistisk, deterministisk maskering och förvrängning som upprätthåller referensintegritet
- Förebyggande identifiering av känsliga data för de vanligaste SAP-tabellerna och modulerna
- Implementering av internt moln
- Mallbaserad distribution
- Skalbarhet
- Billiga alternativ till dyr HANA-maskinvara i minnet
Distribuera det här scenariot
I Data Factory distribuerar du datamaskering med Delphix och Identifiering av känsliga data med Delphix-mallar . Dessa mallar fungerar för både Azure Synapse Analytics-pipelines och Data Factory-pipelines.
Konfigurera en lokalt installerad integrationskörning för att extrahera data från SAP HANA.
I komponenterna Kopiera data konfigurerar du den önskade källan som SAP HANA i steget Extrahera och Synapse som önskat mål i steget Läs in. I webbaktivitetskomponenterna anger du IP-adressen eller värdnamnet för Delphix-programmet och autentiseringsuppgifterna för att autentisera med Delphix CC-API:er.
Kör mallen Känslig dataidentifiering med Delphix Data Factory för den första installationen och när du vill identifiera känsliga data i förväg, till exempel en schemaändring. Den här mallen tillhandahåller Delphix CC med den inledande konfigurationen som krävs för att söka efter kolumner som kan innehålla känsliga data. Du kan också använda det här arbetsflödet med Delphix Efterlevnadsaccelerator för SAP, föridentifierade känsliga fält och maskeringsalgoritmer för att skydda data i kärn-SAP-tabeller, till exempel ekonomi, personal och logistikmoduler. Kontakta Delphix för att tillämpa det här alternativet.
Skapa en regeluppsättning som anger den datainsamling som du vill profilera. Kör ett profileringsjobb i Användargränssnittet för Delphix för att identifiera och klassificera känsliga fält för den regeluppsättningen och tilldela lämpliga maskeringsalgoritmer.
Kör mallen. När det är klart innehåller Azure Synapse Analytics maskerade data, inklusive fält från nyckeltabeller och moduler som Delphix Compliance Accelerator för SAP har föridentifierats.
Att tänka på
Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns iWell-Architected Framework.
Säkerhet
Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Checklista för designgranskning för säkerhet.
Delphix CC maskerar oåterkalleligt datavärden med realistiska data som förblir fullt funktionella, vilket möjliggör utveckling av kod av högre kvalitet. Bland de algoritmer som är tillgängliga för att omvandla data till användarspecifikationer har Delphix CC en patenterad algoritm. Algoritmen producerar avsiktligt datakollisioner och gör att du kan salta data med specifika värden som behövs för potentiella valideringsrutiner på den maskerade datamängden. Ur ett nollförtroendeperspektiv behöver operatorerna inte åtkomst till faktiska data för att maskera dem. Hela leveransen av maskerade data från punkt A till punkt B kan automatiseras via API:er.
Kostnadsoptimering
Kostnadsoptimering fokuserar på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Checklista för designgranskning för kostnadsoptimering.
Om du vill se hur dina specifika krav påverkar kostnaden justerar du värdena i Priskalkylatorn för Azure.
Azure Synapse Analytics: Du kan skala beräknings- och lagringsnivåer oberoende av varandra. Beräkningsresurser debiteras per timme och du kan skala eller pausa dessa resurser på begäran. Lagringsresurser debiteras per terabyte, så dina kostnader ökar när du matar in data.
Data Factory: Kostnaderna baseras på antalet läs- och skrivåtgärder, övervakningsåtgärder och orkestreringsaktiviteter för varje arbetsbelastning. Kostnaderna ökar med varje extra dataström och mängden data som var och en bearbetar.
Delphix CC: Till skillnad från andra produkter för dataefterlevnad kräver Delphix inte en fullständig fysisk kopia av miljön för att utföra maskering.
Miljöredundans kan vara dyrt på grund av flera orsaker:
- Den tid det tar att konfigurera och underhålla infrastrukturen
- Kostnaden för själva infrastrukturen
- Den tid som du lägger på att läsa in fysiska data upprepade gånger i maskeringsmiljön
Prestandaeffektivitet
Prestandaeffektivitet syftar på arbetsbelastningens förmåga att skala för att effektivt uppfylla användarnas krav. Mer information finns i Checklista för designgranskning för prestandaeffektivitet.
Delphix CC är vågrätt och lodrätt skalbart. Omvandlingarna sker i minnet och kan parallelliseras. Produkten körs både som en tjänst och som en installation med flera noder, så att du kan utforma lösningsarkitekturer av valfri storlek baserat på programmet. Delphix är marknadsledar när det gäller att leverera stora maskerade datamängder.
Maskeringsströmmar kan ökas för att engagera flera CPU-kärnor i ett jobb. Mer information om hur du ändrar minnesallokering finns i Skapa maskeringsjobb.
För optimala prestanda för datauppsättningar som är större än 1 TB delar Delphix Hyperscale Masking in datauppsättningarna i flera moduler och dirigerar sedan maskeringsjobben över flera kontinuerliga efterlevnadsmotorer.
Deltagare
Microsoft ansvarar för den här artikeln. Följande deltagare skrev den här artikeln.
Huvudsakliga författare:
- Tess Maggio | Product Manager 2
- Arun Saju | Senior Staff Engineer
- Mick Shieh | SAP Global Practice Leader
Övriga medarbetare:
- Jon Burchel | Senior innehållsutvecklare
- Abhishek Narain | Senior Program Manager
- Michael Torok | Senior Director of Digital Customer Experience
Om du vill se linkedin-profiler som inte är offentliga loggar du in på LinkedIn.