Datafördunkling i Data Factory med Delphix Compliance Services
Följande instruktioner beskriver användningen av Delphix Compliance Services (DCS) i Data Factory i Microsoft Fabric-dataflöden för att maskera känsliga data före leverans.
Viktigt
Microsoft Fabric är för närvarande i förhandsversion. Den här informationen gäller en förhandsversionsprodukt som kan ändras avsevärt innan den släpps. Microsoft lämnar inga garantier, uttryckta eller underförstådda, med avseende på den information som tillhandahålls här. Se Azure Data Factory dokumentation för tjänsten i Azure.
DCS är en mycket skalbar API-tjänst för maskering som automatiskt maskerar personligt identifierbar information (PII) och ersätter manuella processer för att leverera kompatibla data. Dess färdiga och konfigurerbara algoritmer ersätter känsliga datavärden med fiktiva men realistiska, så att teamen minskar risken samtidigt som slutanvändarna enkelt kan använda rätt data.
Maskerade data upprätthåller referensintegritet för flera moln, är produktionsliknande i kvalitet och förblir fullt funktionella för korrekt analys eller testning. Observera att ett DCS-konto måste skapas innan du kan använda det och att du kan registrera dig för en kostnadsfri utvärderingsversion.
Vad är utmaningen?
Molnet är fyllt med personligt identifierbar information (PII), vilket underblåser integritets- och säkerhetsrisker. PII från produktionsappar måste flöda till underordnade system för analys, exponera organisationer för risker eller skapa datasilor. Power Query och DCS automatiserar dataefterlevnad och säkerhet för att avblockera dataflytt.
Det är svårt att dela upp datasilor:
- Data måste manipuleras för att passa ett gemensamt format. ETL-pipelines måste anpassas till varje postsystem och måste skalas för att stödja de massiva datauppsättningarna i moderna företag.
- Efterlevnad av regler för känslig information måste upprätthållas när data flyttas från arkivhandlingssystem. Kundinnehåll och andra känsliga element måste döljas utan att påverka affärsvärdet för datauppsättningen.
Hur löser DCS och Data Factory automatisering av kompatibla data?
Förflyttning av säkra data är en utmaning för alla organisationer. Delphix gör det enkelt att uppnå konsekvent dataefterlevnad, medan Data Factory gör det möjligt att ansluta och flytta data sömlöst. Tillsammans gör Delphix och Data Factory det enkelt att leverera data som är kompatibla på begäran.
Med Data Factory-dataflöden kan du skapa ett arbetsflöde som automatiserar följande steg:
- Läs data från önskad källa.
- Mappa känsliga fält till lämpliga maskeringsalgoritmer (och hantera som en central konfigurationstabell).
- Anropa DCS-maskerings-API:er för att ersätta känsliga dataelement med liknande men fiktiva värden.
- Läs in kompatibla data till ett önskat mål.
Så här kommer du igång
Gå till den kostnadsfria förhandsgranskningssidan för Delphix för att begära en kostnadsfri utvärderingsversion av DCS. Delphix-teamet kontaktar dig sedan för åtkomst och tillhandahåller mallen som används i exempelkonfigurationsscenariot som beskrivs i den här artikeln.
I Power Query laddar du upp den angivna mallen genom att välja Importera från en Power Query mall och sedan välja den Power Query mallfil som ska importeras. Det här valet läser in en uppsättning frågor.
Importera datakällan som innehåller känsliga data som du vill ha maskerade.
I mappningstabellen konfigurerar du vilka fält som ska maskeras och vilka Delphix-maskeringsalgoritmer som ska användas. Högerklicka på kugghjulsikonen i fönstret Frågeinställningar . Ange de kolumnnamn där känsliga data finns i den ursprungliga kolumnen. Ange motsvarande Delphix-algoritm i Algoritm. Information om tillgängliga algoritmer finns i Delphix-dokumentationen.
Delphix färdiga maskeringsalgoritmer kan anpassas, eller så kan nya algoritmer definieras om det behövs. Alla delphixmaskeringsalgoritmer ersätter känsliga data med fiktiva, men ändå realistiska värden, och gör det konsekvent mellan datauppsättningar.
Den här mappningstabellen kan vara en global konfiguration för alla tabeller som du vill maskera. Om du vill låta kolumner vara omaskerade för en viss tabell fungerar parametern Kolumnnamn som ett filter. Kopiera och klistra in listan över ursprungliga kolumner (från mappningstabellen) i parametern Kolumnnamn och ta bort eventuella kolumnnamn som du vill lämna omaskerade.
Nu är du redo att maskera dina data. Välj Delphix fx och ange parametrar som visas i följande bild (med OriginalTable fältet som datakälla som innehåller känsliga data).
När den här ändringen är klar väljer du Anropa för att köra dataflödet. Det här valet anropar automatiskt DCS-maskerings-API-tjänsten för att maskera data före leveransen till valfri destination.
Dina data är nu redo att användas på ett säkert sätt av slutanvändarna. Data maskeras konsekvent, vilket säkerställer att referenser förblir intakta mellan datauppsättningar. Till exempel blir George Smith Edward Robinson oavsett datakälla eller mål, vilket säkerställer att det fortfarande är värdefullt för integrerade analysscenarier.