Datahantering över Azure Data Lake med Microsoft Purview

Den här artikeln beskriver en lösning som använder Azure Purview för att skapa en grund för datastyrning och hantering som kan producera och leverera tillförlitliga data av hög kvalitet.

Arkitektur

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Azure Purview tillhandahåller en enda, enhetlig datahanteringstjänst för data från alla källor, i datasjön och i verktyg för slutrapportering.

Scenarier för att ansluta Azure Purview till Data Lake-tjänster:

1. Azure Purview ger en förbättrad säkerhetsanslutning till dina datasjöinmatnings-, lagrings- och analyspipelines för att automatiskt katalogisera datatillgångar. Den tillhandahåller även härstamning mellan dessa tjänster. Specifika Azure-tjänster omfattar Data Factory, Data Lake Storage och Azure Synapse Analytics.

2. Azure Purview ansluter internt till Power BI och andra rapporterings- och visualiseringsverktyg. Den visar ursprunget för data som används i slutrapporter. Den delar också känslighetsinformation från Power BI-tillgångarna för att förhindra felaktig dataanvändning.

Funktioner

• Katalog. Azure Purview-Data Catalog kan automatiskt samla in och beskriva viktiga egenskaper för data i källan, inklusive schema, tekniska egenskaper och plats. Azure Purview-ordlistan gör det möjligt att lägga en företagsvänlig definition av data ovanpå för att förbättra sökningen och identifieringen.

• Klassificering. Azure Purview klassificerar automatiskt datauppsättningar och dataelement med 100 fördefinierade klassificeringar av känsliga data. Du kan också definiera dina egna anpassade klassificeringsscheman som du kan tillämpa manuellt och automatiskt.

• Ursprung. Azure Purview-diagram visualiserar ursprung i Data Factory-, Azure Synapse Analytics- och Power BI-pipelines. Dessa visualiseringar visar dataflödet från slutpunkt till slutpunkt på detaljerad nivå.

• Åtkomstkontroll. Med azure Purview-åtkomstkontrollprincipen kan du definiera och bevilja åtkomst till datatillgångar från katalogen direkt på de underliggande källorna.

• Ägande. Med Azure Purview kan du använda dataägarskap och förvaltarskap för datatillgångar och ordlisteobjekt i katalogen.

• Insikt. Insikter i Azure Purview innehåller flera fördefinierade rapporter som hjälper CDO:er, dataexperter och datastyrningspersonal att få en detaljerad förståelse för datalandskapet.

Komponenter

• Azure Purview är en enhetlig datakatalog som hanterar lokala, multimolnbaserade data och SaaS-data (programvara som en tjänst). Den här datastyrningstjänsten underhåller datalandskapskartor. Funktioner är automatiserad dataidentifiering, klassificering av känsliga data och data härkomst.

• Data Factory är en fullständigt hanterad, serverlös dataintegreringstjänst som hjälper dig att konstruera ETL- och ELT-processer.

• Data Lake Storage ger massivt skalbar, kostnadseffektiv molnlagring med hög säkerhet för arbetsbelastningar med hög prestandaanalys.

• Azure Synapse Analytics är en obegränsad analystjänst som sammanför dataintegrering, lagring av företagsdata och stordataanalys.

• Power BI är en samling programvarutjänster och appar. Dessa tjänster skapar och delar rapporter som ansluter och visualiserar flera datakällor. När du använder Power BI med Azure Purview kan den katalogisera och klassificera dina data och tillhandahålla detaljerad härkomst som illustreras från slutpunkt till slutpunkt.

• Azure Private Link tillhandahåller privata anslutningar från ett virtuellt nätverk till PaaS-tjänster (Plattform som en tjänst), tjänster som du äger eller Microsoft-partnertjänster.

• Azure Key Vault lagrar och kontrollerar åtkomsten till hemligheter som token, lösenord och API-nycklar. Key Vault skapar och styr även krypteringsnycklar och hanterar säkerhetscertifikat.

• Azure Active Directory (Azure AD) erbjuder molnbaserade identitets- och åtkomsthanteringstjänster. De här funktionerna ger användarna ett sätt att logga in och komma åt resurser.

• Azure Monitor samlar in och analyserar data om miljöer och Azure-resurser. Dessa data innehåller apptelemetri, till exempel prestandamått och aktivitetsloggar.

Scenarioinformation

När du läser in mer data i Azure växer även behovet av att styra och hantera dessa data i alla dina datakällor och datakonsumenter.

Om du inte har data av hög kvalitet i din Azure-dataegendom minskar affärsvärdet för Azure. Lösningen är att skapa en grund för datastyrning och hantering som kan producera och leverera tillförlitliga data av hög kvalitet.

Data måste hanteras i stor skala över lokal lagring, molnlagring och lagring med flera moln för att säkerställa att de uppfyller efterlevnadskraven för säkerhet, sekretess och användning. Välhanterade data kan också förbättra självidentifiering, datadelning och datakvalitet, vilket förbättrar användningen av data i program och analys.

Azure Purview tillhandahåller styrning för att hitta, klassificera, definiera och framtvinga principer och standarder för data. Du kan använda den för att tillämpa definitioner, klassificeringar och styrningsprocesser enhetligt över data. Den katalogiserar alla datakällor, identifierar känslig information och definierar data härkomst. Det ger en central plattform där du kan använda definitioner och ägarskap för data. Med en enda vy över rapporter och insikter kan det hjälpa dig att generera datastandarder som ska tillämpas på dina data.

I samarbete med andra Azure-tjänster kan Azure Purview automatiskt identifiera, katalogisera, klassificera och hantera data i Azure Data Lake-erbjudanden och partnertjänster.

Potentiella användningsfall

Kraven för datahantering skiljer sig åt mellan olika branscher. För alla branscher har behovet av att styra data i stor skala ökat i takt med att data- och dataarkitekturernas storlek och komplexitet växer. Detta är lämpligt för organisationer som skulle dra nytta av följande resultat av välstyrda data:

• Automatisk identifiering av data för att påskynda molnimplementeringen.
• Förbättrad datasäkerhet för efterlevnad av datalagar och regler.
• Förbättrad åtkomst, identifiering och kvalitet på hanterade data för att förbättra analys.

Deltagare

Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.

Huvudförfattare:

• Isabel Arevalo | Senior Cloud Solution Architect

Nästa steg

• Kundfallsstudier i Azure Purview
• Teknisk dokumentation och metodtips för Microsoft Purview
• Vad är Microsoft Purview?
• Vad är Power BI?
• Vad är Azure Active Directory?
• Vad är Data Factory?
• Introduktion till Data Lake Storage
• Vad är Azure Databricks?
• Översikt över Azure Monitor
• Vad är Azure Synapse Analytics?
• Vad är Azure Key Vault?

Relaterade resurser

• Arbetsbelastningar för dataanalys för reglerade branscher
• Fråga en datasjö eller lakehouse med hjälp av Azure Synapse serverlös
• Välj ett analysdatalager i Azure
• Välja en dataanalysteknik i Azure