Redigera

Dela via

Azure Synapse Analytics för landningszoner

Azure Synapse Analytics
Azure Private Link
Azure Data Lake Storage
Azure Key Vault

Den här artikeln innehåller en arkitekturmetod för att förbereda Prenumerationer i Azure-landningszoner för en skalbar och förbättrad säkerhetsdistribution av Azure Synapse Analytics. Azure Synapse, en företagsanalystjänst, kombinerar datalagerhantering, bearbetning av stordata, dataintegrering och hantering.

Artikeln förutsätter att du redan har implementerat plattformsgrunden som krävs för att effektivt konstruera och operationalisera en landningszon.

Apache®, Spark och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Diagram som visar en Referensarkitektur för Azure Synapse Analytics.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  • Huvudkomponenten i den här arkitekturen är Azure Synapse, en enhetlig tjänst som tillhandahåller en mängd olika funktioner, från datainmatning och databearbetning till servering och analys. Azure Synapse i ett hanterat virtuellt nätverk tillhandahåller nätverksisolering för arbetsytan. Genom att aktivera dataexfiltreringsskydd kan du begränsa utgående anslutning till endast godkända mål.
  • Azure Synapse-resurser, Azure-integreringskörningen och Spark-pooler som finns i det hanterade virtuella nätverket kan ansluta till Azure Data Lake Storage, Azure Key Vault och andra Azure-datalager med ökad säkerhet med hjälp av hanterade privata slutpunkter. Azure Synapse SQL-pooler som finns utanför det hanterade virtuella nätverket kan ansluta till Azure-tjänster via privat slutpunkt i det virtuella företagsnätverket.
  • Administratörer kan framtvinga privat anslutning till Azure Synapse-arbetsytan, Data Lake Storage, Key Vault, Log Analytics och andra datalager via Azure-principer som tillämpas mellan datalandningszoner på hanteringsgruppsnivå. De kan också aktivera dataexfiltreringsskydd för att ge förbättrad säkerhet för utgående trafik.
  • Användare får åtkomst till Synapse Studio med hjälp av en webbläsare från ett begränsat lokalt nätverk via Azure Synapse Private Link Hubs. Private Link Hubs används för att läsa in Synapse Studio via privata länkar med förbättrad säkerhet. En enskild Azure Synapse Private Link Hubs-resurs distribueras i en anslutningsprenumeration med en privat slutpunkt i det virtuella hubbnätverket. Det virtuella hubbnätverket är anslutet till det lokala nätverket via Azure ExpressRoute. Private Link Hubs-resursen kan användas för privat anslutning till alla Azure Synapse-arbetsytor via Synapse Studio.
  • Datatekniker använder Azure Synapse-pipelines Kopieringsaktivitet, som körs i en lokalt installerad integrationskörning, för att mata in data mellan ett datalager som finns i en lokal miljö och molndatalager som Data Lake Storage och SQL-pooler. Den lokala miljön är ansluten via ExpressRoute till det virtuella hubbnätverket i Azure.
  • Datatekniker använder Azure Synapse Data Flow-aktiviteten och Spark-pooler för att transformera data som finns i molndatalager som är anslutna till Azure Synapse Managed Virtual Network via hanterade privata slutpunkter. För data som finns i den lokala miljön kräver omvandling med Spark-pooler anslutning via anpassad Private Link-tjänst. Den anpassade Private Link-tjänsten använder virtuella DATORER för nätverksadressöversättning (NAT) för att ansluta till det lokala datalagret. Information om hur du konfigurerar Private Link-tjänsten för åtkomst till lokala datalager från ett hanterat virtuellt nätverk finns i Komma åt lokal SQL Server från Data Factory Managed VNet med privat slutpunkt.
  • Om dataexfiltreringsskydd är aktiverat i Azure Synapse dirigeras Spark-programloggning till Log Analytics-arbetsytan via en Azure Monitor Private Link-omfångsresurs som är ansluten till Azure Synapse Managed Virtual Network via en hanterad privat slutpunkt. Som du ser i diagrammet finns en enskild Azure Monitor Private Link-omfångsresurs i en anslutningsprenumeration med privat slutpunkt i det virtuella hubbnätverket. Alla Log Analytics-arbetsytor och Application Insights-resurser kan nås privat via Azure Monitor Private Link-omfånget.

Komponenter

  • Azure Synapse Analytics är en företagsanalystjänst som påskyndar tiden till insikter i informationslager och stordatasystem.
  • Azure Synapse Managed Virtual Network tillhandahåller nätverksisolering till Azure Synapse-arbetsytor från andra arbetsytor.
  • Azure Synapse Managed private endpoints är privata slutpunkter som skapas i ett hanterat virtuellt nätverk som är associerat med en Azure Synapse-arbetsyta. Hanterade privata slutpunkter upprättar en privat länkanslutning till Azure-resurser utanför det hanterade virtuella nätverket.
  • Azure Synapse-arbetsytan med dataexfiltreringsskydd förhindrar exfiltrering av känsliga data till platser som ligger utanför organisationens omfång.
  • Azure Private Link Hubs är Azure-resurser som fungerar som anslutningsappar mellan ditt skyddade nätverk och Synapse Studio-webbupplevelsen.
  • Integreringskörning är den beräkningsinfrastruktur som Azure Synapse-pipelines använder för att tillhandahålla dataintegreringsfunktioner i olika nätverksmiljöer. Kör dataflödesaktiviteten i den hanterade Azure-beräkningsintegreringskörningen eller kopieringsaktiviteten mellan nätverk med hjälp av en lokalt installerad körning av beräkningsintegrering.
  • Azure Private Link ger privat åtkomst till tjänster som finns i Azure. Azure Private Link-tjänsten är referensen till din egen tjänst som drivs av Private Link. Du kan aktivera din tjänst som körs bakom Azure Standard Load Balancer för Private Link-åtkomst. Du kan sedan utöka Private Link-tjänsten till Azure Synapse Managed Virtual Network via en hanterad privat slutpunkt.
  • Apache Spark i Azure Synapse är en av flera Microsoft-implementeringar av Apache Spark i molnet. Azure Synapse gör det enkelt att skapa och konfigurera Spark-funktioner i Azure.
  • Data Lake Storage använder Azure Storage som grund för att skapa företagsdatasjöar i Azure.
  • Med Key Vault kan du lagra hemligheter, nycklar och certifikat med förbättrad säkerhet.
  • Azure-landningszoner är utdata från en Azure-miljö med flera prenumerationer som tar hänsyn till skalning, säkerhetsstyrning, nätverk och identitet. En landningszon möjliggör migrering, modernisering och innovation i företagsskala i Azure.

Information om scenario

Den här artikeln innehåller en metod för att förbereda Prenumerationer i Azure-landningszoner för en skalbar och förbättrad säkerhetsdistribution av Azure Synapse. Lösningen följer bästa praxis för Cloud Adoption Framework för Azure och fokuserar på designriktlinjerna för landningszoner i företagsskala.

Många stora organisationer med decentraliserade, autonoma affärsenheter vill använda analys- och datavetenskapslösningar i stor skala. Det är viktigt att de bygger rätt grund. Azure Synapse och Data Lake Storage är de centrala komponenterna för att implementera analys i molnskala och en datanätsarkitektur.

Den här artikeln innehåller rekommendationer för distribution av Azure Synapse mellan hanteringsgrupper, prenumerationstopologi, nätverk, identitet och säkerhet.

Med den här lösningen kan du uppnå:

  • En väl styrd analysplattform med förbättrad säkerhet som skalar efter dina behov i flera datalandningszoner.
  • Minskade driftkostnader för dataprogramteam. De kan fokusera på datateknik och analys och lämna Azure Synapse-plattformshantering till datalandningszonens driftteam.
  • Centraliserad tillämpning av organisationsefterlevnad mellan datalandningszoner.

Potentiella användningsfall

Den här arkitekturen är användbar för organisationer som kräver:

  • Ett helt integrerat och driftstyrt kontroll- och dataplan för Azure Synapse-arbetsbelastningar redan från början.
  • En förbättrad säkerhetsimplementering av Azure Synapse med fokus på datasäkerhet och sekretess.

Den här arkitekturen kan fungera som utgångspunkt för storskaliga distributioner av Azure Synapse-arbetsbelastningar i prenumerationer i datalandningszoner.

Prenumerationstopologi

Organisationer som skapar storskaliga data- och analysplattformar letar efter sätt att skala sina ansträngningar konsekvent och effektivt över tid.

  • Genom att använda prenumerationer som en skalningsenhet för datalandningszoner kan organisationer övervinna begränsningar på prenumerationsnivå, säkerställa korrekt isolering och åtkomsthantering och få flexibel framtida tillväxt för dataplattformens fotavtryck. I en datalandningszon kan du gruppera Azure Synapse och andra datatillgångar för specifika analysanvändningsfall i en resursgrupp.
  • Konfigurationen av hanteringsgruppen och prenumerationen ansvarar för ägaren av landningszonens plattform som ger nödvändig åtkomst till dataplattformsadministratörer för att etablera Azure Synapse och andra tjänster.
  • Alla principer för dataefterlevnad i hela organisationen tillämpas på hanteringsgruppsnivå för att framtvinga efterlevnad i datalandningszonerna.

Nätverkstopologi

Rekommendationer för landningszoner som använder virtuell WAN-nätverkstopologi (hubb och eker) finns i Virtual WAN-nätverkstopologi. De här rekommendationerna är anpassade till bästa praxis för Cloud Adoption Framework .

Här följer några rekommendationer för Azure Synapse-nätverkstopologi:

  • Implementera nätverksisolering för Azure Synapse-resurser via hanterat virtuellt nätverk. Implementera dataexfiltreringsskydd genom att endast begränsa utgående åtkomst till godkända mål.

  • Konfigurera privat anslutning till:

    • Azure-tjänster som Data Lake Storage, Key Vault och Azure SQL via hanterade privata slutpunkter.
    • Lokala datalager och program via ExpressRoute via en lokalt installerad integrationskörning. Använd anpassad Private Link-tjänst för att ansluta Spark-resurser till lokala datalager om du inte kan använda en lokalt installerad integrationskörning.
    • Synapse Studio via privata länkhubbar som distribueras i en anslutningsprenumeration.
    • Log Analytics-arbetsytan distribueras via Azure Monitor Private Link-omfånget i en anslutningsprenumeration.

Identitets- och åtkomsthantering

Företag använder vanligtvis en metod med minst privilegier för driftåtkomst. De använder Microsoft Entra-ID, rollbaserad åtkomstkontroll i Azure (RBAC) och anpassade rolldefinitioner för åtkomsthantering.

  • Implementera detaljerade åtkomstkontroller i Azure Synapse med hjälp av Azure-roller, Azure Synapse-roller, SQL-roller och Git-behörigheter. Mer information om åtkomstkontroll för Azure Synapse-arbetsytor finns i den här översikten.
  • Azure Synapse-roller ger uppsättningar med behörigheter som du kan använda i olika omfång. Den här kornigheten gör det enkelt att bevilja lämplig åtkomst till administratörer, utvecklare, säkerhetspersonal och operatörer för att beräkna resurser och data.
  • Du kan förenkla åtkomstkontrollen med hjälp av säkerhetsgrupper som är anpassade till jobbroller. För att hantera åtkomst behöver du bara lägga till och ta bort användare från lämpliga säkerhetsgrupper.
  • Du kan tillhandahålla säkerhet för kommunikation mellan Azure Synapse och andra Azure-tjänster, till exempel Data Lake Storage och Key Vault, med hjälp av användartilldelade hanterade identiteter. Detta eliminerar behovet av att hantera autentiseringsuppgifter. Hanterade identiteter tillhandahåller en identitet som program kan använda när de ansluter till resurser som stöder Microsoft Entra-autentisering.

Programautomatisering och DevOps

  • Kontinuerlig integrering och leverans för en Azure Synapse-arbetsyta uppnås via Git-integrering och befordran av alla entiteter från en miljö (utveckling, test, produktion) till en annan miljö.
  • Implementera automatisering med Bicep/Azure Resource Manager-mallar för att skapa eller uppdatera arbetsyteresurser (pooler och arbetsyta). Migrera artefakter som SQL-skript och notebook-filer, Spark-jobbdefinitioner, pipelines, datauppsättningar och andra artefakter med hjälp av Synapse Workspace Deployment-verktyg i Azure DevOps eller på GitHub, enligt beskrivningen i Kontinuerlig integrering och leverans för en Azure Synapse Analytics-arbetsyta.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Tillförlitlighet

Tillförlitlighet säkerställer att ditt program kan uppfylla de åtaganden du gör gentemot dina kunder. Mer information finns i Översikt över tillförlitlighetspelare.

  • Azure Synapse, Data Lake Storage och Key Vault är hanterade PaaS-tjänster (plattform som en tjänst) som har inbyggd hög tillgänglighet och återhämtning. Du kan använda redundanta noder för att göra den lokala integrationskörningen och de virtuella NAT-datorerna i arkitekturen mycket tillgängliga.
  • Information om serviceavtal (SLA) finns i SLA för Azure Synapse Analytics.
  • Rekommendationer för affärskontinuitet och haveriberedskap för Azure Synapse finns i Databasåterställningspunkter för Azure Synapse Analytics.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.

Kostnadsoptimering

Kostnadsoptimering handlar om att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.

  • Analysresurserna mäts i DWU:er (Data Warehouse Units), som spårar CPU, minne och I/O. Vi rekommenderar att du börjar med små DWU:er och mäter prestanda för resursintensiva åtgärder, till exempel tung datainläsning eller transformering. Det kan hjälpa dig att avgöra hur många enheter du behöver för att optimera din arbetsbelastning.
  • Spara pengar med betala per användning-priser med hjälp av förköpta Azure Synapse Commit Units (SCUs).
  • Information om hur du utforskar prisalternativ och beräknar kostnaden för att implementera Azure Synapse finns i Prissättning för Azure Synapse Analytics.
  • Den här prisuppskattningen innehåller kostnaderna för att distribuera tjänster med hjälp av automatiseringsstegen som beskrivs i nästa avsnitt.

Distribuera det här scenariot

Krav: Du måste ha ett Azure-konto. Om du inte har en Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.

All kod för det här scenariot är tillgänglig på Synapse Enterprise Codebase-lagringsplatsen på GitHub.

Den automatiserade distributionen använder Bicep-mallar för att distribuera följande komponenter:

  • En resursgrupp
  • Ett virtuellt nätverk och undernät
  • Lagringsnivåer (Brons, Silver och Guld) med privata slutpunkter
  • En Azure Synapse-arbetsyta med ett hanterat virtuellt nätverk
  • Private Link-tjänst och slutpunkter
  • Lastbalanserare och virtuella NAT-datorer
  • En lokalt installerad integrationskörningsresurs

Det finns ett PowerShell-skript för att samordna distributionen på lagringsplatsen. Du kan köra PowerShell-skriptet eller använda filen pipeline.yml för att distribuera den som en pipeline i Azure Devops.

Mer information om Bicep-mallar, distributionssteg och antaganden finns i readme-filen .

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudsakliga författare:

Annan deltagare:

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

  • Information om hur du skapar en data- och analysplattform från slutpunkt till slutpunkt finns i vägledning för analys i molnskala.
  • Utforska datanät som ett arkitekturmönster för att implementera företagsdataplattformar i stora, komplexa organisationer.
  • Se vitboken om Azure Synapse-säkerhet.

Mer information om de tjänster som beskrivs i den här artikeln finns i följande resurser: