Geïsoleerde omgeving

De geïsoleerde omgevingsarchitectuur neemt de basislijn voor beperkte connectiviteit over en voegt twee vereisten toe: toegang tot privé-werkruimten en een vereiste externe firewall. De toegang tot de werkruimte wordt beveiligd door VPN of binnenkomende Private Link, nooit het openbare internet. Alle klassieke rekenprocessen stromen via de firewall voor controle en het afdwingen van beleid.

Deze architectuur heeft:

• Volledige netwerkisolatie: al het verkeer loopt via privéverbindingen.
• Toegang tot privéwerkruimte: alleen via VPN of inkomende Private Link. De werkruimte is niet bereikbaar vanaf het openbare internet.
• Vereiste uitgaande inspectie: Firewall-inspectie van alle klassieke uitgaande rekenverkeer.
• Preventie van gegevensexfiltratie: netwerklaagbesturingselementen blokkeren niet-geautoriseerde gegevensoverdracht.

Gebruik deze architectuur wanneer:

• Werkruimtetoegang moet privé zijn, zoals via VPN of binnenkomende Private Link.
• Het verwerken van gegevens in sterk gereglementeerde branches, zoals financiële dienstverlening, gezondheidszorg, overheid.
• Nalevingsframeworks vereisen uitgaande controles (bijvoorbeeld SOC 2, HIPAA, PCI DSS en FedRAMP).
• Implementatie van beveiligingsframeworks zonder vertrouwen voor ondernemingen.
• Preventie van gegevensexfiltratie is een vereiste.

Prerequisites

• Azure Azure Databricks Premium-laag met een VNet-geïnjecteerde werkruimte.

• Bestaande VPN-infrastructuur of binnenkomende Private Link connectiviteit.
• Firewall of virtueel netwerkapparaat (NVA).

Overzicht van architectuur

De geïsoleerde omgevingsarchitectuur routeert al het verkeer via privéverbindingen met firewallinspectie:

Verkeerstype	Path
Gebruikerstoegang	Gebruikers → VPN of binnenkomende Private Link → Werkruimte
Klassiek besturingselement voor → berekenen	Compute → Klassieke Private Link → Azure Databricks-beheerlaag
Klassieke rekenkracht → cloud	Service-eindpunten of UDR's → Azure-services berekenen →
Serverloos → uw resources	Serverloze rekenkracht → NCC-privé-eindpunten → uw Azure-resources
Klassiek rekenproces → uitgaand verkeer	Compute → Externe firewall (vereist) → Internet met inspectie

Vereiste onderdelen

Inkomend

Werkruimte is alleen bereikbaar via privéverbindingen: VPN, binnenkomende Private Link of beide, afhankelijk van uw bestaande infrastructuur. Klanten selecteren meestal één in plaats van ze te stapelen.

Instellingen voor persoonlijke toegang (openbare toegang uitschakelen)

Dit is het gatingsbeheer dat daadwerkelijk openbaar inkomend verkeer blokkeert. Zonder die accepteert de werkruimte nog steeds internetverkeer, zelfs als Private Link is geconfigureerd. Private Link wordt een extra pad, niet het enige pad.

Stel de Public Network Access van de werkruimte in op Disabled in de Azure-portal. Hiermee blokkeert u openbare toegang tot de gebruikersinterface en API's van de werkruimte.

Toegangsbeheer voor de werkruimte

Configureer ingress voor werkruimten via contextgebaseerde ingress (CBI), het aanbevolen framework voor ingressbeleid. CBI-regels combineren netwerkbron (IP-bereiken), identiteit, verificatiemechanisme en toegangsbereik in één model voor toestaan/weigeren, dus het netwerkbronkenmerk doet dezelfde taak als de zelfstandige functie voor IP-toegangslijsten, plus meer.

IP-toegangslijsten blijven ondersteund en kunnen naast CBI worden geconfigureerd. Wanneer beide zijn geconfigureerd, moet een verzoek door beide controles worden toegestaan.

Configuratieniveaus:

• CBI-beleid op accountniveau: toepassen op alle werkruimten die aan het beleid zijn gekoppeld. Zie Toegangsbeleid op basis van context beheren.
• IP-toegangslijsten op werkruimteniveau: Toepassen op één werkruimte. Zie IP-toegangslijsten configureren voor werkruimten.
• IP-toegangslijsten op accountniveau: Toepassen op de accountconsole. Zie IP-toegangslijsten configureren voor de accountconsole.

Beste praktijken:

• Begin breed, verfijn op basis van het werkelijke gebruik.
• IP-bereiken documenteren met doel- en vervaldatums.
• Beheerderstoegang behouden via een bekend goed IP-bereik.
• Bekijk elk kwartaal en verwijder verouderde bereiken.

Warning

Ingangsbeleidsregels en IP-toegangslijsten kunnen u de toegang tot uw werkruimte ontzeggen als deze onjuist zijn geconfigureerd. Beheer altijd beheerderstoegang via een bekend goed IP-bereik.

Toegangsbeheer voor OpenSharing-ontvangers

OpenSharing maakt gebruik van eigen IP-toegangslijsten die zijn geconfigureerd voor geadresseerde-objecten. Dit staat los van IP-toegangslijsten voor werkruimten en wordt niet gedekt door contextgebaseerd inkomend verkeer. Is alleen van toepassing op Databricks-naar-Open-delen (alleen voor niet-Azure-Databricks-ontvangers).

Zie Toegang voor Open Sharing-ontvangers beperken met IP-toegangslijsten (Databricks-naar-Open Sharing).

Binnenkomende connectiviteit

Hiermee maakt u een privéconnectiviteit tot stand voor gebruikerstoegang tot de gebruikersinterface en API van de werkruimte. Gebruikers bereiken de werkruimte via VPN of binnenkomende Private Link, nooit het openbare internet.

Zie Inkomende privékoppeling configureren.

Aangepaste DNS

Configureer privé-DNS voor het omzetten van Azure Databricks eindpunten naar privé-IP-adressen.

Azure maakt automatisch privé-DNS-zones bij het maken van privé-eindpunten.

Uitgaand

Beheeropties voor serverless-uitgaand verkeer (netwerkbeleid en NCC-privé-eindpunten) worden overgenomen van de basislijn Versterkte connectiviteit. Deze architectuur maakt de externe firewall, optioneel in Hardened, vereist voor volledige klassieke inspectie van uitgaand rekenverkeer.

Externe firewall (vereist)

Routeer al het uitgaand verkeer via een firewall voor inspectie, logboekregistratie en beleidshandhaving. De volgende opties zijn beschikbaar:

• Azure Firewall of virtuele netwerkapparaten (NVA's) van derden.

Tip

Gebruik beleid voor service-eindpunten voor Azure Databricks artefactopslag om de firewall te omzeilen, waardoor de kosten voor gegevensoverdracht worden verminderd. Alleen al de opslag van artefacten kan tot 11 GB aan downloads per clusterknooppunt uitmaken.

Zie IP-adressen en -domeinen voor Azure Databricks services en assets voor de vereiste Azure Databricks eindpunten die door firewallregels moeten worden toegestaan.

Tip

Voor maximale vergrendeling kunt u overwegen om een privépakketopslagplaats (zoals JFrog Artifactory of Sonatype Nexus) te hosten voor Python-, R- en Maven-pakketten. Dit elimineert de noodzaak voor firewallregels waardoor toegang tot openbare pakketindexen, zoals PyPI, is toegestaan.

Warning

Azure Databricks besturingsvlak en SCC Relay-verbindingen maken gebruik van TLS met certificaatpinning. Schakel TLS-inspectie (ontsleutelen en opnieuw versleutelen) niet in voor verkeer tussen uw clusters en het Azure Databricks besturingsvlak. Dit veroorzaakt storingen in het cluster. Configureer firewallregels zodanig dat deze verbindingen worden toegestaan op basis van de doel-FQDN of het doel-IP-adres, zonder TLS-interceptie. Zie IP-adressen en -domeinen voor Azure Databricks services en assets voor vereiste eindpunten.

Important

Onjuist geconfigureerde firewallregels kunnen Azure Databricks mogelijkheden verbreken. Test grondig in een niet-productieomgeving.

Beveiliging tegen gegevensexfiltratie

Netwerkbeleid en firewallcontroles configureren om niet-geautoriseerde gegevensexfiltratie te voorkomen:

• Serverloze uitgaand verkeer beheren via netwerkbeleid.
• Klassiek uitgaand verkeer van compute via firewall/NVA.
• Regels voor privé-eindpunten voor goedgekeurde gegevensbestemmingen.

Zie Gegevensexfiltratiebeveiliging voor implementatierichtlijnen.

Klassieke rekenbasislijn

De klassieke rekenbasislijn wordt overgenomen van beheerde beveiliging en cloudservice-eindpunten worden overgenomen van beperkte connectiviteit. Er zijn geen aanvullende klassieke rekenonderdelen vereist voor deze architectuur.

De basislijn bevat VNet-injectie, SCC (Secure Cluster Connectivity) en klassieke Private Link. Cloudservice-eindpunten omvatten door de gebruiker gedefinieerde routes (UDR's), service-eindpunten en privé-eindpunten voor door de klant beheerde opslagaccounts.

Uitgaande benaderingen voor gegevenstoegang

Er zijn twee benaderingen voor het verwerken van uitgaande gegevenstoegang vanuit rekenresources:

• NAT-gateway met firewall: Implementeer een NAT-gateway voor uitgaande connectiviteit en routeer verkeer via een firewall voor inspectie. Deze benadering maakt gecontroleerde toegang tot externe pakketopslagplaatsen en API's mogelijk en houdt inzicht in verkeerspatronen. Gebruik deze methode wanneer u toegang moet hebben tot externe resources, maar inspectie en logboekregistratie nodig hebt.

• Geen NAT-gateway (volledig privé): verwijder de NAT-gateway volledig om alle openbare communicatie van rekenresources te elimineren. Alle gegevenstoegang vindt alleen plaats via privé-eindpunten en VPC-eindpunten. Deze aanpak heeft het hoogste beveiligingsniveau door de mogelijkheid van gegevensexfiltratie via openbare uitgaande paden te verwijderen. Gebruik deze methode wanneer uw organisatie openbare internetcommunicatie van rekenresources verbiedt.

Implementation

Begin met een geïmplementeerde basislijn voor beveiligde connectiviteit. In de volgende fasen worden de toegang tot de privéwerkruimte en de vereiste externe firewall toegevoegd waarmee deze architectuur wordt gedefinieerd.

Fase 1: Inkomende controles

Binnenkomende Private Link configureren

Configureer inkomende Private Link zodat gebruikerstoegang tot de gebruikersinterface van Azure Azure Databricks en API's privé wordt gerouteerd in plaats van via openbare IP-adressen. Zie Inkomende privékoppeling configureren.

Openbare netwerktoegang uitschakelen

Stel de Public Network Access van de werkruimte in op Disabled in de Azure-portal. Dit is wat openbaar inkomend verkeer blokkeert. Zonder dit accepteert de werkruimte nog steeds internetverkeer, zelfs als inkomende Private Link is geconfigureerd.

Toegang van privégebruikers testen

Test gebruikerstoegang via VPN of Private Link om te bevestigen dat geverifieerde gebruikers de werkruimte alleen kunnen bereiken via het privénetwerkpad en dat openbare toegang wordt geblokkeerd.

Fase 2: Externe firewall (vereist)

Een externe firewall implementeren

Implementeer Azure Firewall of een virtueel netwerkapparaat (NVA) van derden in een hub-VNet en verbind het VNet van de werkruimte met behulp van VNet-peering of een virtuele hub.

Routeer uitgaand verkeer via de firewall met UDR’s

Configureer door de gebruiker gedefinieerde routes (UDR's) in de subnetten van de werkruimte met een standaardroute naar de firewall, zodat uitgaand verkeer van Azure Databricks compute via de hubfirewall loopt. Zie door de gebruiker gedefinieerde route-instellingen voor Azure Databricks.

Firewallregels configureren zonder TLS-onderschepping

Configureer Azure Firewall toepassings- en netwerkregels om alleen vereiste Azure Databricks eindpunten toe te staan (zie IP-adressen en -domeinen voor Azure Databricks services en assets) zonder TLS-onderschepping op het besturingsvlak en SCC-relayverkeer.

Fase 3: Validatie

Egressbeheer verifiëren

Verifieer het beheer van uitgaand verkeer door Azure Firewall-logboeken en diagnostische gegevens te bekijken om te verifiëren dat Azure Databricks-verkeer wordt geïnspecteerd en beperkt conform het beleid.

Geen openbare IP-adressen bevestigen

Controleer of er geen openbare IP-adressen zijn toegewezen aan clusterknooppunten of andere Azure Databricks-beheerde rekenresources in het VNet van de werkruimte.

Verkeerstromen valideren via privépaden

Valideer of al het controle-, gegevens- en binnenkomend verkeer via de geconfigureerde Private Link eindpunten en hubfirewall loopt zoals ontworpen.

De Azure Databricks Terraform SRA biedt sjablonen voor infrastructuur als code als uitgangspunt voor dit implementatiepatroon.

Validation

Nadat u de architectuur hebt geïmplementeerd, voert u de volgende controles uit om te controleren of volledige netwerkisolatie, privéconnectiviteit en uitgaande besturingselementen werken zoals geconfigureerd.

Controle	Verwacht resultaat
Werkruimte toegankelijk via VPN	Yes
Werkruimte toegankelijk zonder VPN	No
Clusters starten met SCC	Ja, geen openbare IP-adressen
Gegevenstoegang via privéverbindingen	Yes
Uitgaand verkeer geblokkeerd zonder firewallgoedkeuring	Yes
DNS wordt omgezet in privé-IP-adressen	Yes

Troubleshooting

Als een validatiecontrole mislukt of een workload geen verbinding kan maken met een vereist eindpunt, gebruikt u de cloudspecifieke tabel die volgt om veelvoorkomende problemen vast te stellen.

Issue	Oorzaak	Resolutie / Besluit
Cluster kan niet opstarten	Firewall blokkeert vereiste eindpunten of onjuist geconfigureerde privé-eindpunten voor SCC, Azure Databricks besturingsvlak of opslagaccounts (NSG-regels, routering)	Controleer firewalllogboeken en voeg Azure Databricks infrastructuurregels toe; controleer of NSG-regels voor privé-eindpunten verkeer van clustersubnetten toestaan; controleer UDR's
DNS-omzetting mislukt	Privé-DNS onjuist geconfigureerd	Privé-DNS-zones en VNet-koppelingen controleren
Opslagtoegang mislukt	Probleem met privé-eindpunt of routering	Configuratie en routetabellen van privé-eindpunten controleren
Installatie van pakket mislukt	PyPI geblokkeerd door firewall	PyPI toevoegen aan lijst met toegestane firewalls

Doorlopend onderhoud

• Firewallregels: controleer en werk de allowlists voor uitgaand verkeer regelmatig bij.
• DNS-beheer: records bijwerken wanneer u werkruimten toevoegt.
• Eindpuntbewaking: houd de status van privé-eindpunten en kosten voor gegevensoverdracht bij.
• Netwerkbeleid: Privé-eindpunten toevoegen voor nieuwe goedgekeurde gegevensbronnen.
• Firewall verwijderen: als de operationele overhead van de firewall te hoog is of de nalevingsvereisten zijn versoepelen, kunt u het firewallonderdeel verwijderen en privéconnectiviteit en VPN-toegang behouden.
• Terugschakelen naar beveiligde connectiviteit: Als de toegang tot privéwerkruimten een belemmering voor de productiviteit wordt.

Volgende stappen 

Resource	Description
Beveiliging tegen gegevensexfiltratie	Gedetailleerde referentiearchitectuur voor het combineren van netwerk- en Unity Catalog-besturingselementen om gegevensexfiltratie te voorkomen.
Netwerken	Netwerkopties en -concepten voor Azure Databricks.