Izolované prostředí

Architektura izolovaného prostředí vychází ze základního nastavení zabezpečeného připojení a přidává dva požadavky: přístup k soukromému pracovnímu prostoru a povinný externí firewall. Přístup k pracovnímu prostoru je podmíněn sítí VPN nebo příchozím připojením Private Link, nikoli přes veřejný internet. Všechny klasické výchozí přenosy výpočetních prostředků procházejí bránou firewall pro účely kontroly a vynucení zásad.

Tato architektura má:

• Úplná izolace sítě: Veškerý provoz prochází privátními připojeními.
• Přístup k privátnímu pracovnímu prostoru: pouze přes VPN nebo příchozí privátní odkaz. Pracovní prostor je nedostupný z veřejného internetu.
• Požadovaná kontrola odchozího provozu: Kontrola bránou firewall veškerého odchozího provozu klasických výpočetních prostředků.
• Prevence exfiltrace dat: Ovládací prvky vrstvy sítě blokují neoprávněný přenos dat.

Tuto architekturu použijte v těchto případech:

• Přístup k pracovnímu prostoru musí probíhat soukromě, například přes síť VPN nebo příchozí Private Link.
• Zpracování dat v vysoce regulovaných odvětvích, jako jsou finanční služby, zdravotnictví, státní správa.
• Architektury dodržování předpisů vyžadují kontroly výchozího přenosu dat (například SOC 2, HIPAA, PCI DSS a FedRAMP).
• Implementace architektur zabezpečení s nulovou důvěryhodností podniku
• Prevence exfiltrace dat je požadavkem.

Předpoklady

• Azure Azure Databricks úrovně Premium s pracovním prostorem integrovaným do virtuální sítě.

• Stávající VPN infrastruktura nebo příchozí konektivita Private Link.
• Brána firewall nebo virtuální síťové zařízení (NVA).

Přehled architektury

Architektura izolovaného prostředí směruje veškerý provoz prostřednictvím privátních připojení s kontrolou brány firewall:

Typ provozu	Cesta
Přístup uživatelů	Uživatelé → VPN nebo příchozí připojení Private Link → pracovní prostor
Klasické výpočetní prostředí → řízení	Compute → Classic Private Link → řídicí rovina Azure Databricks
Klasická výpočetní infrastruktura → cloud	Compute → Koncové body služby nebo UDR → služby Azure
Bezserverové → vaše prostředky	Bezserverové výpočty → privátní koncové body NCC → prostředky v Azure
Klasické výpočetní → výchozí přenos dat	Výpočetní prostředky → Externí firewall (povinný) → Kontrolovaný internetový provoz

Požadované komponenty

Příchozí

Pracovní prostor je dostupný pouze přes privátní připojení: VPN, příchozí propojení pomocí služby Private Link nebo obojí v závislosti na vaší stávající infrastruktuře. Zákazníci si obvykle vyberou jednu možnost, místo aby je kombinovali.

Nastavení soukromého přístupu (vypnutí veřejného přístupu)

Toto je řídicí mechanismus, který skutečně blokuje veřejný příchozí přístup. Bez něj pracovní prostor stále přijímá internetový provoz i s nakonfigurovaným Private Link. Private Link se stane další cestou, nikoli jedinou cestou.

Na portálu Azure nastavte Public Network Access na Disabled. Tím se zablokuje veřejný příchozí přístup k uživatelskému rozhraní a rozhraním API pracovního prostoru.

Ovládací prvky příchozího přístupu do pracovního prostoru

Nakonfigurujte příchozí komunikaci do pracovního prostoru prostřednictvím kontextově podmíněného příchozího přístupu (CBI), což je doporučený rámec zásad pro příchozí komunikaci. Pravidla CBI kombinují síťový zdroj (rozsahy IP adres), identitu, mechanismus ověřování a obor přístupu do jediného modelu povolení/zamítnutí, takže atribut zdroje sítě dělá stejnou úlohu jako funkce samostatného seznamu přístupu IP a další.

Seznamy přístupu IP zůstávají podporované a je možné je nakonfigurovat společně s CBI. Pokud jsou oba nakonfigurované, musí být požadavek povolen oběma ovládacími prvky.

Úrovně konfigurace:

• Zásady CBI na úrovni účtu: Vztahují se na všechny pracovní prostory připojené k zásadě. Viz Správa kontextových zásad příchozí komunikace.
• Seznamy přístupu IP na úrovni pracovního prostoru: Platí pro jeden pracovní prostor. Viz Konfigurace přístupových seznamů IP adres pro pracovní prostory.
• Seznamy přístupu IP na úrovni účtu: Platí pro konzolu účtu. Viz Konfigurace přístupových seznamů IP adres pro konzolu účtu.

Osvědčené postupy:

• Začněte široce a upřesněte na základě skutečného využití.
• Rozsahy IP adres dokumentů s daty účelu a vypršení platnosti
• Udržujte přístup správce prostřednictvím známého dobrého rozsahu IP adres.
• Kontrolujte čtvrtletně a odstraňte zastaralé rozsahy.

Výstraha

Pokud jsou zásady příchozího přístupu a seznamy přístupu z IP adres chybně nakonfigurované, můžou vám zablokovat přístup do pracovního prostoru. Vždy udržujte přístup správce prostřednictvím známého dobrého rozsahu IP adres.

OpenSharing recipient access control

OpenSharing používá vlastní seznamy přístupu IP nakonfigurované pro objekty příjemců. Toto je odděleno od seznamů přístupu k IP adresám pracovního prostoru a nevztahuje se na to příchozí přístup na základě kontextu. Platí pouze pro sdílení Databricks-to-Open (pouze pro příjemce, kteří nejsou v Azure Databricks).

Viz Omezení přístupu příjemců openSharing pomocí přístupových seznamů IP (sdílení Databricks-to-Open).

Příchozí připojení

Vytvoří privátní připojení pro uživatelský přístup k uživatelskému rozhraní a rozhraní API pracovního prostoru. Uživatelé přistupují k pracovnímu prostoru přes VPN nebo prostřednictvím příchozího připojení Private Link, nikoli přes veřejný internet.

Viz Konfigurace příchozího privátního propojení.

Vlastní DNS

Nakonfigurujte privátní DNS pro překlad koncových bodů Azure Databricks na privátní IP adresy.

Azure při vytváření privátních koncových bodů automaticky vytváří privátní zóny DNS.

Odchozí

Řízení odchozí komunikace bez serveru (síťové zásady a privátní koncové body NCC) se dědí ze základního nastavení Zabezpečené připojení. Díky této architektuře je externí firewall, který je v režimu Hardened volitelný, vyžadován pro úplnou kontrolu odchozího provozu classic compute.

Externí brána firewall (vyžadováno)

Směrujte veškerý odchozí provoz přes firewall za účelem inspekce, protokolování a vynucování zásad. K dispozici jsou následující možnosti:

• Azure Firewall nebo síťová virtuální zařízení třetích stran (NVA).

Tip

Pomocí zásad koncových bodů služby pro úložiště artefaktů Azure Databricks můžete obejít bránu firewall a snížit náklady na přenos dat. Samotné úložiště artefaktů může na každý uzel clusteru představovat až 11 GB stažených dat.

Požadované koncové body Azure Databricks, které musí pravidla brány firewall povolit, najdete v článku IP adresy a domény pro služby a prostředky Azure Databricks.

Tip

Pokud chcete maximální uzamčení, zvažte hostování privátního úložiště balíčků (například JFrog Artifactory nebo Sonatype Nexus) pro balíčky Python, R a Maven. To eliminuje potřebu pravidel brány firewall umožňující přístup k veřejným indexům balíčků, jako je PyPI.

Výstraha

Řídicí rovina Azure Databricks a připojení služby SCC relay používají protokol TLS s připínáním certifikátů. Nepovolujte kontrolu protokolu TLS (dešifrování a opětovné šifrování) provozu mezi clustery a řídicí rovinou Azure Databricks. Tím dojde k selhání clusteru. Nakonfigurujte pravidla brány firewall tak, aby tato připojení povolovala na základě cílového plně kvalifikovaného názvu domény (FQDN) nebo IP adresy bez inspekce TLS. Požadované koncové body najdete v článku IP adresy a domény pro služby a prostředky Azure Databricks.

Important

Nesprávně nakonfigurovaná pravidla brány firewall můžou narušit možnosti Azure Databricks. Důkladně testujte v neprodukčním prostředí.

Ochrana před exfiltrací dat

Nakonfigurujte zásady sítě a ovládací prvky brány firewall, aby se zabránilo neoprávněnému exfiltraci dat:

• Řízení výchozího přenosu dat bez serveru prostřednictvím zásad sítě
• Výchozí výkon klasických výpočetních prostředků prostřednictvím brány firewall nebo síťového virtuálního zařízení
• Pravidla privátního koncového bodu pro schválené cíle dat.

Pokyny k implementaci najdete v tématu Ochrana před exfiltrací dat .

Standardní hodnoty klasického výpočetního prostředí

Základní konfigurace pro klasické výpočetní prostředky se přebírá z Managed security a koncové body cloudových služeb se přebírají z Hardened connectivity. Pro tuto architekturu nejsou vyžadovány žádné další klasické výpočetní komponenty.

Standardní hodnoty zahrnují injektáž virtuální sítě, zabezpečené připojení ke clusteru (SCC) a klasickou Private Link. Koncové body cloudové služby zahrnují trasy definované uživatelem, koncové body služby a privátní koncové body pro účty úložiště spravované zákazníkem.

Způsoby odchozího přístupu k datům

Existují dva přístupy ke zpracování odchozího přístupu k datům z výpočetních prostředků:

• Brána NAT s firewallem: Nasaďte bránu NAT pro odchozí komunikaci a směrujte provoz přes firewall za účelem inspekce. Tento přístup umožňuje řízený přístup k externím úložištím balíčků a rozhraním API a udržuje přehled o vzorech provozu. Tento přístup použijte, když potřebujete přístup k externím prostředkům, ale potřebujete kontrolu a protokolování.

• Žádná brána NAT (plně privátní):: Úplně odeberte bránu NAT, aby se vyloučila veškerá veřejná komunikace z výpočetních prostředků. K veškerému přístupu k datům dochází pouze prostřednictvím privátních koncových bodů a koncových bodů VPC. Tento přístup má nejvyšší úroveň zabezpečení odstraněním možnosti exfiltrace dat prostřednictvím veřejných výstupních cest. Tento přístup použijte, když vaše organizace zakáže veškerou veřejnou internetovou komunikaci z výpočetních prostředků.

Implementation

Začněte s nasazeným základem zabezpečeného připojení. Následující fáze přidají přístup k privátnímu pracovnímu prostoru a požadovanou externí bránu firewall, která tuto architekturu definuje.

Fáze 1: Vstupní řízení

1. Nakonfigurujte příchozí Private Link tak, aby byl uživatelský přístup k uživatelskému rozhraní Azure Azure Databricks a rozhraním API směrován soukromě místo přes veřejné IP adresy. Viz Konfigurace příchozího privátního propojení.
2. Na portálu Azure nastavte Public Network Access na Disabled. Toto ve skutečnosti blokuje veřejný příchozí přístup. Bez něj pracovní prostor stále přijímá internetový provoz, i když je nakonfigurováno příchozí připojení Private Link.
3. Otestujte přístup uživatelů přes síť VPN nebo Private Link a ověřte, že se ověření uživatelé dostanou k pracovnímu prostoru pouze prostřednictvím cesty k privátní síti a že je zablokovaný veřejný přístup.

Fáze 2: Externí firewall (povinný)

1. Nasaďte Azure Firewall nebo síťové virtuální zařízení (NVA) od jiného poskytovatele v centrální virtuální síti a připojte virtuální síť pracovního prostoru pomocí partnerského propojení virtuálních sítí nebo virtuálního centra.
2. Nakonfigurujte v podsítích pracovního prostoru uživatelsky definované trasy (UDR) s výchozí trasou směrovanou na bránu firewall, aby odchozí provoz z výpočetních prostředků Azure Databricks procházel bránou firewall v centru. Viz Nastavení trasy definované uživatelem pro Azure Databricks.
3. Nakonfigurujte pravidla aplikací a síťová pravidla služby Azure Firewall tak, aby povolovala jen požadované koncové body služby Azure Databricks (viz IP adresy a domény pro služby a prostředky Azure Databricks) bez inspekce TLS u provozu řídicí roviny a relé SCC.

Fáze 3: Ověření

1. Zkontrolováním protokolů a diagnostických údajů služby Azure Firewall ověřte, že je provoz Azure Databricks kontrolován a omezen v souladu se zásadami.
2. Ověřte, že nejsou přiřazené žádné veřejné IP adresy k uzlům clusteru nebo jiným výpočetním prostředkům spravovaným Azure Databricks ve virtuální síti pracovního prostoru.
3. Ověřte, že veškerý řídicí, datový a příchozí provoz prochází nakonfigurovanými koncovými body Private Link a centrální bránou firewall podle návrhu.

Azure Databricks Terraform SRA poskytuje šablony infrastruktury jako výchozí bod pro tento model nasazení.

Validation

Po nasazení architektury spusťte následující kontroly a ověřte, že úplná izolace sítě, privátní připojení a ovládací prvky výchozího přenosu dat fungují podle konfigurace.

Zkontrolujte	Očekávaný výsledek
Pracovní prostor přístupný přes síť VPN	Ano
Pracovní prostor přístupný bez sítě VPN	Ne
Clustery se spouštějí pomocí SCC	Ano, žádné veřejné IP adresy
Přístup k datům prostřednictvím privátních připojení	Ano
Odchozí provoz blokován bez schválení firewallem	Ano
DNS se překládá na privátní IP adresy	Ano

Troubleshooting

Pokud se kontrola ověření nezdaří nebo se úloha nemůže připojit k požadovanému koncovému bodu, k diagnostice běžných problémů použijte následující tabulku specifickou pro cloud.

Issue	Příčina	Resolution
Cluster se nepodařilo spustit	Blokování požadovaných koncových bodů bránou firewall nebo chybně nakonfigurované privátní koncové body pro SCC, řídicí rovinu Azure Databricks nebo účty úložiště (pravidla NSG, směrování)	Zkontrolujte protokoly brány firewall a přidejte pravidla pro infrastrukturu Azure Databricks; ověřte, že pravidla NSG pro privátní koncový bod povolují provoz z podsítí clusteru; zkontrolujte trasy definované uživatelem.
Překlad DNS se nezdařil	Chybně nakonfigurovaný Privátní DNS	Ověření privátních zón DNS a propojení virtuálních sítí
Selhání přístupu k úložišti	Problém s privátním koncovým bodem nebo směrováním	Kontrola konfigurace privátního koncového bodu a směrovacích tabulek
Instalace balíčku selže	PyPI blokované firewallem	Přidat PyPI do seznamu povolených položek brány firewall

Průběžná údržba

• Pravidla brány firewall: Pravidelně kontrolujte a aktualizujte seznamy povolených výchozích přenosů dat.
• Správa DNS: Při přidávání pracovních prostorů aktualizujte záznamy.
• Monitorování koncových bodů: Sledování stavu privátního koncového bodu a nákladů na přenos dat
• Zásady sítě: Přidejte privátní koncové body pro nové schválené zdroje dat.
• Odebrat bránu firewall: Pokud je provozní režie brány firewall příliš vysoká nebo se uvolní požadavky na dodržování předpisů, můžete komponentu brány firewall odebrat a zachovat privátní připojení a přístup k síti VPN.
• Přechod na nižší úroveň zabezpečeného připojení: Pokud se přístup k soukromému pracovnímu prostoru stane překážkou produktivity.

Další kroky

zdroj	Description
Ochrana před exfiltrací dat	Podrobná referenční architektura pro kombinování ovládacích prvků katalogu Unity a sítí, které brání exfiltraci dat.
Síťování	Možnosti a koncepty sítí pro Azure Databricks