Zabezpečení datového lakehouse pomocí Azure Synapse Analytics

Azure Synapse Analytics

Azure Data Lake Storage

Azure Virtual Network

Power BI

Tento článek popisuje proces návrhu, principy a technologické volby pro použití Azure Synapse k vytvoření zabezpečeného řešení Data Lakehouse. Zaměřujeme se na aspekty zabezpečení a klíčová technická rozhodnutí.

Apache®, Apache Spark® a logo flame jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo jiných zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.

Architektura

Následující diagram znázorňuje architekturu řešení Data Lakehouse. Je navržená tak, aby řídila interakce mezi službami za účelem zmírnění bezpečnostních hrozeb. Řešení se budou lišit v závislosti na funkčních a bezpečnostních požadavcích.

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

Tok dat pro řešení je znázorněn v následujícím diagramu:

Data se nahrají ze zdroje dat do cílové zóny dat, a to buď do úložiště objektů blob v Azure, nebo do sdílené složky, kterou poskytuje Azure Files. Data se nahrají pomocí dávkového nahrávacího programu nebo systému. Streamovaná data se zaznamenávají a ukládají ve službě Blob Storage pomocí funkce Capture Azure Event Hubs. Může existovat více zdrojů dat. Například několik různých továren může nahrát svá provozní data. Informace o zabezpečení přístupu ke službě Blob Storage, sdíleným složkám a dalším prostředkům úložiště najdete v tématech Doporučení zabezpečení pro službu Blob Storage a Plánování nasazení Azure Files.
Příchod datového souboru aktivuje Azure Data Factory zpracování dat a jejich uložení do data lake v základní datové zóně. Nahrávání dat do základní datové zóny v Azure Data Lake chrání před exfiltrací dat.
Azure Data Lake ukládá nezpracovaná data získaná z různých zdrojů. Je chráněný pravidly brány firewall a virtuálními sítěmi. Blokuje všechny pokusy o připojení přicházející z veřejného internetu.
Příchod dat do data lake aktivuje kanál Azure Synapse nebo časovaná aktivační událost spustí úlohu zpracování dat. Apache Spark v Azure Synapse je aktivovaný a spustí úlohu nebo poznámkový blok Sparku. Také orchestruje tok procesu dat v data lakehouse. Azure Synapse kanály převádějí data z bronzové zóny do stříbrné zóny a pak do zlaté zóny.
Úloha sparku nebo poznámkový blok spustí úlohu zpracování dat. Ve Sparku můžete také spustit kurátorování dat nebo trénovací úlohu strojového učení. Strukturovaná data ve zlaté zóně se ukládají ve formátu Delta Lake .
Bezserverový fond SQL vytvoří externí tabulky , které používají data uložená v Delta Lake. Bezserverový fond SQL poskytuje výkonný a efektivní dotazovací stroj SQL a může podporovat tradiční uživatelské účty SQL nebo uživatelské účty Azure Active Directory (Azure AD).
Power BI se připojí k bezserverovém fondu SQL a vizualizuje data. Vytváří sestavy nebo řídicí panely pomocí dat v data lakehouse.
Datoví analytici nebo vědci se můžou k Azure Synapse Studiu přihlásit za účelem:
- Dále vylepšete data.
- Pomocí analýzy získáte obchodní přehled.
- Trénování modelu strojového učení
Obchodní aplikace se připojují k bezserverovém fondu SQL a používají data k podpoře dalších požadavků na obchodní provoz.
Azure Pipelines spustí proces CI/CD, který řešení automaticky sestaví, otestuje a nasadí. Je navržený tak, aby minimalizoval zásah člověka během procesu nasazení.

Komponenty

Toto jsou klíčové komponenty tohoto řešení Data Lakehouse:

Alternativy

Pokud potřebujete zpracovávat data v reálném čase, můžete místo ukládání jednotlivých souborů do cílové zóny dat použít Apache Structured Streaming k příjmu datového proudu ze služby Event Hubs a jeho zpracování.
Pokud mají data složitou strukturu a vyžadují složité dotazy SQL, zvažte jejich uložení do vyhrazeného fondu SQL místo do bezserverového fondu SQL.
Pokud data obsahují mnoho hierarchických datových struktur , například mají velkou strukturu JSON, můžete je uložit do Azure Synapse Data Explorer.

Podrobnosti scénáře

Azure Synapse Analytics je univerzální datová platforma, která podporuje podnikové datové sklady, analýzu dat v reálném čase, kanály, zpracování dat časových řad, strojové učení a zásady správného řízení dat. Pro podporu těchto funkcí integruje několik různých technologií, například:

Podnikové datové sklady
Bezserverové fondy SQL
Apache Spark
Pipelines
Data Explorer
Možnosti strojového učení
Jednotné zásady správného řízení dat Purview

Diagram znázorňující Azure Synapse Analytics a její komponenty, možnosti a aplikace

Tyto možnosti otevírají mnoho možností, ale existuje mnoho technických možností, jak bezpečně nakonfigurovat infrastrukturu pro bezpečné použití.

Cílem je poskytnout pokyny k vytvoření zabezpečené a nákladově efektivní platformy Data Lakehouse pro podnikové použití a zajistit bezproblémovou a bezpečnou spolupráci mezi technologiemi.

Potenciální případy použití

Data Lakehouse je moderní architektura správy dat, která kombinuje funkce nákladové efektivity, škálování a flexibility datového jezera s funkcemi správy dat a transakcí datového skladu. Data Lakehouse dokáže zpracovat obrovské množství dat a podporovat scénáře business intelligence a strojového učení. Může také zpracovávat data z různých datových struktur a zdrojů dat. Další informace najdete v tématu Co je Databricks Lakehouse?.

Některé běžné případy použití řešení, které je zde popsáno, jsou:

Analýza telemetrie internetu věcí (IoT)
Automatizace inteligentních továren (pro výrobu)
Sledování aktivit a chování spotřebitelů (pro maloobchod)
Správa incidentů a událostí zabezpečení
Monitorování aplikačních protokolů a chování aplikací
Zpracování a obchodní analýza částečně strukturovaných dat

Návrh na vysoké úrovni

Toto řešení se zaměřuje na postupy návrhu zabezpečení a implementace v architektuře. Bezserverový fond SQL, Apache Spark v Azure Synapse, kanály Azure Synapse, Data Lake Storage a Power BI jsou klíčové služby používané k implementaci modelu Data Lakehouse.

Tady je architektura návrhu řešení na vysoké úrovni:

Diagram znázorňující architekturu návrhu řešení Data Lakehouse vysoké úrovně

Výběr zaměření na zabezpečení

K návrhu zabezpečení jsme začali používat nástroj modelování hrozeb. Nástroj nám pomohl:

Komunikujte se zúčastněnými stranami systému o potenciálních rizicích.
Definujte hranici důvěryhodnosti v systému.

Na základě výsledků modelování hrozeb jsme jako hlavní priority učinili následující oblasti zabezpečení:

Identita a řízení přístupu
Ochrana sítě
Zabezpečení DevOps

Funkce zabezpečení a změny infrastruktury jsme navrhli tak, aby chránily systém zmírněním klíčových bezpečnostních rizik identifikovaných těmito hlavními prioritami.

Podrobnosti o tom, co byste měli zkontrolovat a zvážit, najdete tady:

Plán ochrany sítí a prostředků

Jedním z klíčových principů zabezpečení v Cloud Adoption Framework je nulová důvěra (Zero Trust) princip: při návrhu zabezpečení pro libovolnou komponentu nebo systém snižte riziko rozšíření přístupu útočníků za předpokladu, že dojde k ohrožení jiných prostředků v organizaci.

Na základě výsledku modelování hrozeb přijímá řešení doporučení k nasazení mikrosegmentace s nulovou důvěryhodností a definuje několik hranic zabezpečení. Ochrana před exfiltrací dat Azure Virtual Network a Azure Synapse jsou klíčové technologie, které se používají k implementaci hranice zabezpečení za účelem ochrany datových prostředků a důležitých komponent.

Vzhledem k tomu, že Azure Synapse se skládá z několika různých technologií, musíme:

Identifikujte komponenty Synapse a souvisejících služeb, které se používají v projektu.

Azure Synapse je univerzální datová platforma, která dokáže zpracovat mnoho různých potřeb zpracování dat. Nejprve se musíme rozhodnout, které komponenty v Azure Synapse se v projektu použijí, abychom mohli naplánovat, jak je chránit. Potřebujeme také zjistit, jaké další služby komunikují s těmito Azure Synapse komponentami.

V architektuře Data Lakehouse jsou klíčové komponenty:
- Azure Synapse bezserverového SQL
- Apache Spark v Azure Synapse
- kanály Azure Synapse
- Data Lake Storage
- Azure DevOps
Definujte chování právní komunikace mezi komponentami.

Musíme definovat povolené komunikační chování mezi komponentami. Chceme například, aby modul Spark komunikuje přímo s vyhrazenou instancí SQL, nebo chceme, aby komunikovat přes proxy server, jako je Azure Synapse Integrace Dat kanál nebo Data Lake Storage?

Na základě nulová důvěra (Zero Trust) principu blokujeme komunikaci, pokud není obchodní potřeba interakce. Například zablokujeme modul Spark, který je v neznámém tenantovi, aby přímo komunikoval se službou Data Lake Storage.
Zvolte správné řešení zabezpečení pro vynucení definovaného chování komunikace.

V Azure může definované komunikační chování služby vynutit několik technologií zabezpečení. Například v Data Lake Storage můžete pomocí seznamu povolených IP adres řídit přístup k datovému jezeru, ale můžete také zvolit, které virtuální sítě, služby Azure a instance prostředků jsou povolené. Každá metoda ochrany poskytuje jinou ochranu zabezpečení. Vybírejte na základě obchodních potřeb a omezení prostředí. Konfigurace použitá v tomto řešení je popsaná v další části.
Implementujte detekci hrozeb a pokročilou ochranu důležitých prostředků.

Pro důležité prostředky je nejlepší implementovat detekci hrozeb a pokročilou ochranu. Služby pomáhají identifikovat hrozby a aktivovat výstrahy, aby systém mohl uživatele upozornit na porušení zabezpečení.

Zvažte následující techniky pro lepší ochranu sítí a prostředků:

Nasazení hraničních sítí za účelem zajištění zón zabezpečení pro datové kanály

Pokud úloha datového kanálu vyžaduje přístup k externím datům a cílové zóně dat, je nejlepší implementovat hraniční síť a oddělit ji kanálem extrakce, transformace a načítání (ETL).
Povolení Defenderu pro cloud pro všechny účty úložiště

Defender for Cloud aktivuje výstrahy zabezpečení, když zjistí neobvyklé a potenciálně škodlivé pokusy o přístup k účtům úložiště nebo jejich zneužití. Další informace najdete v tématu Konfigurace Microsoft Defender pro službu Storage.
Uzamčení účtu úložiště, aby se zabránilo škodlivému odstranění nebo změnám konfigurace

Další informace najdete v tématu Použití zámku azure Resource Manager na účet úložiště.

Architektura s ochranou sítí a prostředků

Následující tabulka popisuje definované komunikační chování a technologie zabezpečení zvolené pro toto řešení. Volby byly založeny na metodách popsaných v plánu ochrany sítí a prostředků.

Od (klient)	Do (služba)	Chování	Konfigurace	Poznámky
Internet	Data Lake Storage	Odepřít vše	Pravidlo brány firewall – Výchozí zamítnutí	Výchozí hodnota: Odepřít	Pravidlo brány firewall – Výchozí zamítnutí
kanál Azure Synapse nebo Spark	Data Lake Storage	Povolit (instance)	Virtuální síť – spravovaný privátní koncový bod (Data Lake Storage)
Synapse SQL	Data Lake Storage	Povolit (instance)	Pravidlo brány firewall – Instance prostředků (Synapse SQL)	Synapse SQL potřebuje přístup k Data Lake Storage pomocí spravovaných identit
Agent Azure Pipelines	Data Lake Storage	Povolit (instance)	Pravidlo brány firewall – Vybrané virtuální sítě Koncový bod služby – Storage	Pro testování integrace bypass: AzureServices (pravidlo brány firewall)
Internet	Pracovní prostor Synapse	Odepřít vše	Pravidlo brány firewall
Agent Azure Pipelines	Pracovní prostor Synapse	Povolit (instance)	Virtuální síť – privátní koncový bod	Vyžaduje tři privátní koncové body (dev, bezserverový SQL a vyhrazený SQL).
Virtuální síť spravovaná službou Synapse	Internetový nebo neautorizovaný tenant Azure	Odepřít vše	Virtuální síť – Ochrana před exfiltrací dat Synapse
Kanál Synapse / Spark	Key Vault	Povolit (instance)	Virtuální síť – spravovaný privátní koncový bod (Key Vault)	Výchozí: Odepřít
Agent Azure Pipelines	Key Vault	Povolit (instance)	Pravidlo brány firewall – vybrané virtuální sítě * Koncový bod služby – Key Vault	bypass: AzureServices (pravidlo brány firewall)
Azure Functions	Synapse bezserverový SQL	Povolit (instance)	Virtuální síť – privátní koncový bod (Bezserverový SQL Synapse)
Kanál Synapse / Spark	Azure Monitor	Povolit (instance)	Virtuální síť – privátní koncový bod (Azure Monitor)

Například v plánu chceme:

Vytvořte pracovní prostor Azure Synapse se spravovanou virtuální sítí.
Zabezpečení výchozího přenosu dat z Azure Synapse pracovních prostorů pomocí ochrany před exfiltrací dat Azure Synapse pracovních prostorů.
Umožňuje spravovat seznam schválených tenantů Azure AD pro pracovní prostor Azure Synapse.
Nakonfigurujte pravidla sítě tak, aby udělovali přenosy do účtu úložiště z vybraných virtuálních sítí, jenom přístup k síti a zakažte veřejný síťový přístup.
Pomocí spravovaných privátních koncových bodů připojte virtuální síť spravovanou Azure Synapse k datovému jezeru.
Pomocí instance prostředku můžete bezpečně připojit Azure Synapse SQL k datovému jezeru.

Požadavky

Tyto aspekty implementují pilíře azure Well-Architected Framework, což je sada hlavních zásad, které můžete použít ke zlepšení kvality úloh. Další informace najdete v tématu Microsoft Azure Well-Architected Framework.

Zabezpečení

Informace o pilíři zabezpečení Well-Architected Framework najdete v tématu Zabezpečení.

Identita a řízení přístupu

Systém obsahuje několik komponent. Každá z nich vyžaduje jinou konfiguraci správy identit a přístupu (IAM). Tyto konfigurace musí spolupracovat, aby poskytovaly zjednodušené uživatelské prostředí. Proto při implementaci identity a řízení přístupu používáme následující pokyny k návrhu.

Volba řešení identit pro různé vrstvy řízení přístupu
- V systému jsou čtyři různá řešení identit.
  - Účet SQL (SQL Server)
  - Instanční objekt (Azure AD)
  - Spravovaná identita (Azure AD)
  - Uživatelský účet (Azure AD)
- V systému jsou čtyři různé vrstvy řízení přístupu.
  - Vrstva přístupu k aplikacím: Zvolte řešení identit pro role ap.
  - Vrstva Azure Synapse přístupu k databázi nebo tabulce: Zvolte řešení identit pro role v databázích.
  - Azure Synapse přístup k vrstvě externích prostředků: Zvolte řešení identit pro přístup k externím prostředkům.
  - Data Lake Storage vrstvě přístupu: Zvolte řešení identit pro řízení přístupu k souborům v úložišti.
Klíčovou součástí řízení identit a přístupu je výběr správného řešení identit pro každou vrstvu řízení přístupu. Principy návrhu zabezpečení rozhraní Azure Well-Architected Framework navrhují použití nativních ovládacích prvků a zjednodušení. Proto toto řešení používá Azure AD uživatelský účet koncového uživatele v aplikaci a Azure Synapse vrstvách přístupu k databázi. Využívá nativní řešení IAM od první strany a poskytuje jemně odstupňované řízení přístupu. Azure Synapse přístup k vrstvě externích prostředků a přístupové vrstvě Data Lake používají spravovanou identitu v Azure Synapse, aby se zjednodušil proces autorizace.
Zvažte nejméně privilegovaný přístup.

Nulová důvěra (Zero Trust) hlavní princip navrhuje poskytnout přístup k důležitým prostředkům za běhu a dostatečný přístup. Pokud chcete v budoucnu zvýšit zabezpečení, přečtěte si téma Azure AD Privileged Identity Management (PIM).
Ochrana propojené služby

Propojené služby definují informace o připojení, které jsou potřeba pro připojení služby k externím prostředkům. Je důležité zabezpečit konfigurace propojených služeb.
- Vytvořte propojenou službu Azure Data Lake s Private Link.
- Jako metodu ověřování v propojených službách použijte spravovanou identitu .
- K zabezpečení přihlašovacích údajů pro přístup k propojené službě použijte Azure Key Vault.

Posouzení skóre zabezpečení a detekce hrozeb

Aby řešení porozumělo stavu zabezpečení systému, používá Microsoft Defender pro cloud k posouzení zabezpečení infrastruktury a zjišťování problémů se zabezpečením. Microsoft Defender for Cloud je nástroj pro správu stavu zabezpečení a ochranu před hrozbami. Může chránit úlohy běžící v Azure, hybridních a dalších cloudových platformách.

Diagram znázorňující Azure Synapse a jeho možnosti

Při první návštěvě stránek Defenderu pro cloud v Azure Portal automaticky povolíte bezplatný plán Defenderu pro cloud u všech vašich předplatných Azure. Důrazně doporučujeme, abyste ho povolili, abyste získali hodnocení a návrhy stavu cloudového zabezpečení. Microsoft Defender pro cloud poskytne skóre zabezpečení a některé pokyny k posílení zabezpečení pro vaše předplatná.

Diagram znázorňující Azure Synapse a jeho možnosti

Pokud řešení potřebuje pokročilé možnosti správy zabezpečení a detekce hrozeb, jako je detekce a upozorňování na podezřelé aktivity, můžete pro různé prostředky povolit ochranu cloudových úloh jednotlivě.

Optimalizace nákladů

Informace o pilíři optimalizace nákladů Well-Architected Framework najdete v tématu Optimalizace nákladů.

Klíčovou výhodou řešení Data Lakehouse je nákladová efektivita a škálovatelná architektura. Většina komponent v řešení používá fakturaci na základě spotřeby a bude se automaticky škálovat. V tomto řešení jsou všechna data uložena v Data Lake Storage. Za ukládání dat platíte jenom v případě, že nespouštíte žádné dotazy nebo nezpracováváte data.

Ceny tohoto řešení závisí na využití následujících klíčových prostředků:

Azure Synapse bezserverového SQL: Používejte fakturaci na základě spotřeby a plaťte jenom za to, co používáte.
Apache Spark v Azure Synapse: používejte fakturaci na základě spotřeby a plaťte jenom za to, co používáte.
Azure Synapse Pipelines: Používejte fakturaci na základě spotřeby a plaťte jenom za to, co používáte.
Azure Data Lakes: Používejte fakturaci na základě spotřeby a plaťte jenom za to, co používáte.
Power BI: Náklady jsou založené na tom, jakou licenci si koupíte.
Private Link: Používejte fakturaci na základě spotřeby, plaťte jenom za to, co používáte.

Různá řešení ochrany zabezpečení mají různé režimy nákladů. Řešení zabezpečení byste měli zvolit na základě vašich obchodních potřeb a nákladů na řešení.

K odhadu nákladů na řešení můžete použít cenovou kalkulačku Azure .

Efektivita provozu

Informace o pilíři provozní excelence v rámci Well-Architected najdete v tématu Efektivita provozu.

Použití agenta kanálu s podporou virtuální sítě v místním prostředí pro služby CI/CD

Výchozí agent kanálu Azure DevOps nepodporuje komunikaci virtuální sítě, protože používá velmi široký rozsah IP adres. Toto řešení implementuje agenta Azure DevOps v místním prostředí ve virtuální síti, aby procesy DevOps mohly bez problémů komunikovat s ostatními službami v řešení. Připojovací řetězce a tajné kódy pro spouštění služeb CI/CD jsou uložené v nezávislém trezoru klíčů. Během procesu nasazení agent v místním prostředí přistupuje k trezoru klíčů v základní datové zóně a aktualizuje konfigurace prostředků a tajné kódy. Další informace najdete v dokumentu Použití samostatných trezorů klíčů . Toto řešení také používá škálovací sady virtuálních počítačů , aby zajistilo, že modul DevOps může automaticky vertikálně navýšit a snížit kapacitu v závislosti na zatížení.

Implementace kontroly zabezpečení infrastruktury a testování kouře zabezpečení v kanálu CI/CD

Nástroj pro statickou analýzu pro prohledávání souborů infrastruktury jako kódu (IaC) může pomoct zjistit a zabránit chybným konfiguracím, které můžou vést k problémům se zabezpečením nebo dodržováním předpisů. Testování kouře zabezpečení zajišťuje, že jsou úspěšně povolena důležitá opatření zabezpečení systému a chrání před selháním nasazení.

Pomocí nástroje pro statickou analýzu zkontrolujte šablony infrastruktury jako kódu (IaC), abyste zjistili a zabránili chybným konfiguracím, které můžou vést k problémům se zabezpečením nebo dodržováním předpisů. K detekci a prevenci bezpečnostních rizik použijte nástroje, jako je Checkov nebo Terrascan .
Ujistěte se, že kanál CD správně zpracovává selhání nasazení. Jakékoli selhání nasazení související s funkcemi zabezpečení by se mělo považovat za kritické selhání. Kanál by měl zkusit akci, která selhala, nebo by měl nasazení zadržet.
Spuštěním testování kouře zabezpečení ověřte bezpečnostní opatření v kanálu nasazení. Testování kouře zabezpečení, jako je ověření stavu konfigurace nasazených prostředků nebo testovací případy, které zkoumají kritické scénáře zabezpečení, může zajistit, že návrh zabezpečení funguje podle očekávání.

Přispěvatelé

Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.

Hlavní autor:

Herman Wu | Vedoucí softwarový inženýr

Další přispěvatelé:

Ian Chen | Vedoucí hlavního softwarového inženýra
Jose Contreras | Hlavní softwarové inženýrství
Roy Chan | Hlavní správce softwarového inženýra

Zabezpečení datového lakehouse pomocí Azure Synapse Analytics