Toto řešení dlouhodobě ukládá protokoly zabezpečení v Azure Data Explorer. Toto řešení minimalizuje náklady a poskytuje snadný přístup, když potřebujete dotazovat data.
Grafana a Jupyter Notebooks jsou ochranné známky příslušných společností. Použití těchto značek nevyvozuje žádné doporučení.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
Pro SIEM a SOAR používá podnik Sentinel a Defender for Endpoint.
Defender for Endpoint používá nativní funkce k exportu dat do Azure Event Hubs a Azure Data Lake. Sentinel ingestuje data Defenderu for Endpoint k monitorování zařízení.
Sentinel používá Log Analytics jako datovou platformu pro export dat do služby Event Hubs a Azure Data Lake.
Azure Data Explorer používá konektory pro službu Event Hubs, Azure Blob Storage a Azure Data Lake Storage k ingestování dat s nízkou latencí a vysokou propustností. Tento proces používá Azure Event Grid, který aktivuje kanál pro příjem dat azure Data Explorer.
V případě potřeby Azure Data Explorer průběžně exportuje protokoly zabezpečení do služby Azure Storage. Tyto protokoly jsou v komprimovaném, děleném formátu Parquet a jsou připravené k dotazování.
Azure Data Explorer exportuje předem agregovaná data do Data Lake Storage pro archivaci, aby bylo potřeba dodržet zákonné požadavky.
Log Analytics a Sentinel podporují dotazy napříč službami s Azure Data Explorer. Analytici SOC používají tuto možnost ke spouštění kompletních šetření dat zabezpečení.
Azure Data Explorer poskytuje nativní funkce pro zpracování, agregaci a analýzu dat.
Různé nástroje poskytují téměř v reálném čase analytické řídicí panely, které rychle poskytují přehledy:
Komponenty
Defender for Endpoint chrání organizace před hrozbami napříč zařízeními, identitami, aplikacemi, e-mailem, daty a cloudovými úlohami.
Sentinel je řešení SIEM a SOAR nativní pro cloud. Používá pokročilou AI a analýzu zabezpečení k detekci, proaktivnímu vyhledávání, prevenci a reakci na hrozby napříč podniky.
Monitor je řešení saaS (software jako služba), které shromažďuje a analyzuje data o prostředích a prostředcích Azure. Tato data zahrnují telemetrii aplikací, jako jsou metriky výkonu a protokoly aktivit. Monitorování také nabízí funkce upozorňování.
Log Analytics je služba monitorování, kterou můžete použít k dotazování a kontrole dat protokolu monitorování. Log Analytics také poskytuje funkce pro grafy a statistickou analýzu výsledků dotazů.
Event Hubs je plně spravovaná služba pro příjem dat v reálném čase, která je jednoduchá a škálovatelná.
Data Lake Storage je škálovatelné úložiště, které obsahuje velké množství dat v nativním nezpracovaném formátu dat. Toto datové jezero je postavené na službě Blob Storage a poskytuje funkce pro ukládání a zpracování dat.
Azure Data Explorer je rychlá, plně spravovaná a vysoce škálovatelná platforma pro analýzu dat. Tuto cloudovou službu můžete použít k analýze velkých objemů dat v reálném čase. Azure Data Explorer je optimalizovaný pro interaktivní ad hoc dotazy. Dokáže zpracovávat různé datové proudy z aplikací, webů, zařízení IoT a dalších zdrojů.
Řídicí panely Azure Data Explorer nativně importují data z dotazů webového uživatelského rozhraní Azure Data Explorer. Tyto optimalizované řídicí panely poskytují způsob, jak zobrazit a prozkoumat výsledky dotazů.
Alternativy
Místo použití Azure Data Explorer k dlouhodobému ukládání protokolů zabezpečení můžete použít Storage. Tento přístup zjednodušuje architekturu a pomáhá řídit náklady. Nevýhodou je nutnost dosazování protokolů pro audity zabezpečení a interaktivní vyšetřovací dotazy. Pomocí Azure Data Explorer můžete přesunout data ze studeného oddílu do horkého oddílu změnou zásad. Tato funkce urychluje zkoumání dat.
Další možností s tímto řešením je odeslat všechna data, bez ohledu na jejich hodnotu zabezpečení, do služby Sentinel a Azure Data Explorer současně. Některé výsledky zdvojení, ale úspora nákladů může být významná. Vzhledem k tomu, že Azure Data Explorer poskytuje dlouhodobé úložiště, můžete tímto přístupem snížit náklady na uchovávání služby Sentinel.
Log Analytics v současné době nepodporuje export vlastních tabulek protokolů. V tomto scénáři můžete použít Azure Logic Apps k exportu dat z pracovních prostorů služby Log Analytics. Další informace najdete v tématu Archivace dat z pracovního prostoru služby Log Analytics do služby Azure Storage pomocí Logic Apps.
Podrobnosti scénáře
Protokoly zabezpečení jsou užitečné pro identifikaci hrozeb a trasování neoprávněných pokusů o přístup k datům. Útoky na zabezpečení můžou začít ještě před jejich zjištěním. V důsledku toho je důležitý přístup k dlouhodobým protokolům zabezpečení. Dotazování na dlouhodobé protokoly je zásadní pro identifikaci dopadu hrozeb a vyšetřování šíření pokusů o nedovolený přístup.
Tento článek popisuje řešení pro dlouhodobé uchovávání protokolů zabezpečení. Jádrem architektury je Azure Data Explorer. Tato služba poskytuje úložiště pro data zabezpečení s minimálními náklady, ale uchovává tato data ve formátu, na který se můžete dotazovat. Mezi další hlavní komponenty patří:
Microsoft Defender for Endpoint a Microsoft Sentinel pro tyto funkce:
- Komplexní zabezpečení koncových bodů
- Řešení SIEM (Security Information and Event Management)
- Automatická odpověď na orchestraci zabezpečení (SOAR)
Log Analytics pro krátkodobé ukládání protokolů zabezpečení služby Sentinel.
Potenciální případy použití
Toto řešení se vztahuje na různé scénáře. Konkrétně analytici soc (Security Operations Center) můžou toto řešení použít pro:
- Úplná šetření.
- Forenzní analýza.
- Proaktivně vyhledávat hrozby
- Audity zabezpečení.
Zákazník o užitečnosti řešení svědčí: "Cluster Azure Data Explorer jsme nasadili téměř před rokem a půl. V posledním úniku dat Solorigate jsme k forenzní analýze použili cluster Azure Data Explorer. Tým Microsoft Dart také k dokončení šetření použil cluster Azure Data Explorer. Dlouhodobé uchovávání dat zabezpečení je důležité pro úplné šetření dat."
Zásobník monitorování
Následující diagram znázorňuje zásobník monitorování Azure:
- Sentinel používá pracovní prostor služby Log Analytics k ukládání protokolů zabezpečení a k poskytování řešení SIEM a SOAR.
- Monitorování sleduje stav IT prostředků a v případě potřeby odesílá výstrahy.
- Azure Data Explorer poskytuje podkladovou datovou platformu, která ukládá protokoly zabezpečení pro pracovní prostory služby Log Analytics, monitor a sentinel.
Hlavní funkce
Hlavní funkce řešení nabízejí mnoho výhod, jak je vysvětleno v následujících částech.
Dlouhodobě dotazovatelné úložiště dat
Azure Data Explorer indexuje data během procesu úložiště a zpřístupňuje je pro dotazy. Pokud se potřebujete zaměřit na spouštění auditů a šetření, nemusíte data zpracovávat. Dotazování na data je jednoduché.
Úplná forenzní analýza
Azure Data Explorer, Log Analytics a Sentinel podporují dotazy mezi službami. V důsledku toho můžete v jednom dotazu odkazovat na data, která jsou uložená v kterékoli z těchto služeb. Analytici SOC můžou pomocí dotazovacího jazyka Kusto (KQL) spouštět šetření v celém rozsahu. Pro účely proaktivního vyhledávání můžete také použít dotazy Azure Data Explorer ve službě Sentinel. Další informace najdete v tématu Co je nového: Proaktivní vyhledávání služby Sentinel podporuje dotazy adx mezi prostředky.
Ukládání dat do mezipaměti na vyžádání
Azure Data Explorer podporuje ukládání do mezipaměti za chodu v okně. Tato funkce poskytuje způsob, jak přesunout data z vybraného období do horké mezipaměti. Pak můžete na data spouštět rychlé dotazy, které zefektivní šetření. Pro tento účel možná budete muset do horké mezipaměti přidat výpočetní uzly. Po dokončení šetření můžete změnit zásady horké mezipaměti a přesunout data do studeného oddílu. Cluster můžete také obnovit do původní velikosti.
Průběžný export do archivních dat
Aby bylo možné dodržet zákonné požadavky, musí některé podniky ukládat protokoly zabezpečení po neomezenou dobu. Azure Data Explorer podporuje průběžný export dat. Tuto funkci můžete použít k vytvoření archivní vrstvy uložením protokolů zabezpečení ve službě Storage.
Osvědčená dotazovací jazyk
Dotazovací jazyk Kusto je nativní pro Azure Data Explorer. Tento jazyk je k dispozici také v pracovních prostorech služby Log Analytics a v prostředích proaktivního vyhledávání hrozeb služby Sentinel. Tato dostupnost výrazně snižuje křivku učení analytiků SOC. Dotazy, které spouštíte ve službě Sentinel, také pracují s daty, která ukládáte v clusterech Azure Data Explorer.
Požadavky
Tyto aspekty implementují pilíře azure Well-Architected Framework, což je sada hlavních zásad, které lze použít ke zlepšení kvality úloh. Další informace najdete v tématu Microsoft Azure Well-Architected Framework.
Při implementaci tohoto řešení mějte na paměti následující body.
Škálovatelnost
Zvažte tyto problémy se škálovatelností:
Metoda exportu dat
Pokud potřebujete exportovat velké množství dat z Log Analytics, můžete dosáhnout limitů kapacity služby Event Hubs. Pokud se chcete této situaci vyhnout:
- Exportujte data z Log Analytics do služby Blob Storage.
- K pravidelnému exportu dat do Azure Data Explorer použijte úlohy Azure Data Factory.
Pomocí této metody můžete kopírovat data ze služby Data Factory pouze v případě, že se blíží limitu uchovávání dat ve službě Sentinel nebo Log Analytics. V důsledku toho se vyhnete duplikování dat. Další informace najdete v tématu Export dat z Log Analytics do Azure Data Explorer.
Využití dotazů a připravenost na audit
Obecně platí, že data uchováváte v studené mezipaměti v clusteru Azure Data Explorer. Tento přístup minimalizuje náklady na cluster a je dostačující pro většinu dotazů, které zahrnují data z předchozích měsíců. Když se ale dotazujete na velké rozsahy dat, možná budete muset škálovat cluster na více instancí a načíst data do horké mezipaměti.
K tomuto účelu můžete použít funkci horkého okna zásad horké mezipaměti. Tuto funkci můžete použít také při auditování dlouhodobých dat. Když použijete horké okno, možná budete muset vertikálně navýšit nebo snížit kapacitu clusteru, abyste uvolnili místo pro další data v horké mezipaměti. Po dokončení dotazování na velký rozsah dat změňte zásady horké mezipaměti, abyste snížili náklady na výpočetní prostředí.
Zapnutím optimalizované funkce automatického škálování v clusteru Azure Data Explorer můžete optimalizovat velikost clusteru na základě zásad ukládání do mezipaměti. Další informace o dotazování studených dat v Azure Data Explorer najdete v tématu Dotazování studených dat pomocí horkých oken.
Efektivita výkonu
Efektivita výkonu je schopnost úlohy škálovat se tak, aby efektivním způsobem splňovala požadavky, které na ni kladou uživatelé. Další informace najdete v tématu Přehled pilířů efektivity výkonu.
Pokud potřebujete ukládat data zabezpečení po dlouhou dobu nebo po neomezenou dobu, exportujte protokoly do úložiště. Azure Data Explorer podporuje průběžný export dat. Pomocí této funkce můžete exportovat data do úložiště v komprimovaném, děleném formátu Parquet. Na tato data se pak můžete bez problémů dotazovat. Další informace najdete v tématu Přehled průběžného exportu dat.
Optimalizace nákladů
Optimalizace nákladů spočívá v hledání způsobů, jak snížit zbytečné náklady a zlepšit provozní efektivitu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.
Náklady na cluster Azure Data Explorer jsou primárně založené na výpočetním výkonu, který se používá k ukládání dat do horké mezipaměti. Dotazy na horká data mezipaměti nabízejí lepší výkon oproti dotazům studené mezipaměti. Toto řešení ukládá většinu dat do studené mezipaměti a minimalizuje tak náklady na výpočetní prostředí.
Pokud chcete prozkoumat náklady na provoz tohoto řešení ve vašem prostředí, použijte cenovou kalkulačku Azure.
Nasazení tohoto scénáře
K automatizaci nasazení použijte tento skript PowerShellu. Tento skript vytvoří tyto komponenty:
- Cílová tabulka
- Nezpracovaná tabulka
- Mapování tabulek, které definuje způsob, jakým se záznamy služby Event Hubs přistávají do nezpracované tabulky
- Zásady uchovávání a aktualizací
- Obory názvů služby Event Hubs
- Pravidla exportu dat v pracovním prostoru služby Log Analytics
- Datové připojení mezi službou Event Hubs a tabulkou nezpracovaných dat Azure Data Explorer
Přispěvatelé
Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.
Hlavní autor:
- Deepak Agrawal | Produktový manažer
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
- Integrace Azure Data Exploreru pro dlouhodobé uchovávání protokolů
- Snadné přesunutí protokolů služby Microsoft Sentinel do úložiště Long-Term
- Zadávání dotazů napříč prostředky Azure Data Exploreru pomocí Azure Monitoru
- POSTUPY: Konfigurace exportu dat služby Microsoft Sentinel pro dlouhodobé ukládání
- Použití Azure Data Explorer k dlouhodobému uchovávání protokolů služby Microsoft Sentinel
- Co je nového: Proaktivní vyhledávání ve službě Microsoft Sentinel podporuje dotazy ADX mezi prostředky
- Streamování protokolů proaktivního vyhledávání ATP Microsoft Defender v Azure Data Explorer
- Řada blogů: Neomezené rozšířené proaktivní vyhledávání s využitím Azure Data Explorer (ADX)