Použijte vlastní strojové učení (ML) v Microsoft Sentinelu

Poznámka:

Informace o dostupnosti funkcí v cloudech státní správy USA najdete v tabulkách Microsoft Sentinelu v dostupnosti funkcí cloudu pro zákazníky státní správy USA.

Machine Learning (ML) je jedním z hlavních základů služby Microsoft Sentinel a jedním z hlavních atributů, které ho oddělují. Microsoft Sentinel nabízí ML v několika prostředích: integrované do modulu Fusion korelace a poznámkových bloků Jupyter a nově dostupná platforma Build-Your-Own ML (BYO ML).

Modely detekce ML se můžou přizpůsobit jednotlivým prostředím a změnám chování uživatelů, aby se snížily falešně pozitivní výsledky a identifikovaly hrozby , které by nebyly nalezeny pomocí tradičního přístupu. Mnoho organizací zabezpečení rozumí hodnotě ML pro zabezpečení, i když ne mnoho z nich má luxusní profesionály, kteří mají odborné znalosti v oblasti zabezpečení i ML. Navrhli jsme rámec, který je zde prezentován pro bezpečnostní organizace a profesionály, aby s námi rostli na cestě v oblasti strojového učení. Organizace, které s strojovém učením začíná, nebo bez potřebných odborných znalostí, můžou získat významnou hodnotu ochrany z integrovaných funkcí ml od Microsoft Sentinelu.

Co je platforma Bring Your Own Machine Learning (BYO-ML)?

Pro organizace, které mají prostředky ML a chtějí vytvářet přizpůsobené modely ML pro své jedinečné obchodní potřeby, nabízíme BYO-ML platformu. Platforma využívá prostředí Azure Databricks/Apache Spark a Jupyter Notebook k vytvoření prostředí ML. Poskytuje následující komponenty:

• Balíček BYO-ML, který obsahuje knihovny, které vám pomůžou získat přístup k datům a vracet výsledky zpět do Log Analytics (LA), abyste mohli integrovat výsledky s detekcí, vyšetřováním a hledáním.

• Šablony algoritmů ML, které můžete přizpůsobit tak, aby vyhovovaly konkrétním problémům se zabezpečením ve vaší organizaci.

• ukázkové poznámkové bloky pro trénování modelu a naplánování vyhodnocování modelu

Kromě toho můžete k integraci s Microsoft Sentinelem použít vlastní modely ML nebo vlastní prostředí Spark.

S platformou BYO-ML můžete začít vytvářet vlastní modely ML:

• Poznámkový blok s ukázkovými daty vám pomůže získat kompletní zkušenosti, aniž byste se museli starat o zpracování produkčních dat.

• Balíček integrovaný s prostředím Spark snižuje problémy a překážky při správě infrastruktury.

• Knihovny podporují přesuny dat. Poznámkové bloky pro trénování a vyhodnocování demonstrují komplexní proces a slouží jako šablona pro přizpůsobení vašemu prostředí.

Případy použití

Platforma a balíček BYO-ML výrazně zkracují čas a úsilí, které budete potřebovat k vytvoření vlastních detekcí ML, a uvolní schopnost řešit konkrétní problémy se zabezpečením v Microsoft Sentinelu. Platforma podporuje následující případy použití:

Trénování algoritmu ML pro získání přizpůsobeného modelu: Můžete si vzít existující algoritmus ML (sdílený Microsoftem nebo komunitou uživatelů) a snadno ho vytrénovat na vlastních datech, abyste získali přizpůsobený model ML, který lépe vyhovuje vašim datům a prostředím.

Úprava šablony algoritmu ML pro získání přizpůsobeného modelu: Můžete upravit šablonu algoritmu ML (sdílenou microsoftem nebo komunitou uživatelů) a natrénovat upravený algoritmus na vlastní data, aby odvozoval přizpůsobený model tak, aby vyhovoval vašemu konkrétnímu problému.

Vytvořte si vlastní model: Vytvořte si vlastní model od začátku pomocí BYO-ML platformy a nástrojů služby Microsoft Sentinel.

Integrace prostředí Databricks/Spark: Integrujte stávající prostředí Databricks/Spark do Microsoft Sentinelu a pomocí BYO-ML knihoven a šablon můžete vytvářet modely ML pro jejich jedinečné situace.

Import vlastního modelu ML: Můžete importovat vlastní modely STROJOVÉho učení a použít BYO-ML platformu a nástroje k jejich integraci s Microsoft Sentinelem.

Sdílení algoritmu ML: Sdílejte algoritmus ML pro komunitu, aby ji přijala a přizpůsobila.

Použití ML k posílení SecOps: použijte vlastní model ML a výsledky pro proaktivní vyhledávání, detekce, vyšetřování a odpovědi.

Tento článek ukazuje komponenty platformy BYO-ML a jak využít platformu a algoritmus přístupu k neobvyklým prostředkům k poskytování přizpůsobené detekce STROJOVÉho učení pomocí služby Microsoft Sentinel.

Prostředí Azure Databricks/Spark

Apache Spark udělal skok vpřed při zjednodušení velkých objemů dat tím, že poskytuje jednotnou architekturu pro vytváření datových kanálů. Azure Databricks to dále využívá tím, že poskytuje cloudovou platformu nulové správy postavenou na Sparku. Doporučujeme používat Databricks pro vaši BYO-ML platformu, abyste se mohli soustředit na hledání odpovědí, které mají okamžitý dopad na vaši firmu, a ne na řešení problémů s datovými kanály a platformami.

Pokud už máte Databricks nebo jakékoli jiné prostředí Sparku a dáváte přednost použití stávajícího nastavení, balíček BYO-ML bude fungovat i s nimi.

balíček BYO-ML

Balíček BYO ML zahrnuje osvědčené postupy a výzkum Microsoftu na front-endu ML pro zabezpečení. V tomto balíčku poskytujeme následující seznam nástrojů, poznámkových bloků a šablon algoritmů pro problémy se zabezpečením.

Název souboru	Description
azure_sentinel_utilities.whl	Obsahuje nástroje pro čtení objektů blob z Azure a zápis do Log Analytics.
AnomálieRASampleData	Poznámkový blok ukazuje použití modelu Neobvyklého přístupu k prostředkům v Microsoft Sentinelu s vygenerovanými trénovacími a testovacími ukázkovými daty.
AnomalousRATraining.ipynb	Poznámkový blok pro trénování algoritmu, sestavení a uložení modelů
AnomalousRAScoring.ipynb	Poznámkový blok pro naplánování spuštění modelu, vizualizaci výsledků a zápis skóre zpět do Microsoft Sentinel.

První šablona algoritmu ML, kterou nabízíme, je určená pro detekci neobvyklého přístupu k prostředkům. Je založen na kolaborativním filtrování a je natrénovaný pomocí protokolů přístupu ke sdílené složce Windows (události zabezpečení s ID události 5140). Klíčovou informací, kterou potřebujete pro tento model v protokolu, je párování uživatelů a prostředků, k nimž se přistupuje.

Příklad návodu: Detekce neobvyklého přístupu ke sdílené složce

Teď, když jste obeznámeni s klíčovými komponentami platformy BYO-ML, tady je příklad, který vám ukáže, jak používat platformu a komponenty k poskytování přizpůsobené detekce STROJOVÉho učení.

Nastavení prostředí Databricks/Spark

Pokud ho ještě nemáte, budete muset nastavit vlastní prostředí Databricks. Pokyny najdete v dokumentu Databricks Quickstart.

Instrukce k automatickému exportu

Pokud chcete vytvářet vlastní modely ML založené na vlastních datech v Microsoft Sentinelu, budete muset exportovat data z Log Analytics do úložiště objektů blob nebo prostředku centra událostí, aby k němu model ML mohl přistupovat z Databricks. Zjistěte, jak ingestovat data do Microsoft Sentinelu.

V tomto příkladu musíte mít tréninková data pro protokol přístupu ke souborovému sdílení v Azure Blob Storage. Formát dat je dokumentován v poznámkovém bloku a knihovnách.

Data z Log Analytics můžete automaticky exportovat pomocí Azure CLI.

Abyste mohli spouštět příkazy, musíte mít přiřazenou roli Přispěvatel v pracovním prostoru služby Log Analytics, účtu úložiště a prostředku EventHubu.

Tady je ukázková sada příkazů pro nastavení automatického exportu:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Export vlastních dat

U vlastních dat, která služba Log Analytics nepodporuje automatické exportování, můžete k přesunu dat použít aplikaci logiky nebo jiná řešení. Můžete si prohlédnout blog a skript exportu dat Log Analytics do úložiště Blob Storage.

Provádět korelaci s daty mimo Microsoft Sentinel

Můžete také přenést data mimo Microsoft Sentinel do úložiště objektů blob nebo centra událostí a korelovat je s daty Microsoft Sentinelu a vytvářet modely ML.

Kopírování a instalace souvisejících balíčků

Zkopírujte balíček BYO-ML z úložiště Microsoft Sentinel Na GitHubu, které jste zmínili dříve, do vašeho prostředí Databricks. Potom otevřete poznámkové bloky a podle pokynů v poznámkovém bloku nainstalujte požadované knihovny do clusterů.

Trénování a hodnocení modelů

Podle pokynů v těchto dvou poznámkových blocích změňte konfigurace podle vašeho vlastního prostředí a prostředků, postupujte podle kroků pro trénování a sestavení modelu a pak naplánujte, aby model ohodnocuje příchozí protokoly přístupu ke sdílené složce.

Zápis výsledků do Log Analytics

Po naplánování bodování můžete pomocí modulu v poznámkovém bloku bodování napsat výsledky skóre do pracovního prostoru služby Log Analytics přidruženého k vaší instanci Microsoft Sentinelu.

Kontrola výsledků v Microsoft Sentinelu

Pokud chcete zobrazit hodnocené výsledky spolu s podrobnostmi souvisejících protokolů, přejděte zpět na portál Microsoft Sentinel. V Protokoly> Vlastní protokoly uvidíte výsledky v tabulce AnomalousResourceAccessResult_CL (nebo ve vlastní zadané tabulce). Tyto výsledky můžete použít ke zlepšení vyšetřování a hledání.

Vytvoření vlastního analytického pravidla s výsledky ML

Jakmile ověříte, že výsledky ML jsou ve vlastní tabulce protokolů a jste spokojení s věrností skóre, můžete vytvořit detekci na základě výsledků. Přejděte na Web Analytics z portálu Microsoft Sentinel a vytvořte nové pravidlo detekce. Níže je příklad znázorňující dotaz použitý k vytvoření detekce.

Zobrazení incidentů a reakce na ně

Jakmile nastavíte analytické pravidlo na základě výsledků ML, pokud jsou výsledky nad prahovou hodnotou, kterou jste v dotazu nastavili, vygeneruje se incident a zobrazí se na stránce Incidenty v Microsoft Sentinelu.

Další kroky

V tomto dokumentu jste zjistili, jak pomocí platformy Microsoft Sentinel BYO-ML vytvářet nebo importovat vlastní algoritmy strojového učení k analýze dat a detekci hrozeb.

• Podívejte se na příspěvky o strojovém učení a spoustě dalších relevantních témat na blogu Microsoft Sentinelu.