Saját gépi tanulás (ML) használata a Microsoft Sentinelben

Megjegyzés

Az US Government-felhőkben elérhető funkciókról a Microsoft Sentinel felhőbeli funkcióinak rendelkezésre állása az USA kormányzati ügyfelei számára című cikkben talál további információt.

A Machine Learning (ML) a Microsoft Sentinel egyik fő alapja, és az egyik fő attribútum, amely elválasztja egymástól. A Microsoft Sentinel számos szolgáltatásban kínál ml-t: beépített a Fusion korrelációs motorhoz és Jupyter notebookokhoz, valamint az újonnan elérhető Build-Your-Own ML (BYO ML) platformhoz.

Az ml-észlelési modellek alkalmazkodhatnak az egyes környezetekhez és a felhasználói viselkedés változásaihoz, csökkenthetik a téves pozitívumokat , és azonosíthatják azokat a fenyegetéseket, amelyek hagyományos megközelítéssel nem találhatók meg. Számos biztonsági szervezet tisztában van az ML biztonsági értékével, bár nem sokan rendelkeznek olyan szakemberek luxusával, akik mind a biztonság, mind az ml terén szakértelemmel rendelkeznek. Az itt bemutatott keretrendszert úgy terveztük meg, hogy a biztonsági szervezetek és a szakemberek együtt fejlődjenek velünk az ML-folyamat során. Az ml-hez újonnan vagy a szükséges szakértelem nélkül rendelkező szervezetek jelentős védelmi értéket kaphatnak a Microsoft Sentinel beépített gépi tanulási képességeiből.

Mi a Saját gépi tanulás (BYO-ML) platform?

Azoknak a szervezeteknek, amelyek rendelkeznek ml-erőforrásokkal, és egyéni üzleti igényeiknek megfelelően testre szabott ML-modelleket szeretnének létrehozni, a BYO-ML platformot kínáljuk. A platform az Azure Databricks/Apache Spark-környezetet és a Jupyter notebookokat használja az ML-környezet létrehozásához. A következő összetevőket biztosítja:

• EGY BYO-ML-csomag, amely kódtárakat tartalmaz az adatok eléréséhez és az eredmények Log Analyticsbe (LA) való visszaküldéséhez, így integrálhatja az eredményeket az észleléssel, a vizsgálattal és a vadászattal.

• Az ML-algoritmussablonok segítségével testre szabhatja a szervezet bizonyos biztonsági problémáit.

• mintajegyzetfüzetek a modell betanítása és a modell pontozásának ütemezése érdekében.

Mindezek mellett saját ML-modelleket és/vagy saját Spark-környezetet is használhat, hogy integrálható legyen a Microsoft Sentinellel.

A BYO-ML platformmal a saját ML-modellek létrehozásának első lépése lehet:

• A mintaadatokkal rendelkező jegyzetfüzet segít gyakorlati tapasztalatot szerezni a végpontok között anélkül, hogy az éles adatok kezelésével kellene foglalkoznia.

• A Spark-környezettel integrált csomag csökkenti az infrastruktúra kezelése során jelentkező kihívásokat és súrlódásokat.

• A kódtárak támogatják az adatmozgásokat. A betanítási és pontozási jegyzetfüzetek bemutatják a végpontok közötti élményt, és sablonként szolgálnak a környezethez való alkalmazkodáshoz.

Használati esetek

A BYO-ML platform és a csomag jelentősen csökkenti a saját ML-észlelések készítéséhez szükséges időt és erőfeszítést, és lehetővé teszik a Microsoft Sentinel adott biztonsági problémáinak megoldását. A platform a következő használati eseteket támogatja:

Gépi tanulási algoritmus betanítása testre szabott modell beszerzéséhez: Használhat egy meglévő (a Microsoft vagy a felhasználói közösség által megosztott) ml-algoritmust, és egyszerűen betanítheti a saját adataira, hogy egy testre szabott ml-modellt kapjon, amely jobban megfelel az adatoknak és a környezetnek.

Gépi tanulási algoritmus sablon módosítása a testre szabott modell lekéréséhez: Módosíthatja az ml-algoritmussablont (amelyet a Microsoft vagy a felhasználói közösség oszt meg), és betanítheti a módosított algoritmust a saját adataira, hogy egy testre szabott modellt hozzon létre az adott problémának megfelelően.

Saját modell létrehozása: A Microsoft Sentinel BYO-ML platformjának és segédprogramjának használatával létrehozhatja saját modelljét az alapoktól.

A Databricks/Spark-környezet integrálása: Integrálhatja meglévő Databricks-/Spark-környezetét a Microsoft Sentinelbe, és BYO-ML-kódtárak és -sablonok használatával hozhat létre ML-modelleket az egyedi helyzetekhez.

Importálja saját ml-modelljét: Importálhatja saját ML-modelljeit, és a BYO-ML platform és segédprogramok használatával integrálhatja őket a Microsoft Sentinellel.

Ml-algoritmus megosztása: Egy ml-algoritmus megosztása a közösség számára az elfogadáshoz és az alkalmazkodáshoz.

Az ML használatával lehetővé teheti a SecOps használatát: használja saját egyéni ML-modelljét és eredményeit a vadászathoz, észleléshez, vizsgálathoz és válaszhoz.

Ez a cikk bemutatja a BYO-ML platform összetevőit, valamint azt, hogyan használhatja ki a platformot és az Anomalous Resource Access algoritmust, hogy testre szabott ml-észlelést biztosítson a Microsoft Sentinellel.

Azure Databricks/Spark-környezet

Az Apache Spark előrelépést tett a big data leegyszerűsítésében, mivel egységes keretrendszert biztosított az adatfolyamatok létrehozásához. Az Azure Databricks ezt tovább viszi a Spark köré épülő, nulla felügyeleti felhőplatform biztosításával. Javasoljuk, hogy használja a Databrickset a BYO-ML platformhoz, hogy az adatfolyamokkal és a platformokkal kapcsolatos problémák kezelése helyett olyan válaszokat találhasson, amelyek azonnali hatást gyakorolnak az üzletmenetre.

Ha már rendelkezik Databricks-sel vagy bármely más Spark-környezettel, és inkább a meglévő beállítást szeretné használni, a BYO-ML-csomag is megfelelően működik rajtuk.

BYO-ML-csomag

A BYO ML csomag tartalmazza a Microsoft ajánlott eljárásait és kutatásait az ML biztonsági előtérében. Ebben a csomagban a következő listát biztosítjuk a biztonsági problémákhoz használható segédprogramokról, jegyzetfüzetekről és algoritmussablonokról.

Fájlnév	Description
azure_sentinel_utilities.whl	Az Azure-ból származó blobok olvasásához és a Log Analyticsbe való íráshoz használható segédprogramokat tartalmaz.
AnomalousRASampleData	A jegyzetfüzet bemutatja a rendellenes erőforrás-hozzáférési modell használatát a Microsoft Sentinelben a létrehozott betanítási és tesztelési mintaadatokkal.
AnomalousRATraining.ipynb	Jegyzetfüzet az algoritmus betanítása, a modellek létrehozása és mentése érdekében.
AnomalousRAScoring.ipynb	Jegyzetfüzet a modell futtatásának ütemezéséhez, az eredmény vizualizációjához és a pontszám visszaírásához a Microsoft Sentinelnek.

Az első általunk kínált ML-algoritmussablon a rendellenes erőforrás-hozzáférés-észleléshez használható. Ez egy együttműködési szűrési algoritmuson alapul, és windowsos fájlmegosztási hozzáférési naplókkal (5140-s eseményazonosítójú biztonsági események) van betanításra. A modellhez szükséges legfontosabb információk a naplóban a felhasználók és erőforrások párosítása.

Példa bemutató: Rendellenes fájlmegosztás-hozzáférés-észlelés

Most, hogy megismerte a BYO-ML platform fő összetevőit, íme egy példa, amely bemutatja, hogyan használhatja a platformot és az összetevőket a testre szabott ML-észlelés biztosításához.

A Databricks/Spark-környezet beállítása

Ha még nincs ilyen, saját Databricks-környezetet kell beállítania. Útmutatásért tekintse meg a Databricks rövid útmutatóját .

Automatikus exportálási utasítás

Ha a Microsoft Sentinelben saját adatai alapján szeretne egyéni ml-modelleket létrehozni, exportálnia kell az adatokat a Log Analyticsből egy Blob Storage- vagy Event Hub-erőforrásba, hogy az ML-modell hozzáférhessen a Databricksből. Megtudhatja, hogyan betölthet adatokat a Microsoft Sentinelbe.

Ebben a példában az Azure Blob Storage fájlmegosztási hozzáférési naplójának betanítási adataival kell rendelkeznie. Az adatok formátuma a jegyzetfüzetben és a tárakban van dokumentálva.

Az adatokat automatikusan exportálhatja a Log Analyticsből az Azure CLI használatával.

A parancsok futtatásához hozzá kell rendelnie a Közreműködő szerepkört a Log Analytics-munkaterületen, a Tárfiókban és az EventHub-erőforrásban.

Íme egy példaparancskészlet az automatikus exportálás beállításához:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Egyéni adatok exportálása

A Log Analytics automatikus exportálása által nem támogatott egyéni adatok esetében a Logic App vagy más megoldások használatával áthelyezheti az adatokat. Tekintse meg a Log Analytics-adatok exportálása a Blob Store-ba blogot és szkriptet.

Korreláció a Microsoft Sentinelen kívüli adatokkal

A Microsoft Sentinelen kívülről is hozhat adatokat a blobtárolóba vagy az Event Hubba, és összevetheti őket a Microsoft Sentinel-adatokkal az ML-modellek létrehozásához.

A kapcsolódó csomagok másolása és telepítése

Másolja a BYO-ML csomagot a Korábban említett Microsoft Sentinel GitHub-adattárból a Databricks-környezetbe. Ezután nyissa meg a jegyzetfüzeteket, és kövesse a jegyzetfüzetben található utasításokat a szükséges kódtárak fürtre való telepítéséhez.

Modell betanítása és pontozása

A két jegyzetfüzet utasításait követve módosítsa a konfigurációkat a saját környezetének és erőforrásainak megfelelően, kövesse a modell betanításához és összeállításához szükséges lépéseket, majd ütemezze a modellt a bejövő fájlmegosztás hozzáférési naplóinak pontozására.

Eredmények írása a Log Analyticsbe

A pontozás ütemezése után a pontozási jegyzetfüzet moduljával megírhatja a pontszámokat a Microsoft Sentinel-példányhoz társított Log Analytics-munkaterületre.

Eredmények ellenőrzése a Microsoft Sentinelben

A pontszámok és a kapcsolódó naplóadatok megtekintéséhez lépjen vissza a Microsoft Sentinel portálra. A Naplók egyéni naplók> területen az eredményeket a AnomalousResourceAccessResult_CL táblában (vagy a saját egyéni táblanevében) láthatja. Ezeket az eredményeket felhasználhatja a vizsgálat és a vadászati élmény javításához.

Egyéni elemzési szabály létrehozása ml-eredményekkel

Miután meggyőződött arról, hogy az ML-eredmények szerepelnek az egyéni naplók táblában, és elégedett a pontszámok megbízhatóságával, létrehozhat egy észlelést az eredmények alapján. Lépjen az Elemzések elemre a Microsoft Sentinel portálon, és hozzon létre egy új észlelési szabályt. Az alábbi példa az észlelés létrehozásához használt lekérdezést mutatja be.

Incidensek megtekintése és megválaszolása

Miután beállította az elemzési szabályt az ML-eredmények alapján, ha a lekérdezésben megadott küszöbérték felett vannak eredmények, a rendszer incidenst hoz létre és felszínre hoz a Microsoft Sentinel Incidensek lapján.

Következő lépések

Ebben a dokumentumban megtanulta, hogyan használhatja a Microsoft Sentinel BYO-ML platformját saját gépi tanulási algoritmusok létrehozására vagy importálására az adatok elemzéséhez és a fenyegetések észleléséhez.

• A gépi tanulással kapcsolatos bejegyzéseket és sok más releváns témakört a Microsoft Sentinel blogban tekint meg.