Uw eigen Machine Learning (ML) meenemen in Microsoft Sentinel
Notitie
Zie de Microsoft Sentinel-tabellen in Beschikbaarheid van clouds met cloudfuncties in clouds van de Amerikaanse overheid voor meer informatie over de beschikbaarheid van functies in clouds van de Amerikaanse overheid.
Machine Learning (ML) is een van de belangrijkste onderbouwingen van Microsoft Sentinel en een van de belangrijkste kenmerken die het onderscheidt. Microsoft Sentinel biedt ML in verschillende ervaringen: ingebouwd in de Fusion-correlatie-engine en Jupyter-notebooks, en het zojuist beschikbare BYO ML-platform (Build-Your-Own ML).
ML-detectiemodellen kunnen worden aangepast aan afzonderlijke omgevingen en aan wijzigingen in gebruikersgedrag, om fout-positieven te verminderen en bedreigingen te identificeren die niet zouden worden gevonden met een traditionele benadering. Veel beveiligingsorganisaties begrijpen de waarde van ML voor beveiliging, hoewel niet veel van hen de luxe hebben van professionals die expertise hebben in zowel beveiliging als ML. We hebben het hier gepresenteerde framework ontworpen voor beveiligingsorganisaties en professionals om met ons mee te groeien in hun ML-traject. Organisaties die nog geen ervaring hebben met ML, of zonder de benodigde expertise, kunnen een aanzienlijke beveiligingswaarde halen uit de ingebouwde ML-mogelijkheden van Microsoft Sentinel.
Wat is het BYO-ML-platform (Bring Your Own Machine Learning) ?
Voor organisaties die ML-resources hebben en aangepaste ML-modellen willen bouwen voor hun unieke bedrijfsbehoeften, bieden we het BYO-ML-platform. Het platform maakt gebruik van de Azure Databricks/Apache Spark-omgeving en Jupyter Notebooks om de ML-omgeving te produceren. Het biedt de volgende onderdelen:
een BYO-ML-pakket, dat bibliotheken bevat om u te helpen toegang te krijgen tot gegevens en de resultaten terug te pushen naar Log Analytics (LA), zodat u de resultaten kunt integreren met uw detectie, onderzoek en opsporing.
ML-algoritmesjablonen die u kunt aanpassen aan specifieke beveiligingsproblemen in uw organisatie.
voorbeeldnotebooks om het model te trainen en het scoren van het model te plannen.
Daarnaast kunt u uw eigen ML-modellen en/of uw eigen Spark-omgeving gebruiken om te integreren met Microsoft Sentinel.
Met het BYO-ML-platform kunt u een vliegende start maken met het bouwen van uw eigen ML-modellen:
Met het notebook met voorbeeldgegevens krijgt u een end-to-end praktijkervaring, zonder dat u zich zorgen hoeft te maken over het verwerken van productiegegevens.
Het pakket dat is geïntegreerd met de Spark-omgeving vermindert de uitdagingen en frictie bij het beheren van de infrastructuur.
De bibliotheken ondersteunen gegevensverplaatsingen. Trainings- en scorenotitieblokken demonstreren de end-to-end-ervaring en dienen als een sjabloon die u kunt aanpassen aan uw omgeving.
Gebruiksvoorbeelden
Het BYO-ML-platform en -pakket verminderen aanzienlijk de tijd en moeite die u nodig hebt om uw eigen ML-detecties te bouwen en ze ontketenen de mogelijkheid om specifieke beveiligingsproblemen in Microsoft Sentinel aan te pakken. Het platform ondersteunt de volgende use cases:
Een ML-algoritme trainen om een aangepast model op te halen: U kunt een bestaand ML-algoritme (gedeeld door Microsoft of door de gebruikerscommunity) gebruiken en dit eenvoudig trainen op basis van uw eigen gegevens om een aangepast ML-model te krijgen dat beter past bij uw gegevens en omgeving.
Een ML-algoritmesjabloon wijzigen om een aangepast model op te halen: U kunt een ML-algoritmesjabloon wijzigen (gedeeld door Microsoft of door de gebruikerscommunity) en het gewijzigde algoritme trainen op uw eigen gegevens om een aangepast model af te leiden dat past bij uw specifieke probleem.
Uw eigen model maken: Maak uw eigen model met behulp van het BYO-ML-platform en de hulpprogramma's van Microsoft Sentinel.
Integreer uw Databricks/Spark-omgeving: Integreer uw bestaande Databricks/Spark-omgeving in Microsoft Sentinel en gebruik BYO-ML-bibliotheken en -sjablonen om ML-modellen te bouwen voor hun unieke situaties.
Importeer uw eigen ML-model: U kunt uw eigen ML-modellen importeren en het BYO-ML-platform en de hulpprogramma's gebruiken om deze te integreren met Microsoft Sentinel.
Een ML-algoritme delen: Deel een ML-algoritme dat de community kan gebruiken en aanpassen.
Gebruik ML om SecOps mogelijk te maken: gebruik uw eigen aangepaste ML-model en resultaten voor opsporing, detectie, onderzoek en reactie.
In dit artikel worden de onderdelen van het BYO-ML-platform beschreven en wordt uitgelegd hoe u het platform en het algoritme voor afwijkende resourcetoegang kunt gebruiken om een aangepaste ML-detectie te leveren met Microsoft Sentinel.
Azure Databricks/Spark-omgeving
Apache Spark heeft een sprong voorwaarts gemaakt bij het vereenvoudigen van big data door een uniform framework te bieden voor het bouwen van gegevenspijplijnen. Azure Databricks gaat hier verder mee door een cloudplatform zonder beheer te bieden dat is gebouwd rond Spark. We raden u aan Databricks te gebruiken voor uw BYO-ML-platform, zodat u zich kunt richten op het vinden van antwoorden die direct van invloed zijn op uw bedrijf, in plaats van de problemen met gegevenspijplijnen en platformen aan te pakken.
Als u al Databricks of een andere Spark-omgeving hebt en liever de bestaande installatie gebruikt, werkt het BYO-ML-pakket ook prima.
BYO-ML-pakket
Het BYO ML-pakket bevat de best practices en onderzoek van Microsoft in de front-end van de ML voor beveiliging. In dit pakket bieden we de volgende lijst met hulpprogramma's, notebooks en algoritmesjablonen voor beveiligingsproblemen.
| Bestandsnaam | Description |
|---|---|
| azure_sentinel_utilities.whl | Bevat hulpprogramma's voor het lezen van blobs vanuit Azure en schrijven naar Log Analytics. |
| AfwijkendeRASampleData | Notebook demonstreert het gebruik van een afwijkend resourcetoegangsmodel in Microsoft Sentinel met gegenereerde trainings- en testvoorbeeldgegevens. |
| AnomalousRATraining.ipynb | Notebook om het algoritme te trainen, de modellen te bouwen en op te slaan. |
| AnomalousRAScoring.ipynb | Notebook om de uitvoering van het model te plannen, het resultaat te visualiseren en de score terug te schrijven naar Microsoft Sentinel. |
De eerste ML-algoritmesjabloon die we aanbieden, is voor detectie van afwijkende resourcetoegang. Het is gebaseerd op een gezamenlijk filter-algoritme en wordt getraind met toegangslogboeken voor Windows-bestandsshares (beveiligingsgebeurtenissen met gebeurtenis-id 5140). De belangrijkste informatie die u nodig hebt voor dit model in het logboek, is het koppelen van gebruikers en resources die worden geopend.
Voorbeeld van walkthrough: Detectie van afwijkende bestandssharetoegang
Nu u bekend bent met de belangrijkste onderdelen van het BYO-ML-platform, volgt hier een voorbeeld om te laten zien hoe u het platform en de onderdelen kunt gebruiken om een aangepaste ML-detectie te leveren.
De Databricks/Spark-omgeving instellen
U moet uw eigen Databricks-omgeving instellen als u er nog geen hebt. Raadpleeg het databricks-snelstartdocument voor instructies.
Instructie voor automatisch exporteren
Als u aangepaste ML-modellen wilt bouwen op basis van uw eigen gegevens in Microsoft Sentinel, moet u uw gegevens uit Log Analytics exporteren naar een Blob-opslag- of Event Hub-resource, zodat het ML-model er toegang toe heeft vanuit Databricks. Meer informatie over het opnemen van gegevens in Microsoft Sentinel.
Voor dit voorbeeld moet u uw trainingsgegevens voor bestandssharetoegangslogboek in de Azure Blob-opslag hebben. De indeling van de gegevens wordt beschreven in het notebook en de bibliotheken.
U kunt uw gegevens automatisch exporteren vanuit Log Analytics met behulp van de Azure CLI.
U moet de rol Inzender toegewezen krijgen in uw Log Analytics-werkruimte, uw opslagaccount en uw EventHub-resource om de opdrachten uit te voeren.
Hier volgt een voorbeeld van een reeks opdrachten voor het instellen van automatisch exporteren:
az –version
# Login with Azure CLI
az login
# List all Log Analytics clusters
az monitor log-analytics cluster list
# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]
# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"
# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"
Aangepaste gegevens exporteren
Voor aangepaste gegevens die niet worden ondersteund door automatisch exporteren van Log Analytics, kunt u logische app of andere oplossingen gebruiken om uw gegevens te verplaatsen. Raadpleeg het blog en script Log Analytics-gegevens exporteren naar Blob Store .
Correleren met gegevens buiten Microsoft Sentinel
U kunt ook gegevens van buiten Microsoft Sentinel naar de blobopslag of Event Hub brengen en deze correleren met de Microsoft Sentinel-gegevens om uw ML-modellen te bouwen.
De gerelateerde pakketten kopiëren en installeren
Kopieer het BYO-ML-pakket uit de Eerder genoemde GitHub-opslagplaats van Microsoft Sentinel naar uw Databricks-omgeving. Open vervolgens de notebooks en volg de instructies in het notebook om de vereiste bibliotheken op uw clusters te installeren.
Modeltraining en scoren
Volg de instructies in de twee notebooks om de configuraties te wijzigen op basis van uw eigen omgeving en resources, volg de stappen om uw model te trainen en te bouwen en plan vervolgens het model om binnenkomende toegangslogboeken voor bestandsshares te beoordelen.
Resultaten schrijven naar Log Analytics
Zodra u de score hebt gepland, kunt u de module in het scorenotitieblok gebruiken om de scoreresultaten te schrijven naar de Log Analytics-werkruimte die is gekoppeld aan uw Microsoft Sentinel-exemplaar.
Resultaten controleren in Microsoft Sentinel
Ga terug naar de Microsoft Sentinel-portal om uw gescoorde resultaten samen met gerelateerde logboekgegevens te bekijken. In Aangepaste logboeken> ziet u de resultaten in de AnomalousResourceAccessResult_CL tabel (of uw eigen aangepaste tabelnaam). U kunt deze resultaten gebruiken om uw onderzoeks- en opsporingservaringen te verbeteren.
Aangepaste analyseregel maken met ML-resultaten
Zodra u hebt bevestigd dat de ML-resultaten in de tabel met aangepaste logboeken staan en u tevreden bent met de betrouwbaarheid van de scores, kunt u een detectie maken op basis van de resultaten. Ga vanuit de Microsoft Sentinel-portal naar Analytics en maak een nieuwe detectieregel. Hieronder ziet u een voorbeeld van de query die wordt gebruikt om de detectie te maken.
Incidenten weergeven en erop reageren
Nadat u de analyseregel hebt ingesteld op basis van de ML-resultaten en er resultaten zijn boven de drempelwaarde die u in de query hebt ingesteld, wordt er een incident gegenereerd en weergegeven op de pagina Incidenten in Microsoft Sentinel.
Volgende stappen
In dit document hebt u geleerd hoe u het BYO-ML-platform van Microsoft Sentinel gebruikt voor het maken of importeren van uw eigen machine learning-algoritmen om gegevens te analyseren en bedreigingen te detecteren.
- Bekijk berichten over machine learning en tal van andere relevante onderwerpen in de Microsoft Sentinel-blog.