Jupyter-notebookar och Microsoft Sentinel-datasjön

Jupyter Notebooks är en integrerad del av Microsoft Sentinel datasjöekosystem och erbjuder kraftfulla verktyg för dataanalys och visualisering. Anteckningsböckerna tillhandahålls av Visual Studio Code-tillägget för Microsoft Sentinel, som gör att du kan interagera med datasjön med hjälp av Python för Spark (PySpark). Med notebook-filer kan du utföra komplexa datatransformeringar, köra maskininlärningsmodeller och skapa visualiseringar direkt i notebook-miljön.

Microsoft Sentinel Visual Studio Code-tillägget med Jupyter Notebooks ger en kraftfull miljö för att utforska och analysera sjödata med följande fördelar:

  • Interaktiv datautforskning: Jupyter Notebooks ger en interaktiv miljö för att utforska och analysera data. Du kan köra kodfragment, visualisera resultat och dokumentera dina resultat på ett och samma ställe.
  • Integrering med Python-bibliotek: Tillägget Microsoft Sentinel innehåller en mängd olika Python-bibliotek, så att du kan använda befintliga verktyg och ramverk för dataanalys, maskininlärning och visualisering.
  • Kraftfull dataanalys: Med integreringen av Apache Spark-beräkningssessioner kan du använda kraften i distribuerad databehandling för att analysera stora datamängder effektivt. På så sätt kan du utföra komplexa omvandlingar och aggregeringar på dina säkerhetsdata.
  • Låg-och-långsamma attacker: Analysera storskaliga, komplexa, sammankopplade data relaterade till säkerhetshändelser, aviseringar och incidenter, vilket möjliggör identifiering av sofistikerade hot och mönster, till exempel lateral förflyttning eller låg-och-långsamma attacker som kan undvika traditionella regelbaserade system.
  • AI- och ML-integrering: Integrera med AI och maskininlärning för att förbättra avvikelseidentifiering, hotförutsägelse och beteendeanalys, vilket ger säkerhetsteamen möjlighet att skapa agenter för att automatisera sina undersökningar.
  • Skalbarhet: Notebook-filer ger skalbarhet för att bearbeta stora mängder data kostnadseffektivt och möjliggöra djup batchbearbetning för att upptäcka trender, mönster och avvikelser.
  • Visualiseringsfunktioner: Jupyter Notebooks stöder olika visualiseringsbibliotek, så att du kan skapa diagram, grafer och andra visuella representationer av dina data, vilket hjälper dig att få insikter och kommunicera resultat effektivt.
  • Samarbete och delning: Jupyter Notebooks kan enkelt delas med kollegor, vilket möjliggör samarbete i dataanalysprojekt. Du kan exportera anteckningsböcker i olika format, inklusive HTML och PDF, för enkel delning och presentation.
  • Dokumentation och reproducerbarhet: Med Jupyter Notebooks kan du dokumentera din kod, analys och resultat i en enda fil, vilket gör det enklare att återskapa resultat och dela ditt arbete med andra.

Utforskningsscenarier för Lake för notebookar

Följande scenarier illustrerar hur Jupyter Notebooks i Microsoft Sentinel Lake kan användas för att förbättra säkerhetsåtgärder:

Scenario Beskrivning
Användarbeteende från misslyckade inloggningar Upprätta en baslinje för normalt användarbeteende genom att analysera mönster för misslyckade inloggningsförsök. Undersök aktiviteter som utfördes före och efter de misslyckade inloggningsförsöken för att upptäcka tecken på möjlig kompromettering eller bruteforceaktivitet.
Sökvägar för känsliga data Identifiera användare och enheter som har åtkomst till känsliga datatillgångar. Kombinera åtkomstloggar med organisationskontext för att utvärdera riskexponering, mappa åtkomstvägar och prioritera områden för säkerhetsgranskning.
Analys av avvikande hot Analysera hot genom att identifiera avvikelser från etablerade baslinjer, till exempel inloggningar från ovanliga platser, enheter eller tider. Överlägg användarbeteende med tillgångsdata för att identifiera högriskaktivitet, inklusive potentiella insiderhot.
Prioritering av riskbedömning Tillämpa anpassade riskbedömningsmodeller på säkerhetshändelser i datasjön. Berika händelser med sammanhangsbaserade signaler som tillgångskritiskhet och användarroll för att kvantifiera risker, utvärdera explosionsradie och prioritera incidenter för undersökning.
Undersökande analys och visualisering Utför undersökande dataanalys över flera loggkällor för att rekonstruera tidslinjer för angrepp, fastställa rotorsaker och skapa anpassade visualiseringar som hjälper till att kommunicera resultat till intressenter.

Skriva till lake- och analysnivån

Du kan skriva data till lake-nivån och analysnivån med hjälp av notebook-filer. Det Microsoft Sentinel tillägget för Visual Studio Code innehåller ett PySpark Python-bibliotek som abstraherar komplexiteten i att skriva till lake- och analysnivåerna. Du kan använda MicrosoftSentinelProvider klassens save_as_table() funktion för att skriva data till anpassade tabeller eller lägga till data i befintliga tabeller på lake-nivån eller analysnivån. Mer information finns i klassreferensen för Microsoft Sentinel provider.

Jobb och schemaläggning

Du kan schemalägga jobb som ska köras vid specifika tidpunkter eller intervall med hjälp av Microsoft Sentinel-tillägget för Visual Studio Code. Jobb gör att du kan automatisera databearbetningsuppgifter för att sammanfatta, omvandla eller analysera data i Microsoft Sentinel-datasjön. Använd jobb för att bearbeta data och skriva resultat till anpassade tabeller på lake-nivån eller analysnivån. Mer information finns i Skapa och hantera Jupyter Notebook-jobb.

Notebook-jobb kan också använda parametrar som definieras i notebooken. Med parametrar kan du återanvända samma notebook-jobb med olika indatavärden, till exempel köra samma analys för olika användare, entiteter, tidsintervall eller andra undersökningsindata. Du kan spara parametervärden med jobbkonfigurationen och ange olika värden när du kör jobbet manuellt. Mer information finns i Skapa och hantera parameteriserade notebook-jobb.

Relaterat innehåll

  • Last updated on