Kjør notatblokker på Microsoft Sentinel datasjøen

Jupyter-notatblokker gir et interaktivt miljø for å utforske, analysere og visualisere data i Microsoft Sentinel datasjø og forbundstabeller. Med notatblokker kan du skrive og kjøre kode, dokumentere arbeidsflyten og vise resultater – alt på ett sted. Dette gjør det enkelt å utføre datautforskning, bygge avanserte analyseløsninger og dele innsikt med andre. Ved å dra nytte av Python og Apache Spark i Visual Studio Code, hjelper notatblokker deg med å transformere rå sikkerhetsdata til handlingsbar intelligens.

Denne artikkelen viser deg hvordan du utforsker og samhandler med datasjødata ved hjelp av Jupyter-notatblokker i Visual Studio Code.

Forutsetninger

Om bord i Microsoft Sentinel datasjøen

Hvis du vil bruke notatblokker i Microsoft Sentinel datasjøen, må du først gå om bord i datasjøen. Hvis du ikke har koblet til Sentinel datasjøen, kan du se Pålasting for å Microsoft Sentinel datasjøen. Hvis du nylig har koblet til datasjøen, kan det ta litt tid før nok datavolum tas inn før du kan opprette meningsfulle analyser ved hjelp av notatblokker.

Tillatelser

Microsoft Entra ID roller gir bred tilgang på tvers av alle arbeidsområder i datasjøen. Alternativt kan du gi tilgang til individuelle arbeidsområder ved hjelp av Azure RBAC-roller. Brukere med Azure RBAC-tillatelser til å Microsoft Sentinel arbeidsområder kan kjøre notatblokker mot disse arbeidsområdene i datasjøen. Hvis du vil ha mer informasjon, kan du se Roller og tillatelser i Microsoft Sentinel.

Du kan eventuelt konfigurere Microsoft Sentinel omfang eller rbac på radnivå for ytterligere å begrense datatilgangen i et arbeidsområde. Når dette er aktivert, begrenser omfang på radnivå dataene som returneres av spørringer basert på brukerens tilordnede omfang. Hvis omfang på radnivå ikke er konfigurert, gjelder den eksisterende tillatelsesmodellen på arbeidsområdenivå uendret. Hvis du vil ha mer informasjon, kan du se Konfigurer Microsoft Sentinel omfang (rbac på radnivå) (forhåndsvisning).

Hvis du vil opprette nye egendefinerte tabeller i analysenivået, må datasjøens forvaltede identitet tilordnes rollen Log Analytics-bidragsyter i Log Analytics-arbeidsområdet.

Følg fremgangsmåten nedenfor for å tilordne rollen:

  1. Gå til log analytics-arbeidsområdet du vil tilordne rollen til, i Azure Portal.
  2. Velg Tilgangskontroll (IAM) i venstre navigasjonsrute.
  3. Velg Legg til rolletildeling.
  4. Velg Logganalyse-bidragsyter i Rolle-tabellen, og velg deretter Neste
  5. Velg Administrert identitet, og velg deretter Velg medlemmer.
  6. Data Lake-administrert identitet er en systemtilknyttet administrert identitet med navnet msg-resources-<guid>. Velg den administrerte identiteten, og velg deretter Velg.
  7. Velg Se gjennom og tilordne.

Hvis du vil ha mer informasjon om hvordan du tilordner roller til administrerte identiteter, kan du se Tilordne Azure roller ved hjelp av Azure Portal.

Installer Visual Studio Code og Microsoft Sentinel filtype

Hvis du ikke allerede har Visual Studio Code, kan du laste ned og installere Visual Studio Code for Mac, Linux eller Windows.

Den Microsoft Sentinel utvidelsen for Visual Studio Code (VS Code) er installert fra marketplace for utvidelser. Følg disse trinnene for å installere utvidelsen:

  1. Velg Extensions Marketplace på den venstre verktøylinjen.
  2. Søk etter Sentinel.
  3. Velg Microsoft Sentinel filtypen, og velg Installer.
  4. Når utvidelsen er installert, vises Microsoft Sentinel sentinel-ikonikonet på den venstre verktøylinjen.

Et skjermbilde som viser markedsplassen for utvidelse.

Installer GitHub Copilot-utvidelsen for Visual Studio Code for å aktivere kodefullføring og forslag i notatblokker.

  1. Søk etter GitHub Copilot i Extensions Marketplace, og installer den.
  2. Når installasjonen er installert, logger du på GitHub Copilot med GitHub-kontoen.

Utforsk tabeller for datasjønivå

Når du har installert Microsoft Sentinel utvidelse, kan du begynne å utforske tabeller på datasjøen og opprette Jupyter-notatblokker for å analysere dataene.

Logg deg på Microsoft Sentinel-utvidelsen

  1. Velg Microsoft Sentinel ikonikonet på verktøylinjen til venstre.

  2. En dialogboks vises med følgende tekst Utvidelsen «Microsoft Sentinel» ønsker å logge på med Microsoft. Velg Tillat.

    Et skjermbilde som viser påloggingsdialogboksen.

  3. Velg kontonavnet ditt for å fullføre påloggingen.

    Et skjermbilde som viser kontovalglisten øverst på siden.

    Hvis du har flere gjestekontoer knyttet til påloggingen, kan du sømløst bytte mellom kontoer. Hvis du vil bytte mellom kontoer, velger du kontonavnet nederst til venstre i Visual Studio Code-vinduet. Bare én konto kan velges om gangen.

    Et skjermbilde som viser hvordan du bytter kontoer i Visual Studio Code.

    Viktig

    Hvis du bytter mellom kontoer, kobles alle aktive pyspark-økter fra.

Vis datasjøtabeller og -jobber

Når du logger deg på, viser utvidelsen Sentinel en liste over Lake-tabeller og jobber i den venstre ruten. Tabellene er gruppert etter databasen og kategorien. Forbundstabeller vises under kategorien Forbundstabeller under Systemtabeller. Velg en tabell for å se kolonnedefinisjonene.

Hvis du vil ha informasjon om jobber, kan du se Jobber og Planlegging. Hvis du vil ha mer informasjon om forbundstabeller, kan du se Bruke forbundstabeller i Microsoft Sentinel datasjøen.

Et skjermbilde som viser listen over tabeller, jobber og metadataene for den valgte tabellen.

Opprette en ny notatblokk

  1. Hvis du vil opprette en ny notatblokk, bruker du én av følgende metoder.

  2. Skriv inn > i søkeboksen, eller trykk CTRL+SKIFT+P , og skriv deretter inn Opprett ny Jupyter-notatblokk. Et skjermbilde som viser hvordan du oppretter en ny notatblokk fra søkefeltet.

  3. Velg Ny fil > , og velg deretter Jupyter-notatblokk fra rullegardinlisten.
    Et skjermbilde som viser hvordan du oppretter en ny notatblokk fra Fil-menyen.

  4. Lim inn følgende kode i den første cellen i den nye notatblokken.

    from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

table_name = "EntraGroups"  
df = data_provider.read_table(table_name)  
df_filtered = df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  

# Transform the dataframe
df_transformed = df.filter(df.mail.isNotNull()).select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId")

write_options = {
     'mode': 'overwrite'
 }
# Save to a new table
data_provider.save_as_table(df_transformed, "EntraGroups_Processed_SPRK", write_options=write_options)

Redigeringsprogrammet gir intellisense code completion for både MicrosoftSentinelProvider klassen og tabellnavnene i datasjøen.

  1. Velg Kjør trekant for å kjøre koden i notatblokken. Resultatene vises i utdataruten under kodecellen.
    Et skjermbilde som viser hvordan du kjører en notatblokkcelle.

  2. Velg Microsoft Sentinel fra listen for en liste over kjøretidsutvalg. Et skjermbilde som viser runtime-velgeren.

  3. Velg Middels for å kjøre notatblokken i det mellomstore kjøretidsutvalget. Hvis du vil ha mer informasjon om de ulike kjøretidene, kan du se Velge riktig Microsoft Sentinel kjøretid. Et skjermbilde som viser den kjørende utvalgsstørrelsesvelgeren.

Obs!

Når du velger kjernen, starter Spark-økten og kjører koden i notatblokken. Når du har valgt utvalget, kan det ta 3–5 minutter før økten starter. Etterfølgende kjøringer går raskere ettersom økten allerede er aktiv.

Når økten startes, kjøres koden i notatblokken, og resultatene vises i utdataruten under kodecellen, for eksempel: Et skjermbilde som viser resultatene fra å kjøre en notatblokkcelle.

Hvis du vil se eksempler på notatblokker som demonstrerer hvordan du samhandler med Microsoft Sentinel datasjøen, kan du se Eksempelnotatblokker for Microsoft Sentinel datasjø.

Statuslinjen

Statuslinjen nederst i notatblokken inneholder informasjon om gjeldende status for notatblokken og Spark-økten. Statuslinjen inneholder følgende informasjon:

  • VCore-utnyttelsesprosenten for det valgte Spark-utvalget. Hold pekeren over prosentandelen for å se hvor mange virtuelle kjerner som brukes, og det totale antallet virtuelle kjerner som er tilgjengelige i utvalget. Prosentene representerer gjeldende bruk på tvers av interaktive arbeidsbelastninger og jobbarbeidsbelastninger for den påloggede kontoen.

  • Tilkoblingsstatusen for Spark-økten for eksempel Connecting, Connectedeller Not Connected.

Et skjermbilde som viser statuslinjen nederst i notatblokken.

Angi tidsavbrudd for økt

Du kan angi tidsavbrudds- og tidsavbruddsadvarsler for interaktive notatblokker. Disse innstillingene beholdes i utvidelsesinnstillingene, slik at de beholdes på tvers av økter.

Hvis du vil endre tidsavbruddet, velger du tilkoblingsstatusen på statuslinjen nederst i notatblokken. Velg blant følgende alternativer:

  • Angi tidsavbruddsperiode for økt: Angir tiden i minutter før økten blir tidsavbrutt. Standardverdien er 30 minutter.

  • Tidsavbruddsperiode for tilbakestilling av økt: Tilbakestiller tidsavbruddet for økten til standardverdien på 30 minutter.

  • Angi tidsavbruddsperiode for økt: Angir klokkeslettet i minutter før tidsavbruddet for at en advarsel vises om at økten er i ferd med å bli tidsavbrutt. Standardverdien er 5 minutter.

  • Advarselsperiode for tidsavbrudd for tilbakestilling av økt: Tilbakestiller tidsavbruddsadvarselen for økten til standardverdien på 5 minutter.

    Et skjermbilde som viser tidsavbruddsinnstillingen for økten.

Bruke GitHub Copilot i notatblokker

Bruk GitHub Copilot til å hjelpe deg med å skrive kode i notatblokker. GitHub Copilot gir kodeforslag og autofullføring basert på konteksten til koden. Hvis du vil bruke GitHub Copilot, må du kontrollere at du har GitHub Copilot filtypen installert i Visual Studio Code.

Kopier kode fra eksempelnotatblokkene for Microsoft Sentinel datasjøen, og lagre den i notatblokkmappen for å gi kontekst for GitHub Copilot. GitHub Copilot vil da kunne foreslå kodefullføringer basert på konteksten til notatblokken.

Følgende eksempel viser GitHub Copilot å generere en kodegjennomgang.

Et skjermbilde som viser GitHub Copilot å generere en kodegjennomgang.

Microsoft Sentinel leverandørklasse

Hvis du vil koble til Microsoft Sentinel datasjøen, bruker SentinelLakeProvider du klassen. Denne klassen er en del av modulen access_module.data_loader og gir metoder for å samhandle med datasjøen. Hvis du vil bruke denne klassen, importerer du den og oppretter en forekomst av klassen ved hjelp av en spark økt.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Hvis du vil ha mer informasjon om de tilgjengelige metodene, kan du se Microsoft Sentinel Leverandørklassereferanse.

Velg riktig kjøretidsutvalg

Det finnes tre kjøretidsutvalg som kan kjøre Jupyter-notatblokkene i Microsoft Sentinel-utvidelsen. Hvert utvalg er utformet for ulike arbeidsbelastninger og ytelseskrav. Valget av kjøretidsutvalg påvirker ytelsen, kostnaden og utførelsestiden til Spark-jobbene dine.

Kjøretidsutvalg Anbefalte brukstilfeller Egenskaper
Liten Utvikling, testing og lett utforskende analyse.
Små arbeidsbelastninger med enkle transformasjoner.
Kostnadseffektivitet prioritert.		 Egnet for små arbeidsbelastninger
Enkle transformasjoner.
Lavere kostnader, lengre utførelsestid.
Middels ETL-jobber med sammenføyninger, aggregasjoner og ML-modellopplæring.
Moderate arbeidsbelastninger med komplekse transformasjoner.		 Forbedret ytelse over Små.
Håndterer parallellitet og moderate minneintensive operasjoner.
Stor Dype lærings- og ML-arbeidsbelastninger.
Omfattende datastokking, store sammenføyninger eller sanntidsbehandling.
Kritisk utførelsestid.		 Høyt minne og databehandlingskraft.
Minimale forsinkelser.
Best for store, komplekse eller tidssensitive arbeidsbelastninger.

Obs!

Når kjernealternativene er åpnet første gang, kan det ta omtrent 30 sekunder å laste inn.
Når du har valgt et kjøretidsutvalg, kan det ta 3–5 minutter før økten starter.

Vise meldinger, logger og feil

Meldingslogger og feilmeldinger vises i tre områder i Visual Studio Code.

  1. Utdataruten.

    1. Velg Microsoft Sentinel fra rullegardinlisten i utdataruten.
    2. Velg Feilsøk for å inkludere detaljerte loggoppføringer.

    Et skjermbilde som viser utdataruten.

  2. Innebygde meldinger i notatblokken gir tilbakemelding og informasjon om kjøring av kodeceller. Disse meldingene omfatter kjøringsstatusoppdateringer, fremdriftsindikatorer og feilvarsler relatert til koden i den foregående cellen

  3. Et popup-varsel nederst i høyre hjørne av Visual Studio Code, også kjent som en toast-melding, gir varsler og oppdateringer i sanntid om status for operasjoner i notatblokken og gnistøkten. Disse varslene omfatter meldinger, advarsler og feilmeldinger som vellykket tilkobling til en spark-økt og tidsavbruddsadvarsler.

    Et skjermbilde som viser en melding og en innebygd feilmelding.

Jobber og planlegging

Du kan planlegge at jobber skal kjøres på bestemte tidspunkter eller intervaller ved hjelp av Microsoft Sentinel-utvidelsen for Visual Studio Code. Med jobber kan du automatisere databehandlingsoppgaver for å oppsummere, transformere eller analysere data i Microsoft Sentinel datasjøen. Jobber brukes også til å behandle data og skrive resultater til egendefinerte tabeller i datasjøen eller analysenivået. Hvis du vil ha mer informasjon om hvordan du oppretter og administrerer jobber, kan du se Opprette og administrere Jupyter-notatblokkjobber.

Tjenesteparametere og begrensninger for VS Code Notebooks

Den følgende delen viser tjenesteparametere og begrensninger for Microsoft Sentinel data lake når du bruker VS Code Notebooks.

Kategori Parameter/grense
Egendefinert tabell i analysenivået Egendefinerte tabeller i analysenivået kan ikke slettes fra en notatblokk. Bruk Log Analytics til å slette disse tabellene. Hvis du vil ha mer informasjon, kan du se Legge til eller slette tabeller og kolonner i Azure Overvåke logger
Tidsavbrudd for gateway-webkontakt 2 timer
Tidsavbrudd for interaktiv spørring 2 timer
Tidsavbrudd for interaktiv øktinaktivitet 20 minutter
Språk Python
Tidsavbrudd for grafspørring 7,5 minutter
Tidsavbrudd for notatblokkjobb 8 timer
Maksimalt antall samtidige notatblokkjobber 3, etterfølgende jobber legges i kø
Maksimalt antall samtidige brukere på interaktiv spørring 8-10 på stort basseng
Oppstartstidspunkt for økt Spark compute økten tar ca 5-6 minutter å starte. Du kan vise statusen for økten nederst i VS Code Notebook.
Støttede biblioteker Bare Azure Synapse bibliotekene 3.4 og Microsoft Sentinel leverandørbiblioteket for abstrahert funksjoner støttes for spørring av datasjøen. Pip-installasjoner eller egendefinerte biblioteker støttes ikke.
VS Code UX-grense for å vise poster 100 000 rader

Feilsøking

Hvis du vil ha vanlige feil og løsninger når du arbeider med notatblokker, kan du se Feilsøke notatblokker på Microsoft Sentinel datasjøen.

Beslektet innhold

  • Last updated on