Anpassad datainmatning och transformering i Microsoft Sentinel
Azure Monitors Log Analytics fungerar som plattform bakom Microsoft Sentinel-arbetsytan. Alla loggar som matas in i Microsoft Sentinel lagras som standard i Log Analytics. Från Microsoft Sentinel kan du komma åt de lagrade loggarna och köra KQL-frågor (Kusto-frågespråk) för att identifiera hot och övervaka nätverksaktiviteten.
Log Analytics anpassade datainmatningsprocess ger dig en hög kontroll över de data som matas in. Den använder datainsamlingsregler (DCR) för att samla in dina data och manipulera dem redan innan de lagras på din arbetsyta. På så sätt kan du filtrera och berika standardtabeller och skapa mycket anpassningsbara tabeller för lagring av data från källor som producerar unika loggformat.
Microsoft Sentinel ger dig två verktyg för att styra den här processen:
Med API :et för logginmatning kan du skicka loggar i anpassat format från valfri datakälla till Log Analytics-arbetsytan och lagra loggarna antingen i vissa specifika standardtabeller eller i anpassade formaterade tabeller som du skapar. Du har fullständig kontroll över skapandet av dessa anpassade tabeller, ned till att ange kolumnnamn och typer. Du skapar domänkontrollanter för att definiera, konfigurera och tillämpa transformeringar på dessa dataflöden.
Datainsamlingstransformering använder DCR:er för att tillämpa grundläggande KQL-frågor på inkommande standardloggar (och vissa typer av anpassade loggar) innan de lagras på din arbetsyta. Dessa transformeringar kan filtrera bort irrelevanta data, berika befintliga data med analys eller externa data eller maskera känslig eller personlig information.
Dessa två verktyg förklaras mer detaljerat nedan.
Användningsfall och exempelscenarier
Filtrering
Med inmatningstidstransformering kan du filtrera bort irrelevanta data redan innan de först lagras på din arbetsyta.
Du kan filtrera på postnivå (rad) genom att ange villkor för vilka poster som ska inkluderas eller på fältnivå (kolumn) genom att ta bort innehållet för specifika fält. Om du filtrerar bort irrelevanta data kan du:
- Hjälp med att minska kostnaderna, eftersom du minskar lagringskraven
- Förbättra prestanda eftersom färre frågetidsjusteringar krävs
Datatransformering för inmatningstid stöder scenarier med flera arbetsytor.
Normalisering
Med transformering av inmatningstid kan du också normalisera loggar när de matas in i inbyggda eller kundnormaliserade tabeller med ASIM (Advanced Security Information Model). Genom att använda inmatningstidsnormalisering förbättras prestandan för normaliserade frågor.
Mer information finns i Inmatningstidsnormalisering.
Berikning och taggning
Med inmatningstidstransformeringen kan du också förbättra analyserna genom att utöka dina data med extra kolumner som läggs till i den konfigurerade KQL-omvandlingen. Extra kolumner kan omfatta parsade eller beräknade data från befintliga kolumner eller data som hämtats från datastrukturer som skapats i farten.
Du kan till exempel lägga till extra information, till exempel externa HR-data, en utökad händelsebeskrivning eller klassificeringar som är beroende av användaren, platsen eller aktivitetstypen.
Maskering
Inmatningstidstransformeringar kan också användas för att maskera eller ta bort personlig information. Du kan till exempel använda datatransformering för att maskera alla utom de sista siffrorna i ett personnummer eller kreditkortsnummer, eller så kan du ersätta andra typer av personuppgifter med nonsens, standardtext eller dummydata. Maskera din personliga information vid inmatningstidpunkt för att öka säkerheten i nätverket.
Datainmatningsflöde i Microsoft Sentinel
Följande bild visar var datatransformeringen för inmatningstid anger datainmatningsflödet i Microsoft Sentinel.
Microsoft Sentinel samlar in data till Log Analytics-arbetsytan från flera källor.
- Data från inbyggda dataanslutningar bearbetas i Log Analytics med hjälp av en kombination av hårdkodade arbetsflöden och inmatningstidstransformeringar i arbetsytans DCR. Dessa data kan lagras i standardtabeller eller i en specifik uppsättning anpassade tabeller.
- Data som matas in direkt i API-slutpunkten för logginmatning bearbetas av en standard-DCR som kan innehålla en inmatningstidstransformering. Dessa data kan sedan lagras i antingen standardtabeller eller anpassade tabeller av något slag.
DCR-stöd i Microsoft Sentinel
I Log Analytics avgör datainsamlingsregler (DCR) dataflödet för olika indataströmmar. Ett dataflöde innehåller: dataströmmen som ska transformeras (standard eller anpassad), målarbetsytan, KQL-omvandlingen och utdatatabellen. För standardindataströmmar är utdatatabellen samma som indataströmmen.
Stöd för DCR:ar i Microsoft Sentinel omfattar:
Standard-DCR:er, som för närvarande endast stöds för AMA-baserade anslutningsappar och arbetsflöden med hjälp av API:et för logginmatning.
Varje arbetsflöde för anslutningsapp eller loggkälla kan ha en egen dedikerad standard-DCR, men flera anslutningsappar eller källor kan också dela en gemensam standard-DCR .
DCR:er för arbetsytetransformering för arbetsflöden som för närvarande inte stöder standard-DCR.
En enda dcr för arbetsytetransformering hanterar alla arbetsflöden som stöds på en arbetsyta som inte hanteras av standard-DCR. En arbetsyta kan bara ha en dcr för arbetsytetransformering, men den domänkontrollanten innehåller separata transformeringar för varje indataström. Dessutom stöds DCR:er för arbetsytetransformering endast för en specifik uppsättning tabeller.
Microsoft Sentinels stöd för inmatningstidstransformering beror på vilken typ av dataanslutning du använder. Mer detaljerad information om anpassade loggar, inmatningstidstransformering och regler för datainsamling finns i artiklarna som är länkade i avsnittet Relaterat innehåll i slutet av den här artikeln.
DCR-stöd för Microsoft Sentinel-dataanslutningar
I följande tabell beskrivs DCR-stöd för Microsoft Sentinel-dataanslutningstyper:
| Typ av dataanslutning | DCR-stöd |
|---|---|
| Direkt inmatning via API för logginmatning | Standard-DCR:ar |
| AMA-standardloggar, till exempel: |
Standard-DCR:ar |
| Diagnostikinställningar baserade på anslutningar | DcR:erna för arbetsytetransformering baserat på utdatatabeller som stöds för specifika dataanslutningar |
| Inbyggda dataanslutningar från tjänst till tjänst, till exempel: |
DcR:erna för arbetsytetransformering baserat på utdatatabeller som stöds för specifika dataanslutningar |
| Inbyggd, API-baserad dataanslutning, till exempel: |
Standard-DCR:ar |
| Inbyggda, API-baserade dataanslutningar, till exempel: |
Stöds för närvarande inte |
Stöd för datatransformering för anpassade dataanslutningar
Om du har skapat anpassade dataanslutningsprogram för Microsoft Sentinel kan du använda DCR för att konfigurera hur data ska parsas och lagras i Log Analytics på din arbetsyta.
Endast följande tabeller stöds för närvarande för anpassad logginmatning:
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Mer information finns i Tabeller som stöder inmatningstidstransformeringar.
Begränsningar
Datatransformering för inmatningstid har för närvarande följande kända problem för Microsoft Sentinel-dataanslutningar:
Datatransformeringar med hjälp av DCR:er för arbetsytetransformering stöds endast per tabell och inte per anslutningsapp.
Det kan bara finnas en DCR för arbetsytetransformering för en hel arbetsyta. I den domänkontrollanten kan varje tabell använda en separat indataström med sin egen transformering. Det går inte att dela upp data till flera mål (Log Analytics-arbetsytor) med en DCR för arbetsytetransformering. AMA-baserade dataanslutningar använder den konfiguration som du definierar i den associerade DCR:en för indata- och utdataströmmar och transformeringar och ignorerar DCR för arbetsytetransformeringen.
Följande konfigurationer stöds endast via API:
Standard-DCR:er för AMA-baserade anslutningsappar som Windows-säkerhet Händelser och Vidarebefordrade Windows-händelser.
Standard-DCR:er för anpassad logginmatning till en standardtabell.
Det kan ta upp till 60 minuter innan konfigurationerna för datatransformering tillämpas.
KQL-syntax: Alla operatorer stöds inte. Mer information finns i KQL-begränsningar och KQL-funktioner som stöds i Azure Monitor-dokumentationen.
Du kan bara skicka loggar från en specifik datakälla till en arbetsyta. Om du vill skicka data från en enda datakälla till flera arbetsytor (mål) med en standard-DCR skapar du en DCR per arbetsyta.
Relaterat innehåll
Mer information finns i:
- Transformera eller anpassa data vid inmatning i Microsoft Sentinel (förhandsversion)
- Microsoft Sentinel-dataanslutningsprogram
- Hitta din Microsoft Sentinel-dataanslutning
Mer detaljerad information om inmatningstidstransformering, API för anpassade loggar och regler för datainsamling finns i följande artiklar i Azure Monitor-dokumentationen: