Opnamevertraging in geplande analyseregels verwerken

Hoewel Microsoft Sentinel gegevens uit verschillende bronnen kan opnemen, kan de opnametijd voor elke gegevensbron verschillen in verschillende omstandigheden.

In dit artikel wordt beschreven hoe opnamevertraging van invloed kan zijn op uw geplande analyseregels en hoe u deze kunt oplossen om deze hiaten te verhelpen.

Waarom vertraging aanzienlijk is

U kunt bijvoorbeeld een aangepaste detectieregel schrijven, waarbij u de query elke uitvoeren instelt en Gegevens uit de laatste velden opzoeken om de regel elke vijf minuten uit te voeren, waarbij gegevens van de afgelopen vijf minuten worden opgezoekd:

Schermopname van de wizard Analyseregel - Venster Nieuwe regel maken.

De opzoekgegevens uit het laatste veld definiëren een instelling die een terugblikperiode wordt genoemd. Als er geen vertraging is, mist deze detectie in het ideale gevallen geen gebeurtenissen, zoals wordt weergegeven in het volgende diagram:

Diagram met een terugblikvenster van vijf minuten.

De gebeurtenis komt binnen terwijl deze wordt gegenereerd en is opgenomen in de lookbackperiode .

Stel nu dat er enige vertraging is voor uw gegevensbron. Stel dat de gebeurtenis twee minuten nadat deze is gegenereerd, is opgenomen. De vertraging is twee minuten:

Diagram met terugblikvensters van vijf minuten met een vertraging van twee minuten.

De gebeurtenis wordt gegenereerd binnen de eerste terugblikperiode, maar wordt niet opgenomen in uw Microsoft Sentinel-werkruimte bij de eerste uitvoering. De volgende keer dat de geplande query wordt uitgevoerd, wordt de gebeurtenis opgenomen, maar het tijdgegenereerde filter verwijdert de gebeurtenis omdat deze meer dan vijf minuten geleden heeft plaatsgevonden. In dit geval wordt met de regel geen waarschuwing geactiveerd.

Vertraging afhandelen

Notitie

U kunt het probleem oplossen met behulp van het onderstaande proces of de nrt-regels (near-real-time detection) van Microsoft Sentinel implementeren. Zie Bedreigingen snel detecteren met NRT-analyseregels (near-real-time) in Microsoft Sentinel voor meer informatie.

Als u het probleem wilt oplossen, moet u de vertraging voor uw gegevenstype weten. In dit voorbeeld weet u al dat de vertraging twee minuten is.

Voor uw eigen gegevens kunt u vertraging begrijpen met behulp van de Kusto-functie ingestion_time() en het berekenen van het verschil tussen TimeGenerated en de opnametijd. Zie Opnamevertraging berekenen voor meer informatie.

Nadat u de vertraging hebt bepaald, kunt u het probleem als volgt oplossen:

  • Verhoog de terugblikperiode. Basisintuïtitie vertelt u dat het vergroten van de terugblikperiode helpt. Aangezien uw terugblikperiode vijf minuten is en de vertraging twee minuten is, kunt u dit probleem oplossen door de terugblikperiode in te stellen op zeven minuten. Bijvoorbeeld in uw regelinstellingen:

    Schermopname van het instellen van het terugblikvenster op zeven minuten.

    In het volgende diagram ziet u hoe de periode van het look-pack nu de gemiste gebeurtenis bevat:

    Diagram met terugblikvensters van zeven minuten met een vertraging van twee minuten.

  • Dubbel werk af. Alleen het verhogen van de terugblikperiode kan duplicatie creëren, omdat de terugzoekvensters elkaar nu overlappen. Een andere gebeurtenis kan er bijvoorbeeld uitzien zoals wordt weergegeven in het volgende diagram:

    Diagram waarin wordt getoond hoe overlappende terugblikvensters duplicatie creëren.

    Omdat de timeGenerated-waarde van de gebeurtenis in beide terugblikperioden wordt gevonden, worden er twee waarschuwingen geactiveerd. U moet een manier vinden om de duplicatie op te lossen.

  • Koppel de gebeurtenis aan een specifieke terugblikperiode. In het eerste voorbeeld hebt u gebeurtenissen gemist omdat uw gegevens niet zijn opgenomen toen de geplande query werd uitgevoerd. U hebt de lookback uitgebreid met de gebeurtenis, maar dit heeft duplicatie veroorzaakt. U moet de gebeurtenis koppelen aan het venster dat u hebt uitgebreid om het te bevatten.

    Doe dit door in te stellen ingestion_time() > ago(5m)in plaats van de oorspronkelijke regel look-back = 5m. Met deze instelling wordt de gebeurtenis gekoppeld aan het eerste terugblikvenster. Bijvoorbeeld:

    Diagram waarin wordt getoond hoe het instellen van de ago-beperking duplicatie voorkomt.

    De opnametijdbeperking beperkt nu de extra twee minuten die u aan de terugblikperiode hebt toegevoegd. En voor het eerste voorbeeld legt de tweede run look-back-periode nu de gebeurtenis vast:

    Diagram dat laat zien hoe de gebeurtenis wordt vastgelegd door de beperking ago in te stellen.

De volgende voorbeeldquery geeft een overzicht van de oplossing voor het oplossen van problemen met opnamevertraging:

let ingestion_delay = 2min;
let rule_look_back = 5min;
CommonSecurityLog
| where TimeGenerated >= ago(ingestion_delay + rule_look_back)
| where ingestion_time() > ago(rule_look_back)

Opnamevertraging berekenen

Standaard zijn geplande waarschuwingsregels voor Microsoft Sentinel geconfigureerd voor een terugblikperiode van 5 minuten. Elke gegevensbron kan echter een eigen, afzonderlijke opnamevertraging hebben. Wanneer u meerdere gegevenstypen samenvoegt, moet u de verschillende vertragingen voor elk gegevenstype begrijpen om de terugblikperiode correct te configureren.

Het gebruiksrapport van de werkruimte, dat standaard beschikbaar is in Microsoft Sentinel, bevat een dashboard met latentie en vertragingen voor de verschillende gegevenstypen die naar uw werkruimte stromen.

Bijvoorbeeld:

Schermopname van het rapport Werkruimtegebruik met end-to-end-latentie per tabel

Volgende stappen

Zie voor meer informatie: