Sdílet prostřednictvím

Normalizace doby ingestování

Analýza času dotazu

Jak je diskutováno v přehledu ASIM, Microsoft Sentinel používá jak dotazovací čas, tak normalizaci času při ingestování, aby využil výhod každého z těchto přístupů.

Pokud chcete použít normalizaci času dotazu, použijte sjednocující analyzátory času dotazu, například _Im_Dns v dotazech. Normalizace pomocí analýzy času dotazu má několik výhod:

  • Zachování původního formátu: Normalizace doby dotazu nevyžaduje úpravu dat, čímž se zachová původní formát dat odeslaný zdrojem.
  • Vyhněte se potenciálnímu duplicitnímu úložišti: Vzhledem k tomu, že normalizovaná data jsou pouze zobrazením původních dat, není nutné ukládat původní i normalizovaná data.
  • Jednodušší vývoj: Vzhledem k tomu, že analyzátory času dotazů prezentují zobrazení dat a neupravují data, dají se snadno vyvíjet. Vývoj, testování a oprava analyzátoru je možné provádět na existujících datech. Analyzátory je navíc možné opravit při zjištění problému a oprava se použije u existujících dat.

Analýza času zpracování ingestovaných dat

Zatímco analyzátory času dotazů ASIM jsou optimalizované, analýza času dotazu může zpomalit dotazy, zejména u velkých datových sad.

Analýza času při zpracování umožňuje transformovat události na normované schéma při jejich přijetí do Microsoft Sentinel a jejich ukládání v normovaném formátu. Parsing při ingestování času je méně flexibilní a analyzátory se obtížněji vyvíjejí, ale vzhledem k tomu, že jsou data uložená v normalizovaném formátu, nabízí lepší výkon.

Normalizovaná data se dají ukládat v nativních normalizovaných tabulkách Microsoft Sentinelu nebo ve vlastní tabulce, která používá schéma ASIM. Vlastní tabulka, která má schéma podobné, ale ne zcela shodné se schématem ASIM, také přináší výhody výkonu normalizace času při ingestování.

V současné době ASIM podporuje následující nativní normalizované tabulky jako cíl pro normalizaci během importu dat:

Výhodou nativních normalizovaných tabulek je, že jsou ve výchozím nastavení zahrnuté do sjednocujících analyzátorů ASIM. Vlastní normalizované tabulky lze zahrnout do unifikujících analyzátorů, jak je popsáno v tématu Správa analyzátorů.

Kombinace normalizace času ingestování a času dotazu

Dotazy by vždy měly používat unifikující analyzátory času dotazu, jako je _Im_Dns, aby využily výhody jak normalizace v čase dotazu, tak i při ingestování dat. Nativní normalizované tabulky jsou zahrnuty do dotazovaných dat pomocí stub parseru.

Analyzátor stubu je analyzátor, který se používá během zpracování dotazu, a používá jako vstup normalizovanou tabulku. Protože normalizovaná tabulka nevyžaduje analýzu, je základní parser efektivní.

Analyzátor zástupných procedur zobrazí zobrazení volajícího dotazu, který se přidá do nativní tabulky ASIM:

  • Aliasy – aby se ušetřilo úložiště opakujících se hodnot, aliasy se neukládají do nativních tabulek ASIM a přidávají se při provádění dotazu zástupními parsry.
  • Konstantní hodnoty – stejně jako aliasy a ze stejného důvodu normalizované tabulky ASIM také neukládají konstantní hodnoty, jako je EventSchema. Analyzátor stubs přidává tyto pole. Normalizované tabulky ASIM sdílí mnoho zdrojů a analyzátory času ingestování můžou změnit svou výstupní verzi. Pole jako EventProduct, EventVendor a EventSchemaVersion proto nejsou konstantní a nejsou přidána analyzátorem zástupných procedur.
  • Filtrování – analyzátor zástupných procedur také implementuje filtrování. Ačkoli nativní tabulky ASIM nepotřebují ke zvýšení výkonu žádné filtrování analyzátory, filtrování je nutné pro podporu integrace do unifikujícího analyzátoru.
  • Aktualizace a opravy – Použití analyzátoru zástupných procedur umožňuje rychlejší řešení problémů. Pokud se například data přijímala nesprávně, z pole zprávy by mohla během přijímání nebýt extrahovaná IP adresa. IP adresu může stub parser extrahovat při zpracování dotazu.

Při použití vlastních normalizovaných tabulek vytvořte vlastní zástupný analyzátor pro implementaci této funkce a přidejte ho do unifikujících analyzátorů, jak je popsáno v tématu Správa analyzátorů. Jako výchozí bod použijte analyzátor zástupných procedur pro nativní tabulku, například analyzátor zástupných procedur nativních tabulek DNS a jeho protějšek filtrování. Pokud je tabulka částečně normalizovaná, použijte stubový analyzátor k provedení další potřebné analýzy a normalizace.

Přečtěte si další informace o psaní analyzátorů v oblasti Vývoj analyzátorů ASIM.

Normalizace času pro zpracování dat

Pokud chcete normalizovat data při ingestování, musíte použít pravidlo shromažďování dat (DCR). Postup implementace DCR závisí na metodě použité k ingestování dat. Další informace najdete v článku Transformace nebo přizpůsobení dat v době příjmu dat v Microsoft Sentinelu.

Transformační dotaz KQL je jádrem DCR. Verze KQL použitá v pravidlech pro sběr dat (DCR) se mírně liší od verze používané jinde v Microsoft Sentinelu, aby vyhovovala požadavkům zpracování událostí v pipeline. Proto je potřeba upravit jakýkoli parser dotazu tak, aby se používal v DCR. Další informace o rozdílech a způsobu, jak převést parser pro dotazovací čas na parser pro vstupní čas, naleznete v článku o omezeních DCR KQL.

Další kroky

Další informace naleznete v tématu:

  • Last updated on