Sdílet prostřednictvím

Normalizace doby ingestování

  • Článek

Analýza času dotazu

Jak je uvedeno v přehledu ASIM, Služba Microsoft Sentinel využívá čas dotazu i normalizaci doby příjmu, aby využila výhod každého z nich.

Pokud chcete použít normalizaci času dotazu, použijte analyzátory sjednocující čas dotazu, například _Im_Dns ve vašich dotazech. Normalizace pomocí analýzy času dotazu má několik výhod:

  • Zachování původního formátu: Normalizace času dotazu nevyžaduje úpravu dat, takže se zachová původní formát dat odeslaný zdrojem.
  • Zabránění potenciálnímu duplicitnímu úložišti: Vzhledem k tomu, že normalizovaná data jsou pouze zobrazením původních dat, není nutné ukládat původní ani normalizovaná data.
  • Jednodušší vývoj: Vzhledem k tomu, že analyzátory času dotazů představují zobrazení dat a neupravují data, je snadné je vyvíjet. Vývoj, testování a opravy analyzátoru je možné provádět na existujících datech. Analyzátory se navíc dají opravit, když se zjistí problém a oprava se použije pro existující data.

Analýza času příjmu

I když jsou analyzátory času dotazů ASIM optimalizované, může analýza času dotazu zpomalit dotazy, zejména u velkých datových sad.

Analýza času příjmu umožňuje transformovat události do normalizovaného schématu při jejich příjmu do služby Microsoft Sentinel a ukládat je v normalizovaném formátu. Analýza doby příjmu je méně flexibilní a vývoj analyzátorů je obtížnější, ale vzhledem k tomu, že se data ukládají v normalizovaném formátu, nabízí lepší výkon.

Normalizovaná data mohou být uložena v nativních normalizovaných tabulkách služby Microsoft Sentinel nebo ve vlastní tabulce, která používá schéma ASIM. Vlastní tabulka, která má schéma, které se blíží schématu ASIM, ale není identické, poskytuje také výkonnostní výhody normalizace doby příjmu.

V současné době ASIM podporuje následující nativní normalizované tabulky jako cíl pro normalizaci času příjmu:

Výhodou nativních normalizovaných tabulek je, že jsou ve výchozím nastavení zahrnuty do sjednocujících analyzátorů ASIM. Vlastní normalizované tabulky je možné zahrnout do sjednocujících analyzátorů, jak je popsáno v tématu Správa analyzátorů.

Kombinace normalizace času ingestování a času dotazu

Dotazy by měly vždy používat sjednocující analyzátory času dotazu, například _Im_Dns k tomu, aby využívaly jak čas dotazu, tak normalizaci doby příjmu. Nativní normalizované tabulky jsou součástí dotazovaných dat pomocí parseru se zástupnými symboly.

Analyzátor zástupných znaků je analyzátor času dotazu, který jako vstup používá normalizovanou tabulku. Vzhledem k tomu, že normalizovaná tabulka nevyžaduje parsování, je analyzátor zástupných procedur efektivní.

Analyzátor zástupných procedur zobrazí zobrazení volajícího dotazu, které přidá do nativní tabulky ASIM:

  • Aliasy – aby nedošlo k plýtvání úložištěm opakujících se hodnot, nejsou aliasy uloženy v nativních tabulkách ASIM a přidají se v době dotazu pomocí analyzátorů zástupných procedur.
  • Konstantní hodnoty – podobně jako aliasy a ze stejného důvodu normalizované tabulky ASIM také neukládají konstantní hodnoty, jako je EventSchema. Analyzátor zástupných procedur tato pole přidá. Normalizovaná tabulka ASIM je sdílená mnoha zdroji a analyzátory doby příjmu můžou změnit svoji výstupní verzi. Proto pole jako EventProduct, EventVendor a EventSchemaVersion nejsou konstantní a nejsou přidána analyzátorem zástupných funkcí.
  • Filtrování – parser inzerování také implementuje filtrování. I když nativní tabulky ASIM nepotřebují k dosažení lepšího výkonu filtrovací analyzátory, filtrování je potřeba pro podporu zahrnutí do sjednocovacího analyzátoru.
  • Aktualizace a opravy – Použití analyzátoru zástupných procedur umožňuje rychlejší řešení problémů. Pokud se například data ingestovala nesprávně, ip adresa se během ingestování pravděpodobně nevyextrahovala z pole zprávy. IP adresu může extrahovat analyzátor zástupných procedur v době dotazu.

Při použití vlastních normalizovaných tabulek vytvořte vlastní analyzátor zástupných procedur, který tuto funkci implementuje, a přidejte ho do sjednocovacích analyzátorů, jak je popsáno v tématu Správa analyzátorů. Jako výchozí bod použijte analyzátor zástupných inzertů nativní tabulky, jako je parser nativní tabulky DNS a jeho protějšek filtrování. Pokud je tabulka částečně normalizována, použijte parser stub k provedení další analýzy a normalizace potřebné.

Další informace o psaní analyzátorů najdete v článku Vývoj analyzátorů ASIM.

Implementace normalizace doby příjmu

Pokud chcete normalizovat data při ingestování, budete muset použít pravidlo shromažďování dat (DCR). Postup implementace DCR závisí na metodě použité k ingestování dat. Další informace najdete v článku Transformace nebo přizpůsobení dat v době příjmu dat ve službě Microsoft Sentinel.

Transformační dotaz KQL je základem DCR. Verze KQL používaná v dcrs se mírně liší od verze používané jinde ve službě Microsoft Sentinel, aby vyhovovala požadavkům zpracování událostí kanálu. Proto budete muset upravit jakýkoli analyzátor doby dotazu, aby ho používal v DCR. Další informace o rozdílech a o tom, jak převést analyzátor doby dotazu na analyzátor doby příjmu, najdete v článku o omezeních DCR KQL.

Další kroky

Další informace naleznete v tématu: