Normalizace času příjmu

Analýza času dotazu

Jak je popsáno v přehledu ASIM, Microsoft Sentinel využívá normalizaci při dotazování i při ingesti, aby využíval výhod obou přístupů.

Pokud chcete použít normalizaci doby dotazu, použijte sjednocující analyzátory času dotazu, například _Im_Dns ve vašich dotazech. Normalizace pomocí analýzy času dotazu má několik výhod:

  • Zachování původního formátu: Normalizace doby dotazu nevyžaduje úpravu dat, čímž se zachová původní formát dat odeslaný zdrojem.
  • Vyhněte se potenciálnímu duplicitnímu úložišti: Vzhledem k tomu, že normalizovaná data jsou jenom zobrazením původních dat, není nutné ukládat původní ani normalizovaná data.
  • Jednodušší vývoj: Vzhledem k tomu, že analyzátory času dotazu představují zobrazení dat a neupravují data, je snadné je vyvíjet. Vývoj, testování a oprava analyzátoru je možné provádět na stávajících datech. Analyzátory je navíc možné opravit, když se zjistí problém, a oprava se použije u existujících dat.

Parsování času ingestu

Zatímco analyzátory času dotazů ASIM jsou optimalizované, analýza doby dotazu může zpomalit dotazy, zejména u velkých datových sad.

Parsování při ingestaci umožňuje transformovat události do normalizovaného schématu při jejich ingestaci do služby Microsoft Sentinel a ukládat je v normalizovaném formátu. Parsování při příjmu dat je méně flexibilní a vývoj parserů je náročnější, ale protože jsou data uložena v normalizovaném formátu, nabízí lepší výkon.

Normalizovaná data můžou být uložená v nativních normalizovaných tabulkách Microsoft Sentinel nebo ve vlastní tabulce, která používá schéma ASIM. Vlastní tabulka, která má schéma blízké schématu ASIM, ale není stejné, poskytuje také výhody výkonu normalizace času ingestace.

V současné době ASIM podporuje následující nativní normalizované tabulky jako cíl pro normalizaci doby příjmu:

Výhodou nativních normalizovaných tabulek je, že jsou ve výchozím nastavení zahrnuty do sjednocovacích analyzátorů ASIM. Do sjednocujících analyzátorů je možné zahrnout vlastní normalizované tabulky, jak je popsáno v tématu Správa analyzátorů.

Kombinování času ingestování a normalizace doby dotazu

Dotazy by měly vždy používat sjednocující analyzátory času dotazu, například _Im_Dns k využití času dotazu i normalizace doby příjmu. Nativně normalizované tabulky jsou do dotazovaných dat zahrnuty pomocí pomocného parseru.

Stub parser je parser používaný při zpracování dotazu, který jako vstup používá normalizovanou tabulku. Vzhledem k tomu, že normalizovaná tabulka nevyžaduje parsování, je analyzátor zástupných procedur efektivní.

Analyzátor stub poskytuje volajícímu dotazu pohled, který rozšiřuje nativní tabulku ASIM:

  • Aliasy – aby nedošlo k plýtvání úložištěm opakujících se hodnot, nejsou aliasy uloženy v nativních tabulkách ASIM a přidávají se v době dotazu analyzátory zástupných procedur.
  • Konstantní hodnoty – podobně jako aliasy a ze stejného důvodu normalizované tabulky ASIM také neukládají konstantní hodnoty, jako je EventSchema. Parser stubů přidá tato pole. Normalizovaná tabulka ASIM je sdílena mnoha zdroji a analyzátory času ingestace můžou změnit svou výstupní verzi. Proto pole, jako jsou EventProduct, EventVendor a EventSchemaVersion, nejsou konstantní a stub parser je nepřidává.
  • Filtrování – analyzátor zástupných procedur také implementuje filtrování. Nativní tabulky ASIM sice k dosažení lepšího výkonu nepotřebují filtrovací analyzátory, ale filtrování je potřeba pro podporu zahrnutí do sjednocujícího analyzátoru.
  • Aktualizace a opravy – použití analyzátoru zástupných procedur umožňuje rychlejší řešení problémů. Pokud se například data ingestovala nesprávně, nemusela být během příjmu z pole zprávy extrahována IP adresa. IP adresu lze získat parserem stubu během zpracování dotazu.

Při použití vlastních normalizovaných tabulek vytvořte vlastní parser typu stub, který tuto funkcionalitu implementuje, a přidejte jej do sjednocovacích parserů, jak je uvedeno v části Správa parserů. Jako výchozí bod použijte analyzátor zástupných procedur pro nativní tabulku, jako je například analyzátor zástupných procedur nativní tabulky DNS a jeho protějšek filtrování. Pokud je tabulka částečně normalizovaná, použijte stub parser k provedení potřebného dodatečného parsování a normalizace.

Další informace o psaní analyzátorů najdete v tématu Vývoj analyzátorů ASIM.

Implementace normalizace doby příjmu

Pokud chcete normalizovat data při ingestování, musíte použít pravidlo shromažďování dat (DCR). Postup implementace DCR závisí na metodě použité k ingestování dat. Další informace najdete v článku Transformace nebo přizpůsobení dat v době příjmu dat v Microsoft Sentinel.

Transformační dotaz KQL je jádrem DCR. Verze KQL používaná v dcr se mírně liší od verze použité jinde v Microsoft Sentinel, aby vyhovovala požadavkům zpracování událostí kanálu. Proto je potřeba upravit jakýkoli analyzátor doby dotazu tak, aby se používal v DCR. Další informace o rozdílech a o tom, jak převést analyzátor času dotazu na analyzátor času ingestace, najdete v článku o omezeních KQL DCR.

Související obsah

  • Last updated on