Transformace dat pomocí filtrování a rozdělení v Microsoft Sentinel

S tím, jak se objemy dat zabezpečení stále zvětšují, čelí organizace úkolu vyvážit nákladově efektivní uchovávání telemetrie používané pro AI, dodržování předpisů a šetření a současně zajistit, aby se ve vysoce výkonných úrovních úložiště uchovávala pouze potřebná data. Pomocí filtrování a rozdělení transformací dat v Microsoft Sentinel můžete tento problém vyřešit úpravou dat v době příjmu dat za účelem optimalizace strategie uchovávání dat.

Tento článek popisuje, jak nakonfigurovat transformace filtrování a rozdělení dat bez nutnosti ručního vytváření vlastních konfigurací pravidla shromažďování dat (DCR). Když přizpůsobíte příjem dat pomocí filtrů a rozdělených transformací, můžete zlepšit výkon a snížit šum.

Pomocí transformací dat můžete optimalizovat kanál dat zabezpečení tím, že budete řídit, jaká data jsou uložená a v jaké vrstvě. Použití filtrování a rozdělených transformací přináší následující výhody:

  • Optimalizace nákladů: Snižte náklady na úložiště a zpracování filtrováním dat s nízkou hodnotou, která nepřispívají k detekci hrozeb. Směrujte méně často přístupná data do nákladově efektivního úložiště Data Lake Při zachování vysoce prioritních dat na úrovni Analytics.

  • Vylepšená efektivita SOC: Zaměřte centrum operací zabezpečení (SOC) na akce s vysokou hodnotou. Odstraněním šumu v době příjmu dat stráví analytici méně času procházením irelevantních protokolů a více času zkoumáním skutečných hrozeb.

  • Rychlejší výkon dotazů: Menší datové sady na úrovni Analytics mají za následek rychlejší dobu provádění dotazů, což usnadňuje vyhledávání hrozeb, vyšetřování incidentů a rychlejší odezvu analytických pravidel.

  • Flexibilita dodržování předpisů a uchovávání: Udržujte komplexní uchovávání dat pro regulatorní audity a forenzní analýzy na úrovni Data Lake a současně optimalizujte úroveň Analytics pro provozní úlohy. Zachování komplexního uchovávání v úrovni Data Lake při optimalizaci úrovně Analytics splňuje požadavky na dodržování předpisů bez snížení výkonu.

  • Škálovatelná správa dat: S rostoucím objemem dat vaší organizace vám transformace pomáhají udržet si kontrolu nad náklady a výkonem. Použijte konzistentní zásady napříč tabulkami, abyste zajistili předvídatelnou správu dat.

Filtrování a rozdělení transformací jsou prvními kroky ve větší transformační architektuře, která vám umožní vyvíjet data tak, aby vyhovovala vašim potřebám. Další informace o konceptech transformace dat najdete v tématu Příjem a transformace vlastních dat v Microsoft Sentinel.

Požadavky

Před konfigurací pravidel filtrování nebo rozdělení transformace ověřte následující požadavky:

  • Váš pracovní prostor Microsoft Sentinel musí být připojen k portálu Defender. Další informace najdete v tématu Připojení Microsoft Sentinel k portálu Microsoft Defender.

  • Na portálu Microsoft Defender s jednotným řízením přístupu na základě role (RBAC) jsou oprávnění data (spravovat) ve skupině Oprávnění k operacím s daty.

  • Pro pracovní prostor Microsoft Sentinel potřebujete roli Log Analytics Contributor, která poskytuje:

    • Microsoft.OperationalInsights/workspaces/write
    • Oprávnění Microsoft.OperationalInsights/workspaces/tables/write k pracovnímu prostoru služby Log Analytics

  • Pro konfiguraci rozdělené transformace:

Podporované tabulky

Filtrační a rozdělené transformace mají odlišné požadavky na podporu tabulek. Pravidla sběru dat (DCR) určují, jak jsou data sbírána a transformována během příjmu.

  • Filtrování: Podporováno na jakékoli tabulce, která podporuje DCR.
  • Rozdělení: Je podporováno u všech tabulek, které podporují pouze příjem do Analytics, pouze příjem do Data Lake a Pravidla shromažďování dat (DCR).

Pokud chcete ověřit, zda tabulky konektoru podporují DCR, viz Najděte svůj datový konektor Microsoft Sentinel.

Transformace filtrů

Transformace filtru vám umožňují omezit šum vyřazením dat při ingestaci, která nejsou užitečná pro vyšetřování. Pomocí pravidla transformace filtru určete podmínku KQL, která určuje, která data se mají vyfiltrovat, a zbývající data se odešlou do úrovně Analytics.

Transformace filtru použijte v případech, kdy potřebujete:

  • Potlačení šumu: Zaměřte svůj SOC na využitelné události vyfiltrováním běžných protokolových záznamů s nízkou závažností, například událostí typu „allow“ z protokolů brány firewall.
  • Optimalizace nákladů: Snižte náklady na úložiště a zpracování tím, že zahodíte data, která nepřispívají k detekci hrozeb.
  • Zvýšení výkonu: Urychlíte dotazy a zjednodušíte analýzu snížením objemu uložených dat.

Představte si následující příklad transformace filtru:

Váš podnik spoléhá na protokoly brány firewall při identifikaci anomálií. Většina záznamů firewallu jsou rutinní události typu „allow“ s nízkou závažností, které nepřispívají k detekci hrozeb. Pokud chcete zachovat pouze kritické události, jako je blokovaný provoz nebo vysoká závažnost, a odfiltrovat protokoly s nízkou hodnotou, vytvořte pravidlo transformace filtru s podmínkou KQL, které do vrstvy Analytics odesílá pouze data střední nebo vysoké závažnosti, která nejsou událostmi povolení.

Rozdělení transformací

Rozdělené transformace umožňují směrovat data mezi vrstvou Analytics a vrstvou Data Lake na základě zadaných podmínek. Pomocí pravidla rozdělené transformace můžete definovat výraz KQL, který určuje, která data se přisadí do služby Analytics. Data, která neodpovídají výrazu, se směrují pouze na úroveň Data Lake.

Poznámka

Když nakonfigurujete rozdělenou transformaci, data určená pro analytickou vrstvu jsou také zrcadlena do vrstvy datového jezera. Data, která neodpovídají kritériím Analytics, se posílala jenom do úrovně Data Lake. Zrcadlení dat vrstvy Analytics do Data Lake a současné odesílání neshodujících se dat pouze do Data Lake zajišťuje, že všechna vaše data zůstanou v Data Lake dostupná pro účely dlouhodobého uchovávání a souladu s předpisy.

Rozdělené transformace použijte v případě, že potřebujete vyvážit náklady a výkon směrováním dat do příslušné úrovně úložiště:

  • Optimalizujte náklady na úložiště: Starší nebo méně často používané záznamy protokolu můžete směrovat do vrstvy Data lake tier pro cenově efektivní dlouhodobé ukládání.
  • Udržujte výkon: Uchovávejte nedávné záznamy ve vrstvě Analytics, aby byly dotazy během aktivního vyhledávání hrozeb rychlejší.
  • Splnění požadavků na dodržování předpisů: Uchovávejte historické protokoly pro regulatorní audity a forenzní analýzy, aniž byste museli obětovat provozní flexibilitu.

Představte si následující příklad rozdělené transformace:

Váš podnik denně ingestuje miliony položek protokolu brány firewall kvůli detekci hrozeb a dodržování předpisů. Váš tým SOC potřebuje přístup k nedávným protokolům v reálném čase pro účely aktivního vyšetřování, ale musí také uchovávat historické protokoly pro regulační audity. Vytvořte pravidlo rozdělené transformace, které bude směrovat data v reálném čase na úroveň Analytics a historická data do vrstvy Data Lake.

Důležité

Transformace, které vytvoříte v Microsoft Sentinel, můžou být v konfliktu s transformacemi vytvořenými ve službě Azure Monitor pomocí dcr. Například pokud je DCR již aplikováno na tabulku pro vstup pouze dat z Regionu A a transformace filtru Region A vylučuje, data nejsou vstupována. Ujistěte se, že rozumíte kombinovaným dopadům DCR a transformace aplikovaných na tabulku a že je ověříte.

Konfigurace pravidel transformace filtru

Pomocí následujícího postupu vytvořte pravidlo transformace filtru:

  1. Na portálu Microsoft Defender přejděte na Microsoft Sentinel>Konfigurace>Tabulky.

  2. Vyberte tabulku. Na bočním panelu vyberte Pravidlo filtru.

    Snímek obrazovky s vlastnostmi tabulky v Microsoft Sentinel

  3. Na bočním panelu zadejte název pravidla.

  4. Do pole Podmínka zadejte výraz KQL, který určuje, která data se mají vyfiltrovat. U dat, která nechcete ingestovat, by se výraz KQL měl vyhodnotit jako true.

  5. Pokud chcete filtr povolit, nastavte přepínač stavu pravidla na Zapnuto .

    Důležité

    Filtry odfiltrují data. Data odpovídající podmínce filtru se zahodí a nejsou načtena ani do vrstvy Analytics, ani do vrstvy Data Lake. Ujistěte se, že výraz KQL přesně zachycuje data, která chcete vyloučit.

  6. Pokud chcete přidat další podmínku, vyberte Přidat podmínku a zadejte nový výraz KQL, který vyfiltruje data. S logickým operátorem OR se kombinuje více podmínek, takže data odpovídající některé z podmínek se odfiltrují.

  7. Pokud chcete pravidlo použít, vyberte Uložit .

  8. Zkontrolujte, jestli je pravidlo filtru použito, a to tak, že zkontrolujete sloupec Pravidla transformace tabulky. Ve sloupci se zobrazí filtr, když je pravidlo filtru aktivní.

    Snímek obrazovky znázorňující pravidlo filtru použité v seznamu tabulek v Microsoft Sentinel

Konfigurace pravidla rozdělené transformace

Následujícím postupem vytvořte pravidlo rozdělené transformace:

  1. Na portálu Defender přejděte na Microsoft Sentinel>Konfigurace>Tabulky.

  2. Vyberte tabulku a pak vyberte Rozdělit pravidlo.

  3. Na bočním panelu zadejte název pravidla.

  4. Do pole Výraz KQL zadejte výraz KQL, který definuje, která data se mají ingestovat do úrovně Analytics. Data, která neodpovídají tomuto výrazu, se ingestují do vrstvy Data Lake.

  5. Pokud chcete pravidlo použít, vyberte Uložit .

  6. Ověřte, že se pravidlo rozdělení používá, a to tak, že zkontrolujete sloupec Pravidla transformace tabulky. Ve sloupci se zobrazí rozdělení , když je pravidlo rozdělení aktivní.

Poznámka

Rozdělená data načtená do vrstvy Data Lake se ukládají do samostatné tabulky se stejným názvem jako původní tabulka, ale s příponou "_SPLT". Pokud například použijete pravidlo rozdělení na tabulku FirewallLogs, data směrovaná na úroveň Data Lake se ingestují do samostatné tabulky FirewallLogs_SPLT. Použití samostatné tabulky _SPLT pro data Data Lake umožňuje spravovat zásady uchovávání informací a přístupu samostatně pro úrovně Analytics a Data Lake.

Snímek obrazovky znázorňující pravidlo rozdělení použité v seznamu tabulek v Microsoft Sentinel

Konfigurace uchovávání informací pro rozdělené tabulky

Po vytvoření rozděleného pravidla nakonfigurujte nastavení uchovávání informací pro každou úroveň:

  1. Pod původní tabulkou si prohlédněte výsledné rozdělené tabulky Analytics a Data Lake .

  2. Pokud chcete nakonfigurovat uchovávání, vyberte tabulku Analýza nebo Data Lake.

  3. Vyberte Nastavení uchovávání dat.

  4. Nakonfigurujte dobu uchovávání a uložte ji.

Případně můžete vybrat původní tabulku a nakonfigurovat analýzu a uchovávání dat v kombinovaném dialogovém okně nastavení uchovávání dat .

Snímek obrazovky znázorňující nastavení uchovávání informací pro rozdělené tabulky v Microsoft Sentinel

Správa pravidel

Pokud chcete spravovat existující pravidla, vyberte tabulku a pak podle typu pravidla, které chcete spravovat, vyberte buď Rozdělit pravidlo, nebo Filtrační pravidlo.

  • Pokud chcete pravidlo zakázat, vypněte ho výběrem přepínače Stav pravidla a pak vyberte Uložit.
  • Pro smazání pravidla je třeba poznamenat, že smazání transformačního pravidla okamžitě zastaví zpracování dat pro dané pravidlo a může ovlivnit aktivní příjem. Pokračujte výběrem možnosti Odstranit.

Ověřte pravidla spuštěním dotazů KQL a ověřte, že se data správně ingestují a směrují na správnou úroveň.

Známá omezení

Při použití transformací filtru a rozdělení mějte na paměti následující omezení:

  • Viditelnost tabulky XDR: Rozdělení a transformace filtrů použité u tabulek XDR se během prvních 30 dnů nezobrazují v rozšířeném proaktivním vyhledávání dat. Transformace se použijí a jakmile jsou data starší než prvních 30 dnů, chovají se v Advanced Hunting normálně. Data dotazovaná z Log Analytics nebo Microsoft Sentinel okamžitě odrážejí úspory nákladů.

  • Zpoždění šíření: Může trvat až hodinu, než se transformace projeví.

  • Podpora tabulek: Pouze tabulky, které podporují pravidla shromažďování dat (DCR), podporují transformace rozdělení a filtrování.

Související obsah

  • Last updated on