Przekształcanie danych przy użyciu filtru i dzielenie na Microsoft Sentinel

W miarę wzrostu ilości danych zabezpieczeń organizacje stoją przed wyzwaniem równoważenia ekonomicznego przechowywania danych telemetrycznych używanych do sztucznej inteligencji, zgodności i badań, zapewniając jednocześnie przechowywanie tylko niezbędnych danych w warstwach magazynowania o wysokiej wydajności. Użyj przekształceń filtrowania i dzielenia danych w Microsoft Sentinel, aby sprostać temu wyzwaniu, modyfikując dane w czasie pozyskiwania, aby zoptymalizować strategię przechowywania danych.

W tym artykule opisano sposób konfigurowania przekształceń filtru i dzielenia danych bez konieczności ręcznego tworzenia niestandardowych konfiguracji reguł zbierania danych (DCR). Dzięki dostosowywaniu pozyskiwania danych te przekształcenia zwiększają wydajność i zmniejszają szum.

Za pomocą przekształceń danych można zoptymalizować potok danych zabezpieczeń, kontrolując, jakie dane są przechowywane i w jakiej warstwie. Korzystanie z przekształceń filtrowania i dzielenia zapewnia następujące korzyści:

• Optymalizacja kosztów: zmniejsz koszty magazynowania i przetwarzania, odfiltrowując dane o niskiej wartości, które nie przyczyniają się do wykrywania zagrożeń. Kierowanie rzadziej używanych danych do ekonomicznego magazynu usługi Data lake Przy jednoczesnym zachowaniu danych o wysokim priorytecie w warstwie Analiza.

• Ulepszona wydajność SOC: Skoncentruj centrum operacji zabezpieczeń (SOC) na zdarzeniach o wysokiej wartości, które można wykonywać w akcjach. Usuwając szum w czasie pozyskiwania, analitycy poświęcają mniej czasu na przesiewanie nieistotnych dzienników i więcej czasu na badaniu rzeczywistych zagrożeń.

• Szybsza wydajność zapytań: mniejsze zestawy danych w warstwie Analiza powodują skrócenie czasu wykonywania zapytań. To ulepszenie sprawia, że wyszukiwanie zagrożeń, badania zdarzeń i reguły analizy są bardziej responsywne.

• Elastyczność zgodności i przechowywania: utrzymywanie kompleksowego przechowywania danych na potrzeby inspekcji regulacyjnych i analizy kryminalistycznej w warstwie Usługi Data lake przy jednoczesnej optymalizacji warstwy Analizy pod kątem obciążeń operacyjnych. Takie podejście spełnia wymagania dotyczące zgodności bez poświęcania wydajności.

• Skalowalne zarządzanie danymi: wraz ze wzrostem ilości danych w organizacji przekształcenia pomagają utrzymać kontrolę nad kosztami i wydajnością. Stosowanie spójnych zasad w tabelach w celu zapewnienia przewidywalnego zarządzania danymi.

Filtrowanie i dzielenie przekształceń to pierwsze kroki w większej strukturze przekształcania, która umożliwia rozwijanie danych zgodnie z potrzebami. Aby uzyskać więcej informacji na temat pojęć związanych z przekształcaniem danych, zobacz Custom data ingestion and transformation in Microsoft Sentinel (Niestandardowe pozyskiwanie i przekształcanie danych w Microsoft Sentinel).

Wymagania wstępne

Przed skonfigurowaniem reguł filtrowania lub dzielenia przekształceń sprawdź następujące wymagania:

• Obszar roboczy Microsoft Sentinel musi zostać dołączony do portalu usługi Defender. Aby uzyskać więcej informacji, zobacz Łączenie Microsoft Sentinel z portalem Microsoft Defender.

• W portalu Microsoft Defender z ujednoliconą kontrolą dostępu opartą na rolach (RBAC), uprawnieniami do danych (zarządzaniem) w grupie uprawnień operacje danych.

• Do Microsoft Sentinel obszaru roboczego potrzebne są następujące uprawnienia:

• Rola współautora usługi Log Analytics w celu zapewnienia:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace(Microsoft.OperationalInsights/workspaces/tables/write permissions to the Log Analytics workspace).

Obsługiwane tabele

Przekształcenia filtrowania i dzielenia mają różne wymagania dotyczące obsługi tabel:

• Filtrowanie: obsługiwane w dowolnej tabeli obsługującej reguły zbierania danych (DCRs).
• Dzielenie: obsługiwane w dowolnej tabeli, która obsługuje tylko pozyskiwanie danych, pozyskiwanie tylko usługi Data lake i reguły zbierania danych (DCRs).

Aby sprawdzić, czy tabele łącznika obsługują kontrolery DOMENY, zobacz Znajdowanie łącznika danych Microsoft Sentinel.

Przekształcenia filtrów

Przekształcenia filtrów umożliwiają zmniejszenie szumu przez odrzucenie danych podczas pozyskiwania, które nie są przydatne w badaniach. Użyj reguły przekształcania filtru, aby określić warunek KQL, który określa, które dane mają zostać odfiltrowane, a pozostałe dane będą wysyłane do warstwy Analiza.

Używaj przekształceń filtrów, gdy musisz:

• Redukcja szumu: Skoncentruj się na zdarzeniach z możliwością działania, odfiltrowując rutynowe dzienniki o niskiej ważności, takie jak zdarzenia "zezwalania" z dzienników zapory.
• Optymalizowanie kosztów: niższe koszty magazynowania i przetwarzania przez odrzucenie danych, które nie przyczyniają się do wykrywania zagrożeń.
• Zwiększanie wydajności: przyspieszanie zapytań i usprawnianie analizy przez zmniejszenie ilości przechowywanych danych.

Rozważmy następujący przykład przekształcenia filtru:

Przedsiębiorstwo korzysta z dzienników zapory w celu identyfikowania anomalii. Większość dzienników zapory to rutynowe zdarzenia "zezwalania" o niskiej ważności, które nie przyczyniają się do wykrywania zagrożeń. Aby zachować tylko zdarzenia krytyczne, takie jak zablokowany ruch lub wysoka ważność, i odfiltrować dzienniki o niskiej wartości, utwórz regułę przekształcania filtru z warunkiem KQL, aby wysyłać tylko dane o średniej lub wysokiej ważności, które nie są "dozwolone" do warstwy Analiza.

Podział przekształceń

Przekształcenia podzielone umożliwiają kierowanie danych między warstwą Analizy a warstwą Usługi Data lake na podstawie określonych warunków. Użyj reguły przekształcania podzielonego, aby zdefiniować wyrażenie KQL, które określa, które dane trafiają do analizy. Dane niezgodne z wyrażeniem są kierowane tylko do warstwy Usługi Data lake.

Uwaga

Podczas konfigurowania przekształcenia podzielonego dane wyznaczone dla warstwy Analiza są również odzwierciedlane w warstwie Usługi Data lake. Dane, które nie spełniają kryteriów analizy, trafiają tylko do warstwy Usługi Data lake. Ta konfiguracja gwarantuje, że wszystkie dane pozostaną dostępne w usłudze Data lake do celów długoterminowego przechowywania i zgodności.

Używaj przekształceń podzielonych, gdy musisz zrównoważyć koszty i wydajność, kierując dane do odpowiedniej warstwy magazynu:

• Optymalizowanie kosztów magazynowania: kierowanie starszych lub rzadziej używanych dzienników do warstwy Usługi Data lake w celu uzyskania ekonomicznego magazynu długoterminowego.
• Zachowaj wydajność: zachowaj ostatnie dzienniki w warstwie Analiza, aby szybciej wykonywać zapytania podczas aktywnego wyszukiwania zagrożeń.
• Spełnianie wymagań dotyczących zgodności: Zachowaj dzienniki historyczne na potrzeby inspekcji regulacyjnych i analizy kryminalistycznej bez poświęcania elastyczności operacyjnej.

Rozważmy następujący przykład przekształcenia podzielonego:

Przedsiębiorstwo codziennie pozyskuje miliony wpisów dziennika zapory w celu wykrywania zagrożeń i zgodności. Twój zespół SOC potrzebuje dostępu w czasie rzeczywistym do ostatnich dzienników na potrzeby aktywnych badań, ale musi również zachować dzienniki historyczne dla inspekcji regulacyjnych. Utwórz regułę przekształcenia podzielonego, aby kierować dane w czasie rzeczywistym do warstwy Analiza i dane historyczne do warstwy Usługi Data lake.

Ważna

Przekształcenia tworzone w Microsoft Sentinel mogą powodować konflikt z przekształceniami utworzonymi w usłudze Azure Monitor przy użyciu kontrolerów DOMENY. Jeśli na przykład funkcja DCR jest już stosowana do tabeli, w której są filtrowane wszystkie regiony z wyjątkiem określonego regionu, i zostanie zastosowany filtr filtrujący tylko ten region, żadne dane nie zostaną pozyskane. Upewnij się, że rozumiesz i sprawdzasz połączone skutki zastosowania dcr i przekształcenia do tabeli.

Konfigurowanie reguł przekształcania filtru

Wykonaj następujące kroki, aby utworzyć regułę przekształcania filtru:

1. W portalu Microsoft Defender przejdź do obszaru Microsoft Sentinel>Konfiguracja>tabel.

2. Wybierz tabelę. W panelu bocznym wybierz pozycję Reguła filtru.

   

3. W panelu bocznym wprowadź nazwę reguły.

4. W polu Warunek wprowadź wyrażenie KQL określające, które dane mają zostać odfiltrowane. Wyrażenie KQL powinno mieć wartość true dla danych, które nie mają być pozyskiwane.

5. Ustaw przełącznik stanu regułyna Wł ., aby włączyć filtr.

   Ważna

   Filtruje filtry danych. Dane pasujące do warunku filtru są odrzucane i nie są pozyskiwane do warstw Analiza ani Data lake. Upewnij się, że wyrażenie KQL dokładnie przechwytuje dane, które chcesz wykluczyć.

6. Aby dodać inny warunek, wybierz pozycję Dodaj warunek i wprowadź nowe wyrażenie KQL, aby odfiltrować dane. Wiele warunków jest łączonych z logicznym or, więc dane pasujące do dowolnego warunku są odfiltrowane.

7. Wybierz pozycję Zapisz , aby zastosować regułę.

8. Sprawdź, czy reguła filtru jest stosowana, sprawdzając kolumnę Reguły przekształcania dla tabeli. Kolumna wyświetla filtr , gdy reguła filtru jest aktywna.

   

Konfigurowanie reguły przekształcania podzielonego

Wykonaj następujące kroki, aby utworzyć regułę przekształcenia podziału:

1. W portalu usługi Defender przejdź do obszaru Microsoft Sentinel>Konfiguracja>tabel.

2. Wybierz tabelę, a następnie wybierz pozycję Podziel regułę.

3. W panelu bocznym wprowadź nazwę reguły.

4. W polu Wyrażenie KQL wprowadź wyrażenie KQL, które definiuje dane do pozyskiwania do warstwy Analiza. Dane niezgodne z tym wyrażeniem są pozyskiwane do warstwy Usługi Data lake.

5. Wybierz pozycję Zapisz , aby zastosować regułę.

6. Sprawdź, czy reguła podziału jest stosowana, sprawdzając kolumnę Reguły przekształcania dla tabeli. W kolumnie jest wyświetlana wartość Split (Podział ) po uaktywnieniu reguły podziału.

Uwaga

Podzielone dane pozyskane do warstwy Usługi Data lake są umieszczane w oddzielnej tabeli o takiej samej nazwie jak oryginalna tabela, ale z sufiksem "_SPLT". Jeśli na przykład zastosujesz regułę podziału do tabeli "FirewallLogs", dane kierowane do warstwy Data lake zostać pozyskane do oddzielnej tabeli "FirewallLogs_SPLT". Ta konfiguracja umożliwia osobne zarządzanie zasadami przechowywania i dostępu dla warstw Analizy i usługi Data Lake.

Konfigurowanie przechowywania dla tabel podzielonych

Po utworzeniu reguły podziału skonfiguruj ustawienia przechowywania dla każdej warstwy:

1. W oryginalnej tabeli wyświetl wynikowe tabele analiz i usługi Data lake split.

2. Aby skonfigurować przechowywanie, wybierz tabelę Analiza lub Usługa Data lake.

3. Wybierz pozycję Ustawienia przechowywania danych.

4. Skonfiguruj okres przechowywania i zapisz.

Alternatywnie wybierz oryginalną tabelę i skonfiguruj ustawienia Analytics i Data lake Retention w oknie dialogowym Połączone ustawienia przechowywania danych .

Zarządzanie regułami

Aby zarządzać istniejącymi regułami, wybierz tabelę, a następnie wybierz opcję Podziel regułę lub Reguła filtru w zależności od typu reguły, którą chcesz zarządzać.

• Aby wyłączyć regułę, wybierz przełącznik Stan reguły , aby wyłączyć regułę, a następnie wybierz pozycję Zapisz.
• Usuń regułę, wybierając pozycję Usuń.

Zweryfikuj reguły, uruchamiając zapytania KQL, aby potwierdzić, że dane są pozyskiwane poprawnie i kierowane do odpowiedniej warstwy.

Znane ograniczenia

Należy pamiętać o następujących ograniczeniach podczas korzystania z przekształceń filtru i dzielenia:

• Widoczność tabeli XDR: Przekształcenia dzielenia i filtrowania stosowane do tabel XDR nie są wyświetlane w obszarze Zaawansowane wyszukiwanie zagrożeń przez pierwsze 30 dni danych. Przekształcenia są stosowane, a gdy dane przekroczą pierwsze 30 dni, zachowują się normalnie w przypadku zaawansowanego wyszukiwania zagrożeń. Dane wysyłane z usługi Log Analytics lub Microsoft Sentinel natychmiast odzwierciedlają oszczędności kosztów.

• Opóźnienie propagacji: zastosowanie przekształceń może potrwać do jednej godziny.

• Obsługa tabel: tylko tabele obsługujące reguły zbierania danych (DCRs) obsługują przekształcenia dzielenia i filtrowania.

Zawartość pokrewna

• Niestandardowe pozyskiwanie i przekształcanie danych w Microsoft Sentinel
• Przekształcanie lub dostosowywanie danych w czasie pozyskiwania w Microsoft Sentinel
• Reguły zbierania danych w usłudze Azure Monitor
• Przykładowe reguły zbierania danych w usłudze Azure Monitor
• Znajdowanie łącznika danych Microsoft Sentinel