Przekształcanie danych za pomocą filtrowania i podziału w Microsoft Sentinel

W miarę wzrostu ilości danych zabezpieczeń organizacje stoją przed wyzwaniem równoważenia ekonomicznego przechowywania danych telemetrycznych używanych do sztucznej inteligencji, zgodności i badań, zapewniając jednocześnie przechowywanie tylko niezbędnych danych w warstwach magazynowania o wysokiej wydajności. Użyj przekształceń filtrowania i dzielenia danych w Microsoft Sentinel, aby sprostać temu wyzwaniu, modyfikując dane w czasie pozyskiwania, aby zoptymalizować strategię przechowywania danych.

W tym artykule opisano, jak skonfigurować przekształcenia filtrowania i dzielenia danych bez konieczności ręcznego tworzenia niestandardowych konfiguracji reguł zbierania danych (DCR). Dostosowując pobieranie danych za pomocą transformacji filtrów i podziałów, możesz poprawić wydajność i zmniejszyć szumy.

Za pomocą przekształceń danych można zoptymalizować potok danych zabezpieczeń, kontrolując, jakie dane są przechowywane i w jakiej warstwie. Korzystanie z przekształceń filtrowania i dzielenia zapewnia następujące korzyści:

• Optymalizacja kosztów: zmniejsz koszty magazynowania i przetwarzania, odfiltrowując dane o niskiej wartości, które nie przyczyniają się do wykrywania zagrożeń. Przekieruj rzadziej używane dane do ekonomicznego magazynu danych Data Lake, przy jednoczesnym przechowywaniu danych o wysokim priorytecie w warstwie Analytics.

• Większa efektywność SOC: Skoncentruj centrum operacji bezpieczeństwa (SOC) na istotnych zdarzeniach o wysokim priorytecie, które wymagają podjęcia działań. Usuwając szum informacyjny na etapie ingestii, analitycy poświęcają mniej czasu na przeglądanie nieistotnych dzienników, a więcej na badanie faktycznych zagrożeń.

• Szybsza wydajność zapytań: mniejsze zestawy danych w warstwie Analiza powodują szybsze czasy wykonywania zapytań, co sprawia, że wyszukiwanie zagrożeń, badania zdarzeń i reguły analizy są bardziej elastyczne.

• Elastyczność zgodności i przechowywania: utrzymywanie kompleksowego przechowywania danych na potrzeby inspekcji regulacyjnych i analizy kryminalistycznej w warstwie Usługi Data lake przy jednoczesnej optymalizacji warstwy Analizy pod kątem obciążeń operacyjnych. Utrzymanie kompleksowej retencji danych w warstwie Data Lake przy jednoczesnej optymalizacji warstwy analitycznej spełnia wymagania dotyczące zgodności bez uszczerbku dla wydajności.

• Skalowalne zarządzanie danymi: wraz ze wzrostem ilości danych w organizacji przekształcenia pomagają utrzymać kontrolę nad kosztami i wydajnością. Stosowanie spójnych zasad w tabelach w celu zapewnienia przewidywalnego zarządzania danymi.

Filtrowanie i dzielenie przekształceń to pierwsze kroki w większej strukturze przekształcania, która umożliwia rozwijanie danych zgodnie z potrzebami. Aby uzyskać więcej informacji na temat pojęć związanych z przekształcaniem danych, zobacz artykuł Niestandardowe pozyskiwanie i przekształcanie danych w Microsoft Sentinel.

Wymagania wstępne

Przed skonfigurowaniem reguł transformacji filtrowania lub dzielenia sprawdź następujące wymagania:

• Obszar roboczy Microsoft Sentinel musi zostać dołączony do portalu usługi Defender. Aby uzyskać więcej informacji, zobacz Łączenie Microsoft Sentinel z portalem Microsoft Defender.

• W portalu Microsoft Defender z funkcją ujednoliconej kontroli dostępu opartej na rolach (RBAC) uprawnienia Dane (zarządzanie) w grupie uprawnień Operacje na danych.

• Do przestrzeni roboczej Microsoft Sentinel potrzebujesz roli Log Analytics Contributor, która oferuje:

  • Microsoft.OperationalInsights/workspaces/write
  • uprawnienie Microsoft.OperationalInsights/workspaces/tables/write do obszaru roboczego usługi Log Analytics.

• Aby skonfigurować transformację podzieloną:

  • Na pokładzie przestrzeni roboczej do Microsoft Sentinel data lake.
  • Upewnij się, że tabela jest obecnie w warstwie analityki.

Obsługiwane tabele

Transformacje filtrów i podziałów mają różne wymagania dotyczące wsparcia tabel. Reguły zbierania danych (DCR) określają, jak dane są zbierane i przekształcane podczas pobierania.

• Filtrowanie: Obsługiwane w każdej tabeli obsługującej DCR.
• Dzielenie: Obsługiwane przez każdą tabelę, która obsługuje pozyskiwanie tylko do usługi Analytics, pozyskiwanie tylko do usługi Data Lake oraz reguły zbierania danych (DCR).

Aby sprawdzić, czy tabele konektora obsługują reguły zbierania danych (DCR), zobacz Znajdź konektor danych Microsoft Sentinel.

Przekształcenia filtrów

Przekształcenia filtrowania umożliwiają ograniczenie szumu poprzez odrzucanie na etapie pozyskiwania danych, które nie są przydatne w dochodzeniach. Użyj reguły przekształcania filtru, aby określić warunek KQL, który określa, które dane mają zostać odfiltrowane, a pozostałe dane będą wysyłane do warstwy Analiza.

Używaj przekształceń filtrów, gdy musisz:

• Ogranicz szum: Skoncentruj działania SOC na zdarzeniach wymagających działania, odfiltrowując rutynowe logi o niskim poziomie ważności, takie jak zdarzenia „allow” w logach zapory.
• Optymalizowanie kosztów: niższe koszty magazynowania i przetwarzania przez odrzucenie danych, które nie przyczyniają się do wykrywania zagrożeń.
• Zwiększanie wydajności: przyspieszanie zapytań i usprawnianie analizy przez zmniejszenie ilości przechowywanych danych.

Rozważmy następujący przykład przekształcenia filtru:

Twoje przedsiębiorstwo korzysta z logów zapory sieciowej do wykrywania anomalii. Większość wpisów dziennika zapory to rutynowe zdarzenia typu „zezwól” o niskim poziomie ważności, które nie przyczyniają się do wykrywania zagrożeń. Aby zachować tylko krytyczne zdarzenia, takie jak zablokowany ruch lub zdarzenia o wysokim poziomie ważności, oraz odfiltrować dzienniki o niskiej wartości, utwórz regułę transformacji filtrowania z warunkiem KQL, która będzie wysyłać do warstwy Analytics tylko dane o średnim lub wysokim poziomie ważności, które nie są zdarzeniami typu „allow”.

Podział przekształceń

Przekształcenia podzielone umożliwiają kierowanie danych między warstwą Analizy a warstwą Usługi Data lake na podstawie określonych warunków. Użyj reguły transformacji z podziałem, aby zdefiniować wyrażenie KQL określające, które dane trafiają do Analytics. Dane, które nie odpowiadają wyrażeniu, są kierowane wyłącznie do warstwy Data Lake.

Uwaga

Podczas konfigurowania transformacji dzielącej dane przeznaczone dla warstwy analitycznej są również dublowane w warstwie Data Lake. Dane, które nie spełniają kryteriów usługi Analytics, trafiają wyłącznie do warstwy Data Lake. Replikowanie danych warstwy Analytics do usługi Data Lake przy jednoczesnym wysyłaniu tylko niedopasowanych danych do usługi Data Lake zapewnia, że wszystkie dane pozostają dostępne w usłudze Data Lake na potrzeby długoterminowej retencji i zapewnienia zgodności.

Używaj przekształceń podzielonych, gdy musisz zrównoważyć koszty i wydajność, kierując dane do odpowiedniej warstwy magazynu:

• Optymalizowanie kosztów magazynowania: kierowanie starszych lub rzadziej używanych dzienników do warstwy Usługi Data lake w celu uzyskania ekonomicznego magazynu długoterminowego.
• Zachowaj wydajność: zachowaj ostatnie dzienniki w warstwie Analiza, aby szybciej wykonywać zapytania podczas aktywnego wyszukiwania zagrożeń.
• Spełnianie wymagań dotyczących zgodności: Zachowaj dzienniki historyczne na potrzeby inspekcji regulacyjnych i analizy kryminalistycznej bez poświęcania elastyczności operacyjnej.

Rozważmy następujący przykład transformacji z podziałem:

Twoja firma codziennie przetwarza miliony wpisów dziennika zapory sieciowej na potrzeby wykrywania zagrożeń i zapewnienia zgodności. Twój zespół SOC potrzebuje dostępu w czasie rzeczywistym do ostatnich dzienników na potrzeby aktywnych badań, ale musi również zachować dzienniki historyczne dla inspekcji regulacyjnych. Utwórz regułę transformacji dzielącej, aby kierować dane w czasie rzeczywistym do warstwy Analytics, a dane historyczne do warstwy Data lake.

Ważna

Przekształcenia utworzone w Microsoft Sentinel mogą być w konflikcie z przekształceniami utworzonymi w usłudze Azure Monitor przy użyciu reguł zbierania danych (DCR). Na przykład, jeśli DCR jest już zastosowane do tabeli, aby pobierać tylko dane z Regionu A, a transformacja filtra wyklucza Region A, dane nie są pobierane. Upewnij się, że rozumiesz i sprawdź łączne skutki zastosowania do tabeli mechanizmu DCR i przekształcenia.

Konfigurowanie reguł przekształcania filtru

Wykonaj następujące kroki, aby utworzyć regułę przekształcania filtru:

1. W portalu Microsoft Defender przejdź do obszaru Microsoft Sentinel>Konfiguracja>tabel.

2. Wybierz tabelę. W panelu bocznym wybierz pozycję Reguła filtru.

   

3. W panelu bocznym wprowadź nazwę reguły.

4. W polu Warunek wprowadź wyrażenie KQL określające, które dane mają zostać odfiltrowane. Wyrażenie KQL powinno dawać wynik true dla danych, których nie chcesz przyjmować.

5. Ustaw przełącznik stanu regułyna Wł ., aby włączyć filtr.

   Ważna

   Filtry odfiltrowują dane. Dane spełniające warunek filtru są odrzucane i nie są przesyłane ani do warstwy Analytics, ani do warstwy Data Lake. Upewnij się, że wyrażenie KQL dokładnie przechwytuje dane, które chcesz wykluczyć.

6. Aby dodać inny warunek, wybierz pozycję Dodaj warunek i wprowadź nowe wyrażenie KQL, aby odfiltrować dane. Wiele warunków jest łączonych z logicznym or, więc dane pasujące do dowolnego warunku są odfiltrowane.

7. Wybierz pozycję Zapisz , aby zastosować regułę.

8. Sprawdź, czy reguła filtru jest stosowana, sprawdzając kolumnę Reguły przekształcania dla tabeli. Kolumna wyświetla filtr , gdy reguła filtru jest aktywna.

   

Skonfiguruj regułę transformacji dzielenia

Wykonaj poniższe kroki, aby utworzyć regułę transformacji dzielącej:

1. W portalu usługi Defender przejdź do obszaru Microsoft Sentinel>Konfiguracja>tabel.

2. Wybierz tabelę, a następnie wybierz pozycję Reguła podziału.

3. W panelu bocznym wprowadź nazwę reguły.

4. W polu Wyrażenie KQL wprowadź wyrażenie KQL, które określa, które dane mają być pozyskiwane do warstwy Analytics. Dane, które nie pasują do tego wyrażenia, są ładowane do warstwy Data lake.

5. Wybierz pozycję Zapisz , aby zastosować regułę.

6. Sprawdź, czy reguła podziału jest stosowana, sprawdzając kolumnę Reguły przekształcania dla tabeli. W kolumnie jest wyświetlane Split, gdy reguła podziału jest aktywna.

Uwaga

Podzielone dane pozyskane do warstwy Usługi Data lake są umieszczane w oddzielnej tabeli o takiej samej nazwie jak oryginalna tabela, ale z sufiksem "_SPLT". Na przykład jeśli zastosujesz regułę podziału do tabeli „FirewallLogs”, dane kierowane do warstwy jeziora danych są importowane do oddzielnej tabeli „FirewallLogs_SPLT”. Użycie oddzielnej tabeli _SPLT dla danych usługi Data Lake umożliwia oddzielne zarządzanie zasadami przechowywania i uzyskiwania dostępu dla warstw analizy i usługi Data Lake.

Konfigurowanie przechowywania dla tabel podzielonych

Po utworzeniu reguły podziału skonfiguruj ustawienia przechowywania dla każdej warstwy:

1. Pod oryginalną tabelą zobacz wynikowe podzielone tabele Analytics i Data Lake.

2. Aby skonfigurować okres przechowywania, wybierz tabelę Analytics lub Data Lake.

3. Wybierz pozycję Ustawienia przechowywania danych.

4. Skonfiguruj okres przechowywania i zapisz.

Alternatywnie wybierz oryginalną tabelę i skonfiguruj okres przechowywania danych dla usług Analytics i Data Lake w połączonym oknie dialogowym Ustawienia przechowywania danych.

Zarządzanie regułami

Aby zarządzać istniejącymi regułami, wybierz tabelę, a następnie wybierz opcję Podziel regułę lub Reguła filtru w zależności od typu reguły, którą chcesz zarządzać.

• Aby wyłączyć regułę, wybierz przełącznik Stan reguły , aby wyłączyć regułę, a następnie wybierz pozycję Zapisz.
• Aby usunąć regułę, należy zauważyć, że usunięcie reguły transformacji natychmiast zatrzymuje przetwarzanie danych dla tej reguły i może wpłynąć na aktywne pobieranie. Aby kontynuować, wybierz pozycję Usuń.

Zweryfikuj reguły, uruchamiając zapytania KQL, aby potwierdzić, że dane są pozyskiwane poprawnie i kierowane do odpowiedniej warstwy.

Znane ograniczenia

Należy pamiętać o następujących ograniczeniach podczas korzystania z transformacji filtrowania i dzielenia:

• Widoczność tabel XDR: Transformacje podziału i filtrowania zastosowane do tabel XDR nie są widoczne w funkcji Zaawansowane wyszukiwanie zagrożeń w pierwszych 30 dniach danych. Przekształcenia są stosowane, a po upływie pierwszych 30 dni dane zachowują się normalnie w funkcji Zaawansowane wyszukiwanie zagrożeń. Dane wysyłane z usługi Log Analytics lub Microsoft Sentinel natychmiast odzwierciedlają oszczędności kosztów.

• Opóźnienie propagacji: przekształcenia mogą zacząć obowiązywać dopiero po upływie godziny.

• Obsługa tabel: tylko tabele obsługujące reguły zbierania danych (DCRs) obsługują przekształcenia dzielenia i filtrowania.

Zawartość pokrewna

• Niestandardowe pozyskiwanie i przekształcanie danych w Microsoft Sentinel
• Przekształcanie lub dostosowywanie danych na etapie pozyskiwania w usłudze Microsoft Sentinel
• Reguły zbierania danych w usłudze Azure Monitor
• Przykładowe reguły zbierania danych w usłudze Azure Monitor
• Znajdowanie łącznika danych Microsoft Sentinel