To rozwiązanie przechowuje dzienniki zabezpieczeń w usłudze Azure Data Explorer na dłuższą metę. To rozwiązanie minimalizuje koszty i zapewnia łatwy dostęp w przypadku konieczności wykonywania zapytań dotyczących danych.
Grafana i Jupyter Notebook są znakami towarowymi odpowiednich firm. Użycie tych znaków nie jest dorozumiane.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
W przypadku rozwiązań SIEM i SOAR przedsiębiorstwo używa usług Sentinel i Defender for Endpoint.
Usługa Defender for Endpoint używa natywnych funkcji do eksportowania danych do Azure Event Hubs i usługi Azure Data Lake. Usługa Sentinel pozysuje dane usługi Defender for Endpoint w celu monitorowania urządzeń.
Usługa Sentinel używa usługi Log Analytics jako platformy danych do eksportowania danych do usług Event Hubs i Azure Data Lake.
Usługa Azure Data Explorer używa łączników dla usługi Event Hubs, Azure Blob Storage i Azure Data Lake Storage w celu pozyskiwania danych z małymi opóźnieniami i wysoką przepływnością. W tym procesie jest używana Azure Event Grid, która wyzwala potok pozyskiwania Data Explorer platformy Azure.
W razie potrzeby usługa Azure Data Explorer stale eksportuje dzienniki zabezpieczeń do usługi Azure Storage. Te dzienniki są w formacie skompresowanym, podzielonym na partycje Parquet i są gotowe do odpytowania.
Aby spełnić wymagania prawne, usługa Azure Data Explorer eksportuje wstępnie zagregowane dane do Data Lake Storage na potrzeby archiwizacji.
Usługi Log Analytics i Sentinel obsługują zapytania między usługami za pomocą usługi Azure Data Explorer. Analitycy SOC korzystają z tej funkcji, aby uruchomić pełne badania dotyczące danych zabezpieczeń.
Usługa Azure Data Explorer zapewnia natywne możliwości przetwarzania, agregowania i analizowania danych.
Różne narzędzia udostępniają pulpity nawigacyjne analizy niemal w czasie rzeczywistym, które szybko dostarczają szczegółowe informacje:
Składniki
Usługa Defender for Endpoint chroni organizacje przed zagrożeniami między urządzeniami, tożsamościami, aplikacjami, pocztą e-mail, danymi i obciążeniami w chmurze.
Sentinel to natywne dla chmury rozwiązanie SIEM i SOAR. Korzysta z zaawansowanej sztucznej inteligencji i analizy zabezpieczeń do wykrywania, wyszukiwania, zapobiegania zagrożeniom i reagowania na nie w przedsiębiorstwach.
Monitor to rozwiązanie oprogramowania jako usługi (SaaS), które zbiera i analizuje dane w środowiskach i zasobach platformy Azure. Te dane obejmują dane telemetryczne aplikacji, takie jak metryki wydajności i dzienniki aktywności. Monitor oferuje również funkcje alertów.
Log Analytics to usługa Monitor, której można użyć do wykonywania zapytań i inspekcji danych dziennika monitora. Usługa Log Analytics udostępnia również funkcje do tworzenia wykresów i statystycznego analizowania wyników zapytań.
Event Hubs to w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym, która jest prosta i skalowalna.
Data Lake Storage to skalowalne repozytorium magazynu, które przechowuje dużą ilość danych w natywnym, nieprzetworzonym formacie danych. Usługa Data Lake jest oparta na usłudze Blob Storage i udostępnia funkcje przechowywania i przetwarzania danych.
Usługa Azure Data Explorer to szybka, w pełni zarządzana i wysoce skalowalna platforma analizy danych. Tej usługi w chmurze można używać do analizy w czasie rzeczywistym na dużych ilościach danych. Usługa Azure Data Explorer jest zoptymalizowana pod kątem interakcyjnych zapytań ad hoc. Może obsługiwać różne strumienie danych z aplikacji, witryn internetowych, urządzeń IoT i innych źródeł.
Pulpity nawigacyjne usługi Azure Data Explorer natywnie importować dane z zapytań internetowego interfejsu użytkownika usługi Azure Data Explorer. Te zoptymalizowane pulpity nawigacyjne umożliwiają wyświetlanie i eksplorowanie wyników zapytań.
Alternatywy
Zamiast używać usługi Azure Data Explorer do długoterminowego przechowywania dzienników zabezpieczeń, możesz użyć usługi Storage. Takie podejście upraszcza architekturę i może pomóc w kontrolowaniu kosztów. Wadą jest konieczność ponownego wypełniania dzienników inspekcji zabezpieczeń i interakcyjnych zapytań śledczych. Dzięki usłudze Azure Data Explorer można przenosić dane z zimnej partycji do gorącej partycji, zmieniając zasady. Ta funkcja przyspiesza eksplorację danych.
Inną opcją tego rozwiązania jest wysłanie wszystkich danych, niezależnie od ich wartości zabezpieczeń, do usług Sentinel i Azure Data Explorer w tym samym czasie. Niektóre wyniki duplikowania, ale oszczędności mogą być znaczące. Ponieważ usługa Azure Data Explorer zapewnia długoterminowe przechowywanie, możesz zmniejszyć koszty przechowywania usługi Sentinel przy użyciu tego podejścia.
Usługa Log Analytics nie obsługuje obecnie eksportowania niestandardowych tabel dzienników. W tym scenariuszu możesz użyć usługi Azure Logic Apps do eksportowania danych z obszarów roboczych usługi Log Analytics. Aby uzyskać więcej informacji, zobacz Archiwizowanie danych z obszaru roboczego usługi Log Analytics do usługi Azure Storage przy użyciu usługi Logic Apps.
Szczegóły scenariusza
Dzienniki zabezpieczeń są przydatne do identyfikowania zagrożeń i śledzenia nieautoryzowanych prób uzyskania dostępu do danych. Ataki zabezpieczeń mogą rozpocząć się na dobre przed ich odnalezieniem. W związku z tym posiadanie dostępu do długoterminowych dzienników zabezpieczeń jest ważne. Wykonywanie zapytań dotyczących dzienników długoterminowych ma kluczowe znaczenie dla identyfikowania wpływu zagrożeń i badania rozprzestrzeniania się nielegalnych prób dostępu.
W tym artykule opisano rozwiązanie dotyczące długoterminowego przechowywania dzienników zabezpieczeń. Podstawą architektury jest usługa Azure Data Explorer. Ta usługa zapewnia magazyn danych zabezpieczeń przy minimalnym koszcie, ale przechowuje te dane w formacie, który można wykonywać zapytania. Inne główne składniki to:
Ochrona punktu końcowego w usłudze Microsoft Defender i Microsoft Sentinel, aby uzyskać następujące możliwości:
- Kompleksowe zabezpieczenia punktu końcowego
- Zarządzanie informacjami o zabezpieczeniach i zdarzeniami (SIEM)
- Automatyczna odpowiedź orkiestracji zabezpieczeń (SOAR)
Usługa Log Analytics do przechowywania krótkoterminowego dzienników zabezpieczeń usługi Sentinel.
Potencjalne przypadki użycia
To rozwiązanie dotyczy różnych scenariuszy. W szczególności analitycy centrum operacji zabezpieczeń (SOC) mogą używać tego rozwiązania dla:
- Badania na pełną skalę.
- Analiza kryminalistyczna.
- Wyszukiwanie zagrożeń.
- Inspekcje zabezpieczeń.
Klient zeznaje na potrzeby rozwiązania: "Wdrożyliśmy klaster usługi Azure Data Explorer prawie rok temu. W ostatnim rozwiązaniu Solorigate danych użyliśmy klastra usługi Azure Data Explorer do analizy śledczej. Zespół Microsoft Dart użył również klastra usługi Azure Data Explorer do ukończenia badania. Długoterminowe przechowywanie danych zabezpieczeń ma kluczowe znaczenie dla badań danych na pełną skalę.
Stos monitorowania
Na poniższym diagramie przedstawiono stos monitorowania platformy Azure:
- Usługa Sentinel używa obszaru roboczego usługi Log Analytics do przechowywania dzienników zabezpieczeń i dostarczania rozwiązań SIEM i SOAR.
- Monitor śledzi stan zasobów IT i wysyła alerty w razie potrzeby.
- Usługa Azure Data Explorer udostępnia podstawową platformę danych, która przechowuje dzienniki zabezpieczeń dla obszarów roboczych usługi Log Analytics, Monitor i Sentinel.
Główne funkcje
Główne funkcje rozwiązania oferują wiele korzyści, jak wyjaśniono w poniższych sekcjach.
Długoterminowy magazyn danych z możliwością wykonywania zapytań
Usługa Azure Data Explorer indeksuje dane podczas procesu przechowywania, dzięki czemu dane są dostępne dla zapytań. Jeśli musisz skupić się na uruchamianiu inspekcji i badaniach, nie ma potrzeby przetwarzania danych. Wykonywanie zapytań dotyczących danych jest proste.
Analiza kryminalistyczna na pełną skalę
Usługi Azure Data Explorer, Log Analytics i Sentinel obsługują zapytania między usługami. W związku z tym w jednym zapytaniu można odwoływać się do danych przechowywanych w dowolnej z tych usług. Analitycy SOC mogą używać języka zapytań Kusto (KQL) do przeprowadzania badań w pełnym zakresie. Do celów wyszukiwania zagrożeń można również użyć zapytań usługi Azure Data Explorer w usłudze Sentinel. Aby uzyskać więcej informacji, zobacz Co nowego: wyszukiwanie zagrożeń w usłudze Sentinel obsługuje zapytania między zasobami usługi ADX.
Buforowanie danych na żądanie
Usługa Azure Data Explorer obsługuje buforowanie gorące oparte na oknach. Ta funkcja umożliwia przenoszenie danych z wybranego okresu do gorącej pamięci podręcznej. Następnie możesz uruchamiać szybkie zapytania dotyczące danych, co sprawia, że badania są bardziej wydajne. W tym celu może być konieczne dodanie węzłów obliczeniowych do gorącej pamięci podręcznej. Po zakończeniu badania można zmienić zasady gorącej pamięci podręcznej, aby przenieść dane do zimnej partycji. Klaster można również przywrócić do oryginalnego rozmiaru.
Ciągłe eksportowanie do danych archiwum
Aby spełnić wymagania prawne, niektóre przedsiębiorstwa muszą przechowywać dzienniki zabezpieczeń przez nieograniczony czas. Usługa Azure Data Explorer obsługuje ciągłe eksportowanie danych. Za pomocą tej funkcji można utworzyć warstwę archiwizacji, przechowując dzienniki zabezpieczeń w usłudze Storage.
Sprawdzony język zapytań
Język zapytań Kusto jest natywny dla usługi Azure Data Explorer. Ten język jest również dostępny w obszarach roboczych usługi Log Analytics i środowiskach wyszukiwania zagrożeń usługi Sentinel. Ta dostępność znacznie zmniejsza krzywą szkoleniową analityków SOC. Zapytania uruchamiane w usłudze Sentinel działają również na danych przechowywanych w klastrach usługi Azure Data Explorer.
Zagadnienia do rozważenia
Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem podstawowych zestawów, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Podczas implementowania tego rozwiązania należy pamiętać o następujących kwestiach.
Skalowalność
Rozważ następujące problemy ze skalowalnością:
Metoda eksportu danych
Jeśli musisz wyeksportować dużą ilość danych z usługi Log Analytics, możesz osiągnąć limity pojemności usługi Event Hubs. Aby uniknąć tej sytuacji:
- Eksportowanie danych z usługi Log Analytics do usługi Blob Storage.
- Użyj obciążeń Azure Data Factory, aby okresowo eksportować dane do usługi Azure Data Explorer.
Za pomocą tej metody można kopiować dane z usługi Data Factory tylko wtedy, gdy dane zbliżają się do limitu przechowywania w usłudze Sentinel lub Log Analytics. W rezultacie unikasz duplikowania danych. Aby uzyskać więcej informacji, zobacz Eksportowanie danych z usługi Log Analytics do usługi Azure Data Explorer.
Przygotowywanie zapytań dotyczących użycia i inspekcji
Ogólnie rzecz biorąc, dane są przechowywane w zimnej pamięci podręcznej w klastrze usługi Azure Data Explorer. Takie podejście minimalizuje koszt klastra i jest wystarczająca dla większości zapytań, które obejmują dane z poprzednich miesięcy. Jednak podczas wykonywania zapytań dotyczących dużych zakresów danych może być konieczne skalowanie klastra w poziomie i załadowanie danych do gorącej pamięci podręcznej.
W tym celu można użyć funkcji gorącego okna zasad gorącej pamięci podręcznej. Tę funkcję można również użyć podczas inspekcji danych długoterminowych. W przypadku korzystania z okna gorącego może być konieczne skalowanie klastra w górę lub w poziomie, aby zwolnić miejsce na więcej danych w gorącej pamięci podręcznej. Po zakończeniu wykonywania zapytań dotyczących dużego zakresu danych zmień zasady gorącej pamięci podręcznej, aby zmniejszyć koszt przetwarzania.
Włączenie zoptymalizowanej funkcji autoskalowania w klastrze usługi Azure Data Explorer pozwala zoptymalizować rozmiar klastra na podstawie zasad buforowania. Aby uzyskać więcej informacji na temat wykonywania zapytań dotyczących zimnych danych w usłudze Azure Data Explorer, zobacz Wykonywanie zapytań dotyczących zimnych danych przy użyciu gorących okien.
Efektywność wydajności
Efektywność wydajności to możliwość skalowania obciążenia w celu zaspokojenia zapotrzebowania użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Omówienie filaru wydajności.
Jeśli musisz przechowywać dane zabezpieczeń przez długi czas lub przez nieograniczony okres, wyeksportuj dzienniki do usługi Storage. Usługa Azure Data Explorer obsługuje ciągłe eksportowanie danych. Za pomocą tej funkcji można eksportować dane do usługi Storage w skompresowanym formacie Parquet podzielonym na partycje. Następnie możesz bezproblemowo wykonywać zapytania dotyczące tych danych. Aby uzyskać więcej informacji, zobacz Ciągłe eksportowanie danych — omówienie.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.
Koszt klastra usługi Azure Data Explorer jest oparty głównie na mocy obliczeniowej używanej do przechowywania danych w gorącej pamięci podręcznej. Zapytania dotyczące danych gorącej pamięci podręcznej zapewniają lepszą wydajność zapytań zimnej pamięci podręcznej. To rozwiązanie przechowuje większość danych w zimnej pamięci podręcznej, minimalizując koszt przetwarzania.
Aby zapoznać się z kosztem uruchamiania tego rozwiązania w twoim środowisku, skorzystaj z kalkulatora cen platformy Azure.
Wdrażanie tego scenariusza
Aby zautomatyzować wdrażanie, użyj tego skryptu programu PowerShell. Ten skrypt tworzy następujące składniki:
- Tabela docelowa
- Nieprzetworzona tabela
- Mapowanie tabeli definiujące sposób, w jaki usługa Event Hubs rejestruje ziemię w nieprzetworzonej tabeli
- Zasady przechowywania i aktualizacji
- Przestrzenie nazw usługi Event Hubs
- Reguły eksportowania danych w obszarze roboczym usługi Log Analytics
- Połączenie danych między usługą Event Hubs a tabelą danych pierwotnych platformy Azure Data Explorer
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Deepak Agrawal | Menedżer produktu
Aby wyświetlić niepubliowe profile usługi LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
- Integrowanie usługi Azure Data Explorer na potrzeby długoterminowego przechowywania dzienników
- Przenoszenie dzienników usługi Microsoft Sentinel do usługi Long-Term Storage z łatwością
- Wykonywanie zapytań między zasobami w usłudze Azure Data Explorer przy użyciu usługi Azure Monitor
- INSTRUKCJE: Konfigurowanie eksportu danych usługi Microsoft Sentinel dla długoterminowego magazynu
- Korzystanie z usługi Azure Data Explorer na potrzeby długoterminowego przechowywania dzienników usługi Microsoft Sentinel
- Co nowego: Wyszukiwanie zagrożeń w usłudze Microsoft Sentinel obsługuje zapytania między zasobami USŁUGI ADX
- Jak przesyłać strumieniowo dzienniki wyszukiwania Microsoft Defender ATP w usłudze Azure Data Explorer
- Seria blogów: nieograniczone zaawansowane wyszukiwanie zagrożeń za pomocą usługi Azure Data Explorer (ADX)