Korzystanie z własnego uczenia maszynowego w usłudze Microsoft Sentinel

Uwaga

Aby uzyskać informacje na temat dostępności funkcji w chmurach dla instytucji rządowych USA, zobacz tabele usługi Microsoft Sentinel w temacie Dostępność funkcji w chmurze dla klientów rządowych USA.

Uczenie maszynowe (ML) jest jedną z głównych podstaw usługi Microsoft Sentinel i jednym z głównych atrybutów, które je odróżniają. Usługa Microsoft Sentinel oferuje uczenie maszynowe w kilku środowiskach: wbudowane w aparat korelacji fusion i notesy Jupyter oraz nowo dostępną platformę Build-Your-Own ML (BYO ML).

Modele wykrywania uczenia maszynowego mogą dostosowywać się do poszczególnych środowisk i do zmian w zachowaniu użytkowników, aby zmniejszyć liczbę wyników fałszywie dodatnich i zidentyfikować zagrożenia, które nie zostaną znalezione przy użyciu tradycyjnego podejścia. Wiele organizacji ds. zabezpieczeń rozumie wartość uczenia maszynowego dla bezpieczeństwa, choć nie wielu z nich ma luksus specjalistów, którzy mają wiedzę zarówno w zakresie zabezpieczeń, jak i uczenia maszynowego. Zaprojektowaliśmy tutaj strukturę dla organizacji zabezpieczeń i specjalistów, aby rozwijać się z nami w ich podróży uczenia maszynowego. Organizacje nowe w uczeniu maszynowym lub bez niezbędnej wiedzy mogą uzyskać znaczącą wartość ochrony z wbudowanych funkcji uczenia maszynowego usługi Microsoft Sentinel.

Jaka jest platforma BYO-ML (Bring Your Own Machine Learning)?

W przypadku organizacji, które mają zasoby uczenia maszynowego i chcą tworzyć dostosowane modele uczenia maszynowego dla swoich unikatowych potrzeb biznesowych, oferujemy platformę BYO-ML. Platforma korzysta ze środowiska ApacheSparkusługi Azure Databricks/ i notesów Jupyter Notebook do tworzenia środowiska uczenia maszynowego. Udostępnia on następujące składniki:

• Pakiet BYO-ML, który zawiera biblioteki ułatwiające uzyskiwanie dostępu do danych i wypychanie wyników z powrotem do usługi Log Analytics (LA), dzięki czemu można zintegrować wyniki z wykrywaniem, badaniem i wyszukiwaniem zagrożeń.

• Szablony algorytmów uczenia maszynowego służące do dostosowywania do określonych problemów z zabezpieczeniami w organizacji.

• przykładowe notesy do trenowania modelu i planowania oceniania modelu.

Oprócz tego możesz korzystać z własnych modeli uczenia maszynowego i/lub własnego środowiska Spark w celu integracji z usługą Microsoft Sentinel.

Dzięki platformie BYO-ML możesz rozpocząć tworzenie własnych modeli uczenia maszynowego:

• Notes z przykładowymi danymi ułatwia kompleksowe środowisko pracy bez obaw o obsługę danych produkcyjnych.

• Pakiet zintegrowany ze środowiskiem Spark zmniejsza wyzwania i problemy związane z zarządzaniem infrastrukturą.

• Biblioteki obsługują przenoszenie danych. Notesy szkoleniowe i oceniania przedstawiają kompleksowe środowisko pracy i służą jako szablon umożliwiający dostosowanie środowiska do środowiska.

Przypadki zastosowań

Platforma I pakiet BYO-ML znacznie skraca czas i nakład pracy potrzebny do utworzenia własnych wykryć uczenia maszynowego i uwolnią możliwość rozwiązywania określonych problemów z zabezpieczeniami w usłudze Microsoft Sentinel. Platforma obsługuje następujące przypadki użycia:

Trenowanie algorytmu uczenia maszynowego w celu uzyskania dostosowanego modelu: Możesz podjąć istniejący algorytm uczenia maszynowego (udostępniony przez firmę Microsoft lub przez społeczność użytkowników) i łatwo wytrenować go na własnych danych, aby uzyskać dostosowany model uczenia maszynowego, który lepiej pasuje do Twoich danych i środowiska.

Zmodyfikuj szablon algorytmu uczenia maszynowego, aby uzyskać dostosowany model: Możesz zmodyfikować szablon algorytmu uczenia maszynowego (udostępniony przez firmę Microsoft lub przez społeczność użytkowników) i wytrenować zmodyfikowany algorytm na własnych danych, aby utworzyć dostosowany model dopasowany do konkretnego problemu.

Utwórz własny model: Utwórz własny model od podstaw przy użyciu platformy i narzędzi BYO ML usługi Microsoft Sentinel.

Zintegruj swoje środowisko Databricks/Spark: Zintegruj istniejące środowisko usługi Databricks/Spark z usługą Microsoft Sentinel i użyj bibliotek i szablonów BYO-ML do tworzenia modeli uczenia maszynowego w unikatowych sytuacjach.

Zaimportuj własny model uczenia maszynowego: Możesz zaimportować własne modele uczenia maszynowego i użyć platformy BYO-ML oraz narzędzi, aby zintegrować je z usługą Microsoft Sentinel.

Udostępnianie algorytmu uczenia maszynowego: Podziel się algorytmem uczenia maszynowego dla społeczności w celu przyjęcia i dostosowania.

Użyj uczenia maszynowego, aby zwiększyć możliwości metodyki SecOps: użyj własnego niestandardowego modelu uczenia maszynowego i wyników na potrzeby wyszukiwania zagrożeń, wykrywania, badania i odpowiedzi.

W tym artykule przedstawiono składniki platformy BYO-ML oraz sposób wykorzystania platformy i algorytmu dostępu do nietypowych zasobów w celu zapewnienia dostosowanego wykrywania uczenia maszynowego za pomocą usługi Microsoft Sentinel.

Azure Databricks/Spark Environment

Platforma Apache Spark poczyniła krok naprzód w upraszczaniu danych big data, zapewniając ujednoliconą strukturę do tworzenia potoków danych. Usługa Azure Databricks przenosi to dalej, zapewniając platformę w chmurze bez zarządzania utworzoną wokół platformy Spark. Zalecamy używanie usługi Databricks dla platformy BYO-ML, aby skoncentrować się na znajdowaniu odpowiedzi, które mają natychmiastowy wpływ na twoją firmę, zamiast rozwiązywać problemy z potokami danych i platformami.

Jeśli masz już usługę Databricks lub inne środowisko Platformy Spark i preferujesz korzystanie z istniejącej konfiguracji, pakiet BYO-ML będzie również działać prawidłowo.

Pakiet BYO-ML

Pakiet BYO ML zawiera najlepsze rozwiązania i badania firmy Microsoft na frontonie uczenia maszynowego na potrzeby zabezpieczeń. W tym pakiecie udostępniamy następującą listę narzędzi, notesów i szablonów algorytmów na potrzeby problemów z zabezpieczeniami.

Nazwa pliku	Opis
azure_sentinel_utilities.whl	Zawiera narzędzia do odczytywania obiektów blob z platformy Azure i zapisywania ich w usłudze Log Analytics.
AnomalousRASampleData	Notes demonstruje użycie nietypowego modelu dostępu do zasobów w usłudze Microsoft Sentinel z wygenerowanymi danymi szkoleniowymi i testowymi przykładowymi.
AnomalousRATraining.ipynb	Notes do trenowania algorytmu, kompilowania i zapisywania modeli.
AnomalousRAScoring.ipynb	Notes, aby zaplanować uruchamianie modelu, zwizualizować wynik i zapisać wynik z powrotem do usługi Microsoft Sentinel.

Pierwszy szablon algorytmu uczenia maszynowego, który oferujemy, jest przeznaczony do wykrywania nietypowego dostępu do zasobów. Jest on oparty na algorytmie filtrowania współpracy i jest trenowany za pomocą dzienników dostępu do udziału plików systemu Windows (zdarzenia zabezpieczeń o identyfikatorze zdarzenia 5140). Kluczowe informacje potrzebne dla tego modelu w dzienniku to parowanie użytkowników i zasobów, do których uzyskuje się dostęp.

Przykładowy przewodnik: nietypowe wykrywanie dostępu do udziału plików

Teraz, gdy znasz najważniejsze składniki platformy BYO-ML, oto przykład pokazujący, jak używać platformy i składników do dostarczania dostosowanego wykrywania uczenia maszynowego.

Konfigurowanie środowiska Databricks/Spark

Jeśli jeszcze go nie masz, musisz skonfigurować własne środowisko usługi Databricks. Aby uzyskać instrukcje, zapoznaj się z dokumentem Szybki start usługi Databricks .

Instrukcja autoeksportuj

Aby tworzyć niestandardowe modele uczenia maszynowego na podstawie własnych danych w usłudze Microsoft Sentinel, należy wyeksportować dane z usługi Log Analytics do magazynu obiektów blob lub zasobu centrum zdarzeń, aby model uczenia maszynowego mógł uzyskać do niego dostęp z usługi Databricks. Dowiedz się, jak pozyskiwać dane do usługi Microsoft Sentinel.

W tym przykładzie musisz mieć dane szkoleniowe dotyczące dziennika dostępu do udziału plików w usłudze Azure Blob Storage. Format danych jest udokumentowany w notesie i bibliotekach.

Możesz automatycznie wyeksportować dane z usługi Log Analytics przy użyciu interfejsu wiersza polecenia platformy Azure.

Aby uruchamiać polecenia, musisz mieć przypisaną rolę Współautor w obszarze roboczym usługi Log Analytics, koncie magazynu i zasobie usługi EventHub.

Oto przykładowy zestaw poleceń do konfigurowania automatycznego eksportowania:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Eksportowanie danych niestandardowych

W przypadku danych niestandardowych, które nie są obsługiwane przez funkcję automatycznego eksportowania usługi Log Analytics, możesz użyć aplikacji logiki lub innych rozwiązań do przenoszenia danych. Możesz zapoznać się z blogem i skryptem Eksportowanie danych usługi Log Analytics do usługi Blob Store .

Korelowanie z danymi poza usługą Microsoft Sentinel

Możesz również przenieść dane spoza usługi Microsoft Sentinel do magazynu obiektów blob lub centrum zdarzeń i skorelować je z danymi usługi Microsoft Sentinel w celu utworzenia modeli uczenia maszynowego.

Kopiowanie i instalowanie powiązanych pakietów

Skopiuj pakiet BYO-ML z repozytorium GitHub usługi Microsoft Sentinel wymienionego wcześniej do środowiska usługi Databricks. Następnie otwórz notesy i postępuj zgodnie z instrukcjami w notesie, aby zainstalować wymagane biblioteki w klastrach.

Trenowanie i ocenianie modelu

Postępuj zgodnie z instrukcjami w dwóch notesach, aby zmienić konfiguracje zgodnie z własnym środowiskiem i zasobami, wykonaj kroki trenowania i tworzenia modelu, a następnie zaplanuj model, aby ocenić przychodzące dzienniki dostępu do udziału plików.

Zapisywanie wyników w usłudze Log Analytics

Po zaplanowaniu oceniania możesz użyć modułu w notesie oceniania, aby zapisać wyniki oceny w obszarze roboczym usługi Log Analytics skojarzonym z wystąpieniem usługi Microsoft Sentinel.

Sprawdzanie wyników w usłudze Microsoft Sentinel

Aby wyświetlić wyniki uzyskane razem z powiązanymi szczegółami dziennika, wróć do portalu usługi Microsoft Sentinel. W obszarze Dzienniki niestandardowe dzienniki> zostaną wyświetlone wyniki w tabeli AnomalousResourceAccessResult_CL (lub własnej niestandardowej nazwie tabeli). Możesz użyć tych wyników, aby ulepszyć swoje badania i środowiska wyszukiwania zagrożeń.

Tworzenie niestandardowej reguły analizy przy użyciu wyników uczenia maszynowego

Po potwierdzeniu, że wyniki uczenia maszynowego znajdują się w tabeli dzienników niestandardowych i są zadowalające z wiernością wyników, możesz utworzyć wykrywanie na podstawie wyników. Przejdź do obszaru Analiza z portalu usługi Microsoft Sentinel i utwórz nową regułę wykrywania. Poniżej przedstawiono przykład pokazujący zapytanie użyte do utworzenia wykrywania.

Wyświetlanie zdarzeń i reagowanie na nie

Po skonfigurowaniu reguły analizy na podstawie wyników uczenia maszynowego, jeśli w zapytaniu znajdują się wyniki powyżej progu ustawionego w zapytaniu, zdarzenie zostanie wygenerowane i wyświetlone na stronie Incydenty w usłudze Microsoft Sentinel.

Następne kroki

W tym dokumencie przedstawiono sposób używania platformy BYO-ML firmy Microsoft Sentinel do tworzenia lub importowania własnych algorytmów uczenia maszynowego do analizowania danych i wykrywania zagrożeń.

• Zobacz wpisy dotyczące uczenia maszynowego i wiele innych istotnych tematów w blogu usługi Microsoft Sentinel.