Konfigurieren von Big Data-Analyseeinstellungen für Azure Synapse Analytics

Die Integration von Microsoft Sentinel-Notebooks in Azure Synapse Analytics ermöglicht umfangreiche Sicherheitsanalysen.

Während KQL und Log Analytics die primären Tools und Lösungen zum Abfragen und Analysieren von Daten in Microsoft Sentinel sind, bietet Azure Synapse zusätzliche Funktionen für die Big Data-Analyse. Azure Synapse verfügt über integrierten Data Lake-Zugriff und das verteilte Apache Spark-Verarbeitungsmodul.

Die Integration in Azure Synapse bietet Folgendes:

  • Sicherheitsanalyse von Datenmengen mit kostenoptimiertem, vollständig verwaltetem Azure Synapse Apache Spark-Rechenpool.

  • Kostengünstiger Data Lake-Zugriff zum Erstellen von Analysen zu historischen Daten über Azure Data Lake Storage Gen2, was eine Reihe von Funktionen speziell für Analysen von Datenmengen darstellt, die auf Azure Blob Storage aufbauen.

  • Flexibilität zur Integration von Datenquellen aus mehreren Quellen und Formaten in Arbeitsabläufe für Sicherheitsvorgänge.

  • PySpark, eine Python-basierte API zur Verwendung des Spark-Frameworks in Kombination mit Python, sodass Sie keine neue Programmiersprache erlernen müssen, wenn Sie bereits mit Python vertraut sind.

Verwenden Sie beispielsweise Notebooks mit Azure Synapse, um in Netzwerkfirewallprotokollen nach anomalem Verhalten zu suchen und potenzielles Netzwerkbeaconing zu erkennen. Verwenden Sie alternativ Notebooks mit Azure Synapse, um Modelle für maschinelles Lernen auf der Grundlage von Daten zu trainieren und zu erstellen, die über einen Log Analytics-Arbeitsbereich gesammelt wurden.

Wichtig

Die Integration von Microsoft Sentinel-Notebooks mit Azure Synapse Analytics befindet sich derzeit in der VORSCHAU. In den zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen finden Sie weitere rechtliche Bedingungen, die für Azure-Features gelten, die sich in der Beta- oder Vorschauversion befinden oder anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

Voraussetzungen

Es wird empfohlen, dass Sie sich im Allgemeinen mit Microsoft Sentinel-Notebooks vertraut machen, bevor Sie die Prozeduren in diesem Artikel ausführen. Zu Beginn sollten Sie einen Blick auf das Kapitel Jupyter-Notebooks verwenden, um nach Sicherheitsbedrohungen zu suchen sowie das Tutorial: Erste Schritte mit Jupyter-Notebooks und MSTICPy in Microsoft Sentinel werfen.

Um Azure Synapse mit Microsoft Sentinel-Notebooks zu verwenden, müssen Sie über die folgenden Rollen und Berechtigungen verfügen:

type Details
Microsoft Sentinel - Die Rolle Microsoft Sentinel-Mitwirkender zum Speichern und Starten von Notebooks aus Microsoft Sentinel heraus.
Azure Machine Learning - Eine Rolle Inhaber oder Mitwirkender auf Ressourcengruppenebene, um bei Bedarf einen neuen Azure Machine Learning-Arbeitsbereich zu erstellen.
- Eine Rolle Mitwirkender im Azure Machine Learning-Arbeitsbereich, in dem Sie Ihre Microsoft Sentinel-Notebooks ausführen.

Weitere Informationen finden Sie unter Zugriff auf einen Azure Machine Learning-Arbeitsbereich verwalten.
Azure Synapse Analytics - Eine Rolle Besitzer auf Ressourcengruppenebene, um einen neuen Azure Synapse-Arbeitsbereich zu erstellen.
- Eine Rolle Mitwirkender im Azure Synapse-Arbeitsbereich zum Ausführen Ihrer Abfragen.
- Eine Rolle Azure Synapse Analytics-Mitwirkender in Synapse Studio

Weitere Informationen finden Sie unter Informationen zu den Rollen, die zum Ausführen allgemeiner Aufgaben in Synapse erforderlich sind.
Azure Data Lake Storage Gen2 - Eine Rolle Azure Log Analytics-Mitwirkender zum Exportieren von Daten aus einem Log Analytics-Arbeitsbereich
– Eine Rolle Azure Blob Storage-Mitwirkender zum Abfragen von Daten aus einem Data Lake

Weitere Informationen finden Sie unter Zuweisen einer Azure-Rolle.

Herstellen einer Verbindung mit einem Azure Machine Learning-Arbeitsbereich

Um Microsoft Sentinel-Notebooks mit Azure Synapse zu verwenden, müssen Sie zunächst eine Verbindung mit einem Azure Machine Learning-Arbeitsbereich herstellen. Wenn Sie noch nicht verbunden sind, informieren Sie sich unter Erstellen eines Azure Machine Learning-Arbeitsbereichs aus Microsoft Sentinel.

Erstellen eines Azure Synapse-Arbeitsbereichs

Um Microsoft Sentinel-Notebooks mit Azure Synapse zu verwenden, müssen Sie eine Verbindung mit einem Azure Synapse-Arbeitsbereich herstellen.

  1. Wählen Sie in Microsoft Sentinel Notebooks aus.
  2. Wählen Sie oben auf der Seite Notebooks von Microsoft Sentinel die Option Azure Synapse konfigurieren aus.
  3. Wählen Sie Neuen Azure Synapse-Arbeitsbereich erstellen aus.
  4. Wählen Sie eine Data Lake-Instanz aus, die sich in derselben Region wie Ihr Microsoft Sentinel-Arbeitsbereich befindet, oder erstellen Sie sie. Dieser Schritt ist erforderlich, um Ihre Daten zu exportieren. Azure Data Lake Storage Gen2 ist ein integrierter Data Lake, der in jedem Azure Synapse-Arbeitsbereich enthalten ist.

Weitere Informationen finden Sie in der Azure Synapse-Dokumentation.

Ihre Azure Synapse Analytics-Integration konfigurieren

Microsoft Sentinel bietet das integrierte Notebook Azure Synapse – Konfigurieren von Azure ML und Azure Synapse Analytics, das Sie durch die Konfigurationen führt, die für die Integration in Azure Synapse erforderlich sind.

Sie müssen dieses Notebook nur einmal ausführen, um Ihre Azure Synapse-Integration in Ihrem Microsoft Sentinel-Arbeitsbereich zu konfigurieren.

Starten des Notebooks

So führen Sie das Notebook Azure Synapse – Azure ML- und Azure Synapse Analytics konfigurieren aus:

  1. Wählen Sie in Microsoft Sentinel Notebooks aus.

  2. Wählen Sie die Registerkarte Vorlagen aus.

  3. Geben Sie Synapse in die Suchleiste ein, um das Notebook zu finden.

  4. Wählen Sie das Notebook Azure Synapse – Azure ML- und Azure Synapse Analytics konfigurieren aus.

  5. Wählen Sie unten rechts auf der Seite Aus Vorlage erstellen aus.

  6. Ändern Sie im Bereich Notebook klonen den Notebooknamen entsprechend.

  7. Wählen Sie Ihren zuvor erstellten Azure Machine Learning-Arbeitsbereich aus.

  8. Wählen Sie Speichern aus.

  9. Nachdem Ihr Notebook bereitgestellt wurde, wählen Sie Notebook starten, um es zu öffnen.

    Das Notebook wird in Ihrem Azure Machine Learning-Arbeitsbereich in Microsoft Sentinel geöffnet. Weitere Informationen finden Sie unter Starten eines Notebooks in Ihrem Azure Machine Learning-Arbeitsbereich.

Konfigurieren der Integration

So integrieren Sie Azure Machine Learning und Azure Synapse Analytics:

  1. Führen Sie die Zellen in den ersten Schritten des Notebooks aus, um die erforderlichen Python-Bibliotheken und -Funktionen zu laden und sich bei Azure-Ressourcen zu authentifizieren.

  2. Führen Sie die Zellen in Schritt 4, konfigurieren des Azure Synapse Spark-Pools, aus, um einen neuen Azure Synapse Apache Spark-Pool zu erstellen, der beim Ausführen Ihrer Abfragen von Datenmengen verwendet wird.

  3. Führen Sie die Zellen in Schritt 5, Konfigurieren von Azure ML-Arbeitsbereich und verknüpften Diensten aus, um sicherzustellen, dass Ihr Azure Machine Learning-Arbeitsbereich mit Ihrem Azure Synapse-Arbeitsbereich kommunizieren kann. Weitere Informationen finden Sie unter Verknüpfen von Azure Synapse Analytics- und Azure Machine Learning-Arbeitsbereichen und Anfügen von Apache Spark-Pools.

  4. Führen Sie die Zellen in Schritt 6 aus, Daten aus Azure Log Analytics in Azure Data Lake Storage Gen2 exportieren, um Ihre Daten, die Sie für Ihre Abfragen verwenden möchten, aus Azure Log Analytics in Azure Data Lake Storage zu exportieren.

Nachdem sich Ihre Daten im Azure Data Lake Storage befinden, können Sie Abfragen von Datenmengen mit Azure Synapse ausführen. Weitere Informationen finden Sie unter dem Log Analytics-Datenexport in Azure Monitor.

Verwalten Sie Ihre Azure Synapse-Sitzung über Microsoft Sentinel

Wenn Sie sich nicht in einer Azure Synapse-Sitzung befinden, verwendet Microsoft Sentinel standardmäßig den Azure Machine Learning-Compute, der im Feld Compute oben auf der Seite Notebooks ausgewählt ist.

Verwenden Sie den folgenden Code, den Sie von hier aus kopieren können, oder das Notebook Azure Synapse – Potentielles Netzwerkbeaconing mit Apache Spark erkennen, um Ihre Azure Synapse-Sitzung zu starten und zu stoppen.

Starten Sie eine Azure Synapse-Sitzung in Microsoft Sentinel

Führen Sie den folgenden Code aus:

%synapse start -w $amlworkspace -s $subscription_id -r $resource_group -c $synapse_spark_compute

Starten Sie alle nachfolgenden Codezellen mit %%synapse, um die von Ihnen gestartete Synapse-Sitzung zu verwenden.

Beispiel:

%%synapse

# Primary storage info
account_name = '<storage account name>' # fill in your primary account name
container_name = '<container name>' # fill in your container name
subscription_id = '<subscription if>' # fill in your subscription id
resource_group = '<resource group>' # fill in your resource groups for ADLS
workspace_name = '<Microsoft Sentinel/log analytics workspace name>' # fill in your workspace name
device_vendor = "Fortinet"  # Replace your desired network vendor from commonsecuritylogs

# Datetime and lookback parameters
end_date = "<enter date in the format yyyy-MM-dd e.g.2021-09-17>"  # fill in your input date
lookback_days = 21 # fill in lookback days if you want to run it on historical data. make sure you have historical data available in ADLS

Definieren Ihres Datenrückblick-Zeitraums

Die Abfragen von Datenmengen in diesem Beispiel-Notebook können mit Daten ab einem vordefinierten Datum mit dem Parameter end-date oder einem längeren Zeitraum ausgeführt werden.

Beispiel:

  • Wenn Sie an Daten eines bestimmten Datums interessiert sind, geben Sie den 15. November 2021 als aktuelles Datum an. Die Abfrage wird dann nur für Daten ab dem 15. November 2021 ausgeführt.

  • Um einen längeren Zeitraum für Ihre Abfrage zusätzlich zum aktuellen Datum zu definieren, definieren Sie einen Lookback-Parameter. Wenn beispielsweise der Parameter lookback_days auf 21 Tage und der Parameter end_date auf 2021-11-17 gesetzt ist, betrachtet die Abfrage die Daten für die folgenden 21 Tage ab dem 17. November 2021.

Im Notebook Azure Synapse – Potenzielles Netzwerk-Beaconing mit Apache Spark erkennen finden Sie diesen Code im Datenvorbereitungsschritt.

Beispiel:

# Datetime and lookback parameters
end_date = "2021-11-17>"  # fill in your input date
lookback_days = "21" # fill in lookback days if you want to run it on historical data. Make sure you have historical data available in ADLS

Im obigen Beispiel werden die Abfragen für Daten zwischen dem 28. Oktober und dem 17. November 2021 ausgeführt.

Beenden Sie eine Azure Synapse-Sitzung in Microsoft Sentinel

Führen Sie den folgenden Code aus:

%synapse stop

Wechseln von Azure Synapse-Arbeitsbereichen in Microsoft Sentinel

Verwenden Sie eine der folgenden Methoden, um einen anderen Synapse-Arbeitsbereich als den, in dem Sie derzeit angemeldet sind, zu verwalten oder auszuwählen:

  • Wenn Sie bereits einen verknüpften Dienst zwischen Ihrem Azure Machine Learning- und dem neuen Azure Synapse-Arbeitsbereich erstellt haben:

    1. Geben Sie den Namen für den Parameter linkservice in die folgende Codezelle ein, und führen Sie die Zelle und die nachfolgenden Zellen erneut aus:

      amlworkspace = "<workspace name>"  # fill in your Azure Machine Learning workspace name
      subscription_id = "<subscription id>" # fill in your subscription id
      resource_group = '<resource group of workspace>' # fill in your resource groups for your Azure Machine Learning workspace
      linkedservice = '<linked service name>' # fill in your linked service created to connect to synapse workspace
      
    2. Stellen Sie sicher, dass Sie einen Namen des Azure Synapse Spark-Pools angeben, der registriert und an den verknüpften Dienst angehängt wurde:

      synapse_spark_compute = "<synapse spark compute>"
      
  • Wenn Sie noch keinen verknüpften Dienst zwischen Ihren Azure Machine Learning- und Azure Synapse-Arbeitsbereichen haben, stellen Sie sicher, dass Sie das Notebook Azure Synapse – Azure ML und Azure Synapse Analytics konfigurieren ausführen, um den verknüpften Dienst zu konfigurieren, bevor Sie das Azure Synapse – Erkennen von potenziellem Netzwerk-Beaconing mit Apache Spark-Notebook ausführen.

Nächste Schritte

Weitere Informationen finden Sie unter: