Benutzerdefinierte Datenerfassung und -transformation in Microsoft Sentinel

Artikel
09/26/2023

Log Analytics von Azure Monitor dient als Plattform hinter dem Microsoft Sentinel-Arbeitsbereich. Standardmäßig werden alle in Microsoft Sentinel erfassten Protokolle in Log Analytics gespeichert. Über Microsoft Sentinel können Sie auf die gespeicherten Protokolle zugreifen und KQL-Abfragen (Kusto Query Language) ausführen, um Bedrohungen zu erkennen und Ihre Netzwerkaktivität zu überwachen.

Der benutzerdefinierte Datenerfassungsprozess von Log Analytics bietet Ihnen ein hohes Maß an Kontrolle darüber, welche Daten erfasst werden. Er verwendet Datensammlungsregeln (Data Collection Rules, DCRs), um Ihre Daten zu sammeln und zu bearbeiten, noch bevor sie in Ihrem Arbeitsbereich gespeichert werden. Dadurch können Sie Standardtabellen filtern und anreichern und hochgradig anpassbare Tabellen zum Speichern von Daten aus Quellen erstellen, die eindeutige Protokollformate erzeugen.

Microsoft Sentinel bietet Ihnen zwei Tools, um diesen Prozess zu steuern:

Mit der Protokollerfassungs-API können Sie Protokolle in benutzerdefiniertem Format aus einer beliebigen Datenquelle an Ihren Log Analytics-Arbeitsbereich senden und diese Protokolle entweder in bestimmten spezifischen Standardtabellen oder in benutzerdefiniert formatierten Tabellen speichern, die Sie erstellen. Sie haben vollständige Kontrolle über die Erstellung dieser benutzerdefinierten Tabellen bis hin zur Angabe der Spaltennamen und -typen. Sie erstellen Datensammlungsregeln (Data Collection Rules, DCRs), um Transformationen für diese Datenflüsse zu definieren, zu konfigurieren und darauf anzuwenden.
Die Datenerfassungstransformation verwendet DCRs, um grundlegende KQL-Abfragen auf eingehende Standardprotokolle (und bestimmte Typen benutzerdefinierter Protokolle) anzuwenden, bevor sie in Ihrem Arbeitsbereich gespeichert werden. Diese Transformationen können irrelevante Daten herausfiltern, vorhandene Daten mit Analysen oder externen Daten anreichern oder vertrauliche oder personenbezogene Informationen maskieren.

Diese beiden Tools werden unten ausführlicher erläutert.

Anwendungsfälle und Beispielszenarien

Filterung

Die Transformation zur Erfassungszeit bietet Ihnen die Möglichkeit, irrelevante Daten herauszufiltern, noch bevor sie zum ersten Mal in Ihrem Arbeitsbereich gespeichert werden.

Sie können auf Datensatzebene (Zeilenebene) filtern, indem Sie Kriterien dafür angeben, welche Datensätze eingeschlossen werden sollen, oder auf Feldebene (Spaltenebene), indem Sie den Inhalt für bestimmte Felder entfernen. Das Herausfiltern irrelevanter Daten kann:

Helfen, Kosten zu senken, wenn Sie die Speicheranforderungen verringern.
Die Leistung verbessern, da weniger Anpassungen zur Abfragezeit erforderlich sind.

Die Datentransformation zur Erfassungszeit unterstützt Szenarien mit mehreren Arbeitsbereichen.

Normalisierung

Mit der Erfassungszeittransformation können Sie auch Protokolle normalisieren, wenn sie in integrierten oder kundenspezifischen, normalisierten ASIM-Tabellen erfasst werden. Die Erfassungszeitnormalisierung verbessert die Leistung normalisierter Abfragen.

Weitere Informationen zur Erfassungszeitnormalisierung mithilfe von Transformationen finden Sie im Artikel zur Erfassungszeitnormalisierung.

Anreicherung und Tagging

Mit der Transformation zur Erfassungszeit können Sie auch Analysen verbessern, indem Sie Ihre Daten mit zusätzlichen Spalten anreichern, die der konfigurierten KQL-Transformation hinzugefügt wurden. Zusätzliche Spalten können analysierte oder berechnete Daten aus vorhandenen Spalten oder Daten aus Datenstrukturen umfassen, die direkt erstellt werden.

Beispielsweise können Sie zusätzliche Informationen hinzufügen, z. B. externe Personalwesendaten, eine erweiterte Ereignisbeschreibung oder Klassifizierungen, die vom Benutzer, Standort oder Aktivitätstyp abhängen.

Maskierung

Transformationen zur Erfassungszeit können auch verwendet werden, um personenbezogene Informationen zu maskieren oder zu entfernen. Beispielsweise können Sie die Datentransformation verwenden, um alle bis auf die letzten Ziffern einer Sozialversicherungsnummer oder Kreditkartennummer zu maskieren, oder Sie könnten andere Arten von personenbezogenen Daten durch unsinnige, Standardtext- oder Dummydaten ersetzen. Maskieren Sie Ihre personenbezogenen Informationen zur Erfassungszeit, um die Sicherheit in Ihrem Netzwerk zu erhöhen.

Datenerfassungsfluss in Microsoft Sentinel

Die folgende Abbildung zeigt, wo die Datentransformation zur Erfassungszeit in den Datenerfassungsfluss in Microsoft Sentinel eintritt.

Microsoft Sentinel sammelt Daten aus mehreren Quellen im Log Analytics-Arbeitsbereich.

Daten von integrierten Datenconnectors werden in Log Analytics mithilfe einer Kombination aus hartcodierten Workflows und Erfassungszeittransformationen in der Datensammlungsregel (DCR) des Arbeitsbereichs verarbeitet. Diese Daten können in Standardtabellen oder in einer bestimmten Gruppe von benutzerdefinierten Tabellen gespeichert werden.
Daten, die direkt im Protokollerfassungs-API-Endpunkt erfasst werden, werden von einem Standard-DCR verarbeitet, der eine Erfassungszeittransformation enthalten kann. Diese Daten können dann entweder in Standardtabellen oder beliebigen benutzerdefinierten Tabellen gespeichert werden.

Diagram of the Microsoft Sentinel data transformation architecture.

DCR-Unterstützung in Microsoft Sentinel

In Log Analytics bestimmen Datensammlungsregeln (Data Collection Rules, DCRs) den Datenfluss für verschiedene Eingabestreams. Ein Datenfluss umfasst: den zu transformierende Datenstrom (Standard oder benutzerdefiniert), den Zielarbeitsbereich, die KQL-Transformation und die Ausgabetabelle. Bei Standardeingabestreams ist die Ausgabetabelle mit dem Eingabestream identisch.

Die Unterstützung für DCRs in Microsoft Sentinel umfasst Folgendes:

Standard-DCRs, die derzeit nur für AMA-basierte Connectors und Workflows unterstützt werden, die die neue Protokollerfassungs-API verwenden.

Jeder Connector- oder Protokollquellworkflow kann über eine eigene dedizierte Standard-DCR verfügen, obwohl mehrere Connectors oder Quellen auch eine gemeinsame Standard-DCR verwenden können.
Arbeitsbereichstransformations-DCRs für Workflows, die derzeit keine Standard-DCRs unterstützen.

Eine einzelne Arbeitsbereichstransformations-DCR bedient alle unterstützten Workflows in einem Arbeitsbereich, die nicht von Standard-DCRs versorgt werden. Ein Arbeitsbereich kann nur über eine Arbeitsbereichstransformations-DCR verfügen, aber diese DCR enthält separate Transformationen für jeden Eingabestream. Außerdem werden Arbeitsbereichstransformations-DCRs nur für eine bestimmte Gruppe von Tabellen unterstützt.

Die Unterstützung von Microsoft Sentinel für die Transformation zur Erfassungszeit hängt vom Typ des Datenconnectors ab, den Sie verwenden. Ausführlichere Informationen zu benutzerdefinierten Protokollen, Transformationen zur Erfassungszeit und Datensammlungsregeln (DCRs) finden Sie in den Artikeln, die im Abschnitt Nächste Schritte am Ende dieses Artikels verknüpft sind.

DCR-Unterstützung für Microsoft Sentinel-Datenconnectors

In der folgenden Tabelle wird die DCR-Unterstützung für Microsoft Sentinel-Datenconnectortypen beschrieben:

Datenconnectortyp	DCR-Unterstützung
Direkte Erfassung mittels Protokollerfassungs-API	Standard-DCRs
AMA-Standardprotokolle, z. B.: Windows-Sicherheitsereignisse über AMA Weitergeleitete Windows-Ereignisse CEF-Daten Syslog-Daten	Standard-DCRs
MMA-Standardprotokolle, z. B. Syslog-Daten CommonSecurityLog	Arbeitsbereichstransformations-DCRs
Auf Diagnoseeinstellungen basierende Verbindungen	Arbeitsbereichstransformations-DCRs basierend auf den unterstützten Ausgabetabellen für bestimmte Datenconnectors
Integrierte Dienst-zu-Dienst-Datenconnectors, z. B.: Microsoft Office 365 Microsoft Entra ID Amazon S3	Arbeitsbereichstransformations-DCRs basierend auf den unterstützten Ausgabetabellen für bestimmte Datenconnectors
Integrierter API-basierter Datenconnector, z. B.: Codelose Datenconnectors	Standard-DCRs
Integrierte API-basierte Datenconnectors, z. B.: Legacy-Codelose Datenconnectors Azure Functions-basierte Datenconnectors	Derzeit nicht unterstützt

Datentransformationsunterstützung für benutzerdefinierte Datenconnectors

Wenn Sie benutzerdefinierte Datenconnectors für Microsoft Sentinel erstellt haben, können Sie DCRs verwenden, um zu konfigurieren, wie die Daten analysiert und in Log Analytics in Ihrem Arbeitsbereich gespeichert werden.

Derzeit werden nur die folgenden Tabellen für die benutzerdefinierte Protokollerfassung unterstützt:

Weitere Informationen finden Sie in Tabellen, die Aufnahmezeittransformationen unterstützen.

Begrenzungen

Die Datentransformation zur Erfassungszeit weist derzeit die folgenden bekannten Probleme für Microsoft Sentinel-Datenconnectors auf:

Datentransformationen, die Arbeitsbereichstransformations-DCRs verwenden, werden nur pro Tabelle unterstützt, nicht pro Connector.

Es kann nur eine Arbeitsbereichstransformations-DCR für einen gesamten Arbeitsbereich geben. Innerhalb dieser DCR kann jede Tabelle einen separaten Eingabestream mit eigener Transformation verwenden. Wenn Sie jedoch über zwei verschiedene MMA-basierte Datenconnectors verfügen, die Daten an die Syslog-Tabelle senden, müssen beide dieselbe Eingabestreamkonfiguration in der DCR verwenden. Das Aufteilen von Daten auf mehrere Ziele (Log Analytics-Arbeitsbereiche) mit einer Arbeitsbereichstransformations-DCR ist nicht möglich.
Die folgenden Konfigurationen werden nur über API unterstützt:
- Standard-DCRs für AMA-basierte Connectors wie Windows-Sicherheitsereignisse und Weitergeleitete Windows-Ereignisse.
- Standard-DCRs für die benutzerdefinierte Protokollerfassung in einer Standardtabelle.
Es kann bis zu 60 Minuten dauern, bis die Datentransformationskonfigurationen angewendet werden.
KQL-Syntax: Nicht alle Operatoren werden unterstützt. Weitere Informationen finden Sie unter KQL-Einschränkungen und Unterstützte KQL-Features in der Azure Monitor-Dokumentation.
Sie können Protokolle nur von einer bestimmten Datenquelle an einen einzelnen Arbeitsbereich senden. Um Daten aus einer einzelnen Datenquelle an mehrere Arbeitsbereiche (Ziele) mit einer Standard-DCR zu senden, erstellen Sie eine DCR pro Arbeitsbereich.

Nächste Schritte

Erste Schritte beim Konfigurieren der Datentransformation zur Erfassungszeit in Microsoft Sentinel.

Erfahren Sie mehr über Microsoft Sentinel-Datenconnectortypen. Weitere Informationen finden Sie unter:

Ausführlichere Informationen zur Transformation zur Erfassungszeit, zur API für benutzerdefinierte Protokolle und zu Datensammlungsregeln finden Sie in den folgenden Artikeln in der Azure Monitor-Dokumentation:

Teilen über