Transformationen für die Datensammlung in Azure Monitor
Mit Transformationen in Azure Monitor können Sie eingehende Daten filtern oder ändern, bevor sie an einen Log Analytics-Arbeitsbereich gesendet werden. Dieser Artikel enthält eine grundlegende Beschreibung von Transformationen und wie sie implementiert werden. Es bietet Links zu anderen Inhalten, um eine Transformation zu erstellen.
Transformationen werden in Azure Monitor in der Datenerfassungspipeline durchgeführt, nachdem die Datenquelle die Daten übermittelt hat und bevor sie an das Ziel gesendet werden. Die Datenquelle kann vor dem Senden von Daten eine eigene Filterung durchführen, verlässt sich dann aber bei der weiteren Bearbeitung auf die Transformation, bevor sie an das Ziel gesendet werden.
Transformationen werden in einer Datenerfassungsregel (DCR) definiert und verwenden eine Kusto Query Language (KQL)-Anweisung, die einzeln auf jeden Eintrag in den eingehenden Daten angewendet wird. Sie muss das Format der eingehenden Daten verstehen können und die Ausgabe in der Struktur der Zieltabelle erstellen.
Das folgende Diagramm veranschaulicht den Transformationsprozess für eingehende Daten und zeigt eine Beispielabfrage, die verwendet werden könnte. Weitere Informationen zum Aufbau von Transformationsabfragen finden Sie unter Struktur von Transformationen in Azure Monitor.
Gründe für die Verwendung von Transformationen
In der folgenden Tabelle werden die verschiedenen Ziele beschrieben, die Sie mit Transformationen erreichen können.
| Category | Details |
|---|---|
| Erstellen vertraulicher Daten | Möglicherweise haben Sie eine Datenquelle, die Informationen sendet, die Sie aus Datenschutz- oder Compliance-Gründen nicht speichern möchten. Filtern Sie vertrauliche Informationen. Filtern Sie ganze Zeilen oder bestimmte Spalten heraus, die vertrauliche Informationen enthalten. Verschleiern Sie sensible Informationen. Ersetzen Sie Informationen wie Ziffern in einer IP-Adresse oder Telefonnummer durch ein allgemeines Zeichen. An alternative Tabelle senden. Senden Sie vertrauliche Datensätze an eine alternative Tabelle mit einer anderen rollenbasierten Zugriffssteuerungskonfiguration (RBAC). |
| Reichern Sie Daten mit mehr oder berechneten Informationen an | Verwenden Sie eine Umwandlung, um Informationen zu Daten hinzuzufügen, die den Geschäftskontext bereitstellen oder die spätere Abfrage der Daten vereinfachen. Fügen Sie eine Spalte mit weiteren Informationen hinzu. Beispielsweise könnten Sie eine Spalte hinzufügen, die angibt, ob eine IP-Adresse in einer anderen Spalte intern oder extern ist. Fügen Sie geschäftsspezifische Informationen hinzu. Beispielsweise könnten Sie eine Spalte hinzufügen, die einen Unternehmensbereich basierend auf Standortinformationen in anderen Spalten angibt. |
| Reduzieren der Datenkosten | Da Ihnen für alle Daten, die an einen Log Analytics-Arbeitsbereich gesendet werden, Erfassungskosten in Rechnung gestellt werden, möchten Sie alle Daten herausfiltern, die Sie nicht benötigen, um Ihre Kosten zu senken. Entferne ganze Reihen. Sie verfügen möglicherweise über eine Diagnoseeinstellung zum Sammeln von Ressourcenprotokollen von einer bestimmten Ressource, benötigen jedoch nicht alle generierten Protokolleinträge. Erstellen Sie eine Transformation, die Datensätze herausfiltert, die einem bestimmten Kriterium entsprechen. Entfernen Sie eine Spalte aus jeder Zeile. Beispielsweise können Ihre Daten Spalten mit Daten enthalten, die redundant sind oder einen minimalen Wert haben. Erstellen Sie eine Transformation, die nicht benötigte Spalten herausfiltert. Analysieren Sie wichtige Daten aus einer Spalte. Möglicherweise haben Sie eine Tabelle mit wertvollen Daten in einer bestimmten Spalte vergraben. Verwenden Sie eine Transformation, um die wertvollen Daten in eine neue Spalte zu parsen und das Original zu entfernen. Senden bestimmter Zeilen an Basisprotokolle. Senden Sie Zeilen in Ihren Daten, die grundlegende Abfragefunktionen erfordern, an Basisprotokolltabellen, um die Erfassungskosten zu senken. |
| Formatieren von Daten für das Ziel | Sie haben möglicherweise eine Datenquelle, die Daten in einem Format sendet, das nicht mit der Struktur der Zieltabelle übereinstimmt. Verwenden Sie eine Transformation, um die Daten in das gewünschte Schema umzuformatieren. |
Unterstützte Tabellen
Unter Tabellen, die Transformationen in Azure Monitor-Protokollen unterstützen finden Sie eine Liste der Tabellen, die mit Transformationen verwendet werden können. Sie können auch den Azure Monitor-Datenverweis verwenden, der die Attribute für jede Tabelle auflistet, einschließlich der Unterstützung von Transformationen. Zusätzlich zu diesen Tabellen werden auch alle benutzerdefinierten Tabellen (Suffix von _CL) unterstützt.
- Alle Azure-Tabellen, die unter Tabellen, die Transformationen in Azure Monitor-Protokollen unterstützen. Sie können auch den Azure Monitor-Datenverweis verwenden, der die Attribute für jede Tabelle auflistet, einschließlich der Unterstützung von Transformationen.
- Jede benutzerdefinierte Tabelle, die für den Azure Monitor-Agent erstellt wurde. (MMA-benutzerdefinierte Tabelle kann keine Transformationen verwenden)
Erstellen einer Transformation
Abhängig von der Datenerfassungsmethode gibt es mehrere Methoden zum Erstellen von Transformationen. In der folgenden Tabelle sind Anleitungen für verschiedene Methoden zum Erstellen von Transformationen aufgeführt.
| Datensammlung | Verweis |
|---|---|
| Protokollerfassungs-API | Senden von Daten an Azure Monitor-Protokolle mithilfe der REST-API (Azure-Portal) Tutorial: Senden von Daten an Azure Monitor-Protokolle mithilfe der REST-API (Azure Resource Manager-Vorlagen) |
| Virtueller Computer mit dem Azure Monitor-Agent | Hinzufügen einer Transformation zum Azure Monitor-Protokoll |
| Kubernetes-Cluster mit Containererkenntnisse | Datentransformationen in Container Insights |
| Azure Event Hubs | Tutorial: Erfassen von Ereignissen aus Azure Event Hubs in Azure Monitor-Protokollen (Public Preview) |
Kosten für Transformationen
Zwar fallen für Transformationen selbst keine direkten Kosten an, doch die folgenden Szenarien können zu zusätzlichen Gebühren führen:
- Wenn eine Transformation die Größe der eingehenden Daten erhöht, z. B. durch Hinzufügen einer berechneten Spalte, wird Ihnen die Standarderfassungsrate für die zusätzlichen Daten in Rechnung gestellt.
- Wenn eine Transformation die erfassten Daten um mehr als 50 % reduziert, wird Ihnen die Menge der gefilterten Daten, die 50 % übersteigt, in Rechnung gestellt.
Verwenden Sie die folgende Formel, um die auf Transformationen basierende Datenverarbeitungsgebühr zu berechnen:
[GB nach Transformationen herausgefiltert] – ([Von der Pipeline erfasste GB-Daten] / 2). Die folgende Tabelle enthält Beispiele.
| Von der Pipeline erfasste Daten | Durch Transformation gelöschte Daten | Vom Log Analytics-Arbeitsbereich erfasste Daten | Datenverarbeitungsgebühr | Erfassungsgebühr |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Diese Gebühr schließt die Gebühr für Daten aus, die vom Log Analytics-Arbeitsbereich erfasst werden.
Um diese Gebühr zu vermeiden, sollten erfasste Daten über alternative Methoden gefiltert werden, bevor Transformationen angewendet werden. Auf diese Weise können Sie die Menge der von Transformationen verarbeiteten Daten reduzieren und somit alle zusätzlichen Kosten minimieren.
Informationen zu den aktuellen Gebühren für die Erfassung und Aufbewahrung von Protokolldaten in Azure Monitor finden Sie unter Azure Monitor – Preise.
Wichtig
Wenn Azure Sentinel für den Log Analytics-Arbeitsbereich aktiviert ist, fallen unabhängig davon, wie viele Daten die Transformation filtert, keine Gebühren für die Filterung der Erfassung an.