Übersicht über die Azure Monitor-Pipeline
Die Azure Monitor-Pipeline ist Teil eines ETL-ähnlichen Datensammlungsprozesses, der eine Verbesserung gegenüber den Legacy-Datenerfassungsmethoden für Azure Monitor darstellt. Dieser Prozess verwendet eine allgemeine Datenerfassungspipeline für alle Datenquellen sowie eine Standardmethode der Konfiguration, die besser verwaltbar und skalierbarer als andere Methoden ist. Zu den spezifischen Vorteilen der Datensammlung mit der Pipeline gehören:
- Gemeinsame Ziele für unterschiedliche Datenquellen.
- Möglichkeit zum Anwenden einer Transformation zum Filtern oder Ändern eingehender Daten vor dem Speichern.
- Konsistente Methode für die Konfiguration verschiedener Datenquellen.
- Skalierbare Konfigurationsoptionen, die Infrastruktur als Code- und DevOps-Prozesse unterstützen.
- Option der Edge-Pipeline in Ihrer eigenen Umgebung, um High-End-Skalierbarkeit, Netzwerkkonfigurationen auf verschiedenen Ebenen und regelmäßige Konnektivität zu bieten
Hinweis
Wenn die Implementierung abgeschlossen ist, verwenden alle von Azure Monitor gesammelten Daten die Pipeline. Derzeit werden nur bestimmte Methoden zur Datensammlung unterstützt, und sie verfügen möglicherweise über eingeschränkte Konfigurationsoptionen. Es gibt keinen Unterschied zwischen Daten, die mit der Azure Monitor-Pipeline gesammelt werden, und Daten, die mit anderen Methoden gesammelt werden. Die Daten werden alle zusammen als Protokolle und Metriken gespeichert und unterstützen Azure Monitor-Features wie Protokollabfragen, Warnungen und Arbeitsmappen. Der einzige Unterschied besteht in der Sammlungsmethode.
Komponenten der Pipelinedatensammlung
Die Datensammlung mit der Azure Monitor-Pipeline wird im folgenden Diagramm dargestellt. Alle Daten werden über die Cloudpipeline verarbeitet, die automatisch in Ihrem Abonnement verfügbar ist und keine Konfiguration benötigt. Jedes Sammlungsszenario wird in einer Datensammlungsregel (DATA Collection Rule, DCR) konfiguriert. Dabei handelt es sich um eine Reihe von Anweisungen, die Details beschreiben, z. B. das Schema der eingehenden Daten, eine Transformation zum optionalen Ändern der Daten und das Ziel, an das die Daten gesendet werden sollen.
In einigen Umgebungen kann eine lokale Edgepipeline implementiert werden, um die Datensammlung zu verwalten, bevor sie an die Cloud gesendet wird. Einzelheiten zu dieser Option finden Sie unter Edgepipeline.
Regeln für die Datensammlung
Datensammlungsregeln (Data Collection Rules, DCRs) sind Gruppen von Anweisungen, die die Datensammlung mit der Azure Monitor-Pipeline unterstützen. Abhängig vom Szenario geben Datensammlungsregeln an, welche Daten gesammelt, wie sie transformiert und wohin sie gesendet werden sollen. In einigen Szenarien können Sie das Azure-Portal verwenden, um die Datensammlung zu konfigurieren, während andere Szenarien möglicherweise erfordern, dass Sie eigene DCR erstellen und verwalten. Details zum Erstellen von und Arbeiten mit DCRs finden Sie unter Datensammlungsregeln in Azure Monitor.
Transformationen
Transformationen ermöglichen es Ihnen, eingehende Daten zu ändern, bevor sie in Azure Monitor gespeichert werden. Es handelt sich dabei um KQL-Abfragen, die in den in der Cloudpipeline ausgeführten DCR definiert sind. Weitere Informationen zum Erstellen und Verwenden von Transformationen finden Sie unter Transformationen für die Datensammlung in Azure Monitor.
Die spezifischen Anwendungsfälle für die Azure Monitor-Pipeline sind:
- Kosten senken. Entfernen Sie nicht benötigte Datensätze oder Spalten, um Erfassungskosten zu sparen.
- Vertrauliche Daten entfernen. Filtern oder verschleiern Sie private Daten.
- Daten anreichern. Fügen Sie eine berechnete Spalte hinzu, um Protokollabfragen zu vereinfachen.
- Daten formatieren. Ändern Sie das Format der eingehenden Daten so, dass sie dem Schema der Zieltabelle entsprechen.
Edgepipeline
Die Edgepipeline erweitert die Azure Monitor-Pipeline auf Ihr eigenes Rechenzentrum. Sie ermöglicht Datensammlung im großen Stil sowie die Weiterleitung von Telemetriedaten, bevor sie an Azure Monitor in der Azure-Cloud übermittelt werden. Details zum Einrichten einer Edgepipeline finden Sie unter Konfiguration der Azure Monitor-Edgepipeline.
Die spezifischen Anwendungsfälle für die Azure Monitor-Edgepipeline sind:
- Skalierbarkeit. Die Edgepipeline kann große Datenmengen von überwachten Ressourcen verarbeiten, die durch andere Erfassungsmethoden wie Azure Monitor-Agents begrenzt werden können.
- Regelmäßige Konnektivität. In einigen Umgebungen kann die Konnektivität zur Cloud unzuverlässig sein oder unerwartet lange Zeiträume ohne Verbindung haben. Die Edgepipeline kann Daten lokal zwischenspeichern und mit der Cloud synchronisieren, sobald die Verbindung wiederhergestellt ist.
- Mehrschichtiges Netzwerk. In einigen Umgebungen ist das Netzwerk segmentiert, und Daten können nicht direkt an die Cloud gesendet werden. Die Edgepipeline kann verwendet werden, um Daten von überwachten Ressourcen ohne Cloudzugriff zu sammeln und die Verbindung zu Azure Monitor in der Cloud zu verwalten.
Szenarien für die Datensammlung
In der folgenden Tabelle werden die Datensammlungsszenarien beschrieben, die derzeit bei Verwendung der Azure Monitor-Pipeline unterstützt werden. Einzelheiten finden Sie unter den Links in den einzelnen Einträgen.
| Szenario | Beschreibung |
|---|---|
| Virtuelle Computer | Installieren Sie den Azure Monitor-Agenten auf einer VM und verknüpfen Sie ihn mit einer oder mehreren DCRs, die die zu sammelnden Ereignisse und Leistungsdaten des Clientbetriebssystems definieren. Sie können diese Konfiguration über das Azure-Portal vornehmen, sodass Sie die DCR nicht direkt bearbeiten müssen. Weitere Informationen unter Sammeln von Ereignissen und Leistungsindikatoren von virtuellen Computern mit dem Azure Monitor-Agent. |
| Wenn Sie VM-Erkenntnisse auf einer virtuellen Maschine aktivieren, wird der Azure Monitor-Agent zur Telemetrie vom VM-Client eingesetzt. Die DCR wird automatisch für Sie erstellt, um einen vordefinierten Satz von Leistungsdaten zu sammeln. Weitere Informationen finden Sie unter Übersicht zum Aktivieren von VM-Erkenntnissen. |
|
| Container Insights | Wenn Sie Containererkenntnisse auf Ihrem Kubernetes-Cluster aktivieren, wird eine containerisierte Version des Azure Monitor-Agenten bereitgestellt, um Protokolle aus dem Cluster an einen Log Analytics-Arbeitsbereich zu senden. Die DCR wird automatisch für Sie erstellt, aber Sie müssen sie möglicherweise ändern, um Ihre Erfassungseinstellungen anzupassen. Weitere Informationen finden Sie unter Konfigurieren der Datensammlung in Container-Erkenntnissen mithilfe einer Datensammlungsregel. |
| Protokollerfassungs-API | Mit der Protokollaufnahme-API können Sie Daten von jedem REST-Client an einen Log Analytics-Arbeitsbereich senden. Der API-Aufruf gibt die DCR an, die ihre Daten entgegennehmen soll, und spezifiziert den Endpunkt der DCR. Die DCR versteht die Struktur der eingehenden Daten, enthält eine Transformation, die sicherstellt, dass sich die Daten im Format der Zieltabelle befinden, und gibt einen Arbeitsbereich und eine Tabelle an, um die transformierten Daten zu senden. Weitere Informationen finden Sie unter Protokollerfassungs-API in Azure Monitor. |
| Azure Event Hubs | Senden von Daten an einen Log Analytics-Arbeitsbereich von Azure Event Hubs. Die DCR definiert den eingehenden Datenstrom und legt die Transformation fest, um die Daten für den Zielarbeitsbereich und die Tabelle zu formatieren. Weitere Informationen finden Sie unter Tutorial: Erfassen von Ereignissen aus Azure Event Hubs in Azure Monitor-Protokollen (Public Preview). |
| Arbeitsbereichstransformations-DCR | Die DCR für die Arbeitsbereichstransformation ist eine spezielle DCR, die mit einem Log Analytics-Arbeitsbereich verknüpft ist und es Ihnen ermöglicht, Transformationen an Daten durchzuführen, die mit anderen Methoden erfasst werden. Sie erstellen eine einzelne DCR für den Arbeitsbereich und fügen eine Transformation zu einer oder mehreren Tabellen hinzu. Die Transformation wird auf alle Daten angewandt, die über eine Methode, die keine DCR verwendet, an diese Tabellen gesendet werden. Weitere Informationen finden Sie unter DCR für die Arbeitsbereichstransformation in Azure Monitor. |