Streamen von Azure-Überwachungsdaten an einen Event Hub oder externen Partner
In den meisten Fällen ist die effektivste Methode, Daten von Azure Monitor zu externen Tools zu streamen, die Verwendung von Azure Event Hubs. Dieser Artikel enthält eine kurze Beschreibung zum Streamen von Daten und listet dann einige der Partner auf, an die Sie sie senden können. Einige Partner weisen eine besondere Integration in Azure Monitor auf und werden möglicherweise in Azure gehostet.
Erstellen eines Event Hubs-Namespace
Bevor Sie das Streaming für eine Datenquelle konfigurieren, müssen Sie einen Event Hubs-Namespace und einen Event Hub erstellen. Dieser Namespace und Event Hub sind das Ziel für sämtliche Ihrer Überwachungsdaten. Ein Event Hubs-Namespace ist eine logische Gruppierung von Event Hubs mit derselben Zugriffsrichtlinie, er ähnelt damit einem Speicherkonto mit mehreren Blobs. Beachten Sie die folgenden Hinweise zum Event Hubs-Namespace und zu den Event Hubs, die Sie zum Streamen von Überwachungsdaten verwenden:
- Über die Anzahl der Durchsatzeinheiten können Sie den Durchsatz für Ihre Event Hubs erhöhen. In der Regel ist nur eine Durchsatzeinheit erforderlich. Wenn Sie aufgrund steigender Protokollnutzung hochskalieren müssen, können Sie die Anzahl der Durchsatzeinheiten für den Namespace manuell erhöhen oder die automatische Aufstockung aktivieren.
- Über die Anzahl von Partitionen können Sie den Verbrauch vieler Consumer parallelisieren. Eine einzelne Partition kann bis zu 20 MBit/s oder ungefähr 20.000 Nachrichten pro Sekunde unterstützen. Je nach Tool, das die Daten nutzt, ist es auch möglich, Daten von mehreren Partitionen zu verarbeiten. Vier Partitionen sind für den Anfang sinnvoll, wenn Sie sich über die Anzahl der festzulegenden Partitionen nicht sicher sind.
- Sie legen die Nachrichtenaufbewahrung in Ihrem Event Hub auf mindestens sieben Tage fest. Wenn Ihr Tool länger als einen Tag ausfällt, wird sichergestellt, dass das Tool bei Ereignissen, die bis zu sieben Tage alt sind, dort weitermachen kann, wo es aufgehört hat.
- Sie sollten die Standardconsumergruppe für Ihren Event Hub verwenden. Es ist nicht erforderlich, andere Verbrauchergruppen zu erstellen oder eine separate Verbrauchergruppe zu verwenden, es sei denn, Sie möchten, dass zwei verschiedene Tools dieselben Daten aus demselben Event Hub nutzen.
- Für das Azure-Aktivitätsprotokoll wählen Sie einen Event Hubs-Namespace aus. Azure Monitor erstellt dann in diesem Namespace den Event Hub insights-logs-operational-logs. Für andere Protokolltypen können Sie entweder einen vorhandenen Event Hub verwenden oder Azure Monitor für jede Protokollkategorie einen Event Hub erstellen lassen.
- In der Regel müssen die ausgehenden Ports 5671 und 5672 auf dem Computer oder im virtuellen Netzwerk offen sein, der bzw. das die Daten vom Event Hub verarbeitet.
Verfügbare Überwachungsdaten
Quellen der Überwachungsdaten für Azure Monitor und deren Datensammlungsmethoden beschreiben die verschiedenen Arten von Daten, die von Azure Monitor gesammelt werden, und die Methoden, mit denen sie gesammelt werden. In diesem Artikel finden Sie Informationen zu diesen Daten, die an einen Event Hub gestreamt werden können, und Links zu Konfigurationsdetails.
Streamen von Diagnosedaten
Verwenden Sie Diagnoseeinstellungen, um Protokolle und Metriken an Event Hubs zu streamen. Informationen zum Einrichten von Diagnoseeinstellungen finden Sie unter Erstellen von Diagnoseeinstellungen.
Der folgende JSON-Code ist ein Beispiel für Metrikdaten, die an einen Event Hub gesendet werden:
[
{
"records": [
{
"count": 2,
"total": 0.217,
"minimum": 0.042,
"maximum": 0.175,
"average": 0.1085,
"resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 2,
"total": 0.284,
"minimum": 0.053,
"maximum": 0.231,
"average": 0.142,
"resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:04:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 1,
"total": 1,
"minimum": 1,
"maximum": 1,
"average": 1,
"resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "Requests",
"timeGrain": "PT1M"
},
...
]
}
]
Der folgende JSON-Code ist ein Beispiel für Protokolldaten, die an einen Event Hub gesendet werden:
[
{
"records": [
{
"time": "2023-04-18T09:39:56.5027358Z",
"category": "AuditEvent",
"operationName": "VaultGet",
"resultType": "Success",
"correlationId": "12345678-abc-4bc5-9f31-950eaf3bfcb4",
"callerIpAddress": "10.0.0.10",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "123abc12-abcd-9876-cdef-123abc456def",
"appid": "12345678-a1a1-b2b2-c3c3-9876543210ab"
}
},
"properties": {
"id": "https://mykeyvault.vault.azure.net/",
"clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
"requestUri": "https://northeurope.management.azure.com/subscriptions/ABCDEF12-3456-78AB-CD12-34567890ABCD/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
"httpStatusCode": 200,
"properties": {
"sku": {
"Family": "A",
"Name": "Standard",
"Capacity": null
},
"tenantId": "12345678-abcd-1234-abcd-1234567890ab",
"networkAcls": null,
"enabledForDeployment": 0,
"enabledForDiskEncryption": 0,
"enabledForTemplateDeployment": 0,
"enableSoftDelete": 1,
"softDeleteRetentionInDays": 90,
"enableRbacAuthorization": 0,
"enablePurgeProtection": null
}
},
"resourceId": "/SUBSCRIPTIONS/ABCDEF12-3456-78AB-CD12-34567890ABCD/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
"operationVersion": "2023-02-01",
"resultSignature": "OK",
"durationMs": "16"
}
],
"EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
"PartitionId": 1,
"EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
},
...
Manuelles Streamen mit einer Logik-App
Daten, die sich nicht direkt an einen Event Hub streamen lassen, können Sie in Azure Storage schreiben. Dann können Sie eine zeitbasiert ausgelöste Logik-App verwenden, die Daten aus Azure Blob Storage abruft und als Nachricht an den Event Hub sendet.
Partnertools mit Azure Monitor-Integration
Die Weiterleitung Ihrer Überwachungsdaten an einen Event Hub mit Azure Monitor ermöglicht eine einfache Integration in externe SIEM- und Überwachungstools. In der folgenden Tabelle werden Beispiele für Tools mit Azure Monitor-Integration aufgeführt.
| Tool | In Azure gehostet | BESCHREIBUNG |
|---|---|---|
| IBM QRadar | Nein | Das DSM und Event Hubs-Protokoll von Microsoft Azure sind zum Download auf der Website des IBM-Supports erhältlich. |
| Splunk | Nein | Das Splunk-Add-On für Microsoft Cloud Services ist ein Open-Source-Projekt, das in Splunkbase verfügbar ist. Falls Sie kein Add-On in Ihrer Splunk-Instanz installieren können, z. B. bei Verwendung eines Proxys oder bei Ausführung in Splunk Cloud, können Sie diese Ereignisse an die HTTP-Ereignissammlung von Splunk weiterleiten, indem Sie Azure Function For Splunk verwenden. Dieses Tool wird durch neue Nachrichten im Event Hub ausgelöst. |
| sumologic | Nein | Anweisungen zum Einrichten von SumoLogic für die Nutzung von Daten aus einem Event Hub finden Sie unter Collect Logs for the Azure Audit App from Event Hubs (Sammeln von Protokollen für die Azure Audit App aus Event Hubs). |
| ArcSight | Nein | Der intelligente Azure Event Hubs-Connector von ArcSight wird im Rahmen dieser ArcSight-Sammlung von intelligenten Connectors zur Verfügung gestellt. |
| Syslog-Server | Nein | Wenn Sie Azure Monitor-Daten direkt an einen Syslog-Server streamen möchten, können Sie eine auf einer Azure-Funktion basierende Lösung nutzen. |
| LogRhythm | Nein | Anweisungen zum Einrichten von LogRhythm zum Erfassen von Protokollen aus einem Event Hub sind auf der LogRhythm-Website verfügbar. |
| Logz.io | Ja | Weitere Informationen finden Sie unter Erste Schritte bei der Überwachung und Protokollierung mithilfe von Logz.io für in Azure ausgeführte Java-Apps. |