Transmettre en continu les données de monitoring Azure vers un Event Hub et un partenaire externe
L’utilisation d’Azure Event Hubs est une méthode efficace pour transmettre en continu les données d’Azure Monitor vers des outils externes. Cet article fournit une description de la façon de transmettre en continu des données vers Event Hubs. De plus, il liste certains des partenaires qui peuvent consommer ces données à partir du hub. Certains partenaires s’intègrent à Azure Monitor, et disposent de services hébergés par Azure.
Créer un espace de noms Event Hubs
Avant de configurer la diffusion en continu pour une source de données, vous devez créer un espace de noms Event Hubs et un Event Hub. Cet espace de noms et ce hub d’événements constituent la destination de toutes vos données de surveillance. Un espace de noms Event Hubs est un regroupement logique de points Event Hub qui partagent la même stratégie d’accès, tout comme un compte de stockage comporte des conteneurs individuels pour les objets blob au sein du compte de stockage. Prenez en compte les informations suivantes sur l’espace de noms Event hubs et les hubs d’événements que vous utilisez pour le streaming des données de supervision :
- Le nombre d’unités de débit vous permet d’augmenter l’échelle de débit de vos hubs d’événements. En règle générale, une seule unité de débit est nécessaire. Si vous avez besoin de plus pour répondre à l’augmentation de l’utilisation de votre journal, vous pouvez augmenter manuellement le nombre d’unités de débit pour l’espace de noms ou activer l’inflation automatique.
- Le nombre de partitions vous permet de paralléliser la consommation sur un grand nombre de consommateurs. Une seule partition peut prendre en charge jusqu’à 20 Mbits/s, soit environ 20 000 messages par seconde. En fonction de l’outil qui consomme les données, la consommation simultanée de plusieurs partitions risque de ne pas être prise en charge. Si vous n’êtes pas certain du nombre de partitions à définir, il est raisonnable de commencer avec quatre partitions.
- Définissez la durée de rétention des messages sur votre Event Hub à au moins sept jours. Si l’outil consommateur est en panne pendant plus d’un jour, cela garantit qu’il pourra reprendre là où il s’est arrêté pour les événements des 7 derniers jours.
- Utilisez le groupe de consommateurs par défaut pour votre Event Hub. Il n’est pas nécessaire de créer d’autres groupes de consommateurs ou d’utiliser un groupe de consommateurs distinct, sauf si deux outils doivent utiliser les mêmes données d’un même hub d’événements.
- Pour le journal d’activité Azure, quand vous sélectionnez un espace de noms Event Hubs, Azure Monitor crée un Event Hub au sein de cet espace de noms appelé
insights-logs-operational-logs. Pour les autres types de journaux, vous pouvez soit choisir un hub d’événements existant, soit demander à Azure Monitor de créer un hub d’événements par catégorie de journal. - Les ports de sortie 5671 et 5672 doivent être ouverts sur la machine ou le réseau virtuel qui consomme les données de l’Event Hub.
Méthodes de diffusion en continu
Vous pouvez envoyer des données à Event Hubs à l’aide des méthodes suivantes dans Azure Monitor :
Règles de collecte de données
Les règles de collecte de données permettent de transmettre en continu les journaux et les métriques vers Event Hubs, les espaces de travail Log Analytics et le service Stockage Azure. Pour plus d’informations sur la configuration des règles de collecte de données, consultez Règles de collecte de données dans Azure Monitor et Créer et modifier des règles de collecte de données.Paramètres de diagnostic
Utilisez le paramétrage des diagnostics pour diffuser en continu journaux et métriques vers Event Hubs. Pour plus d’informations sur la configuration des paramètres de diagnostic, consultez Créer des paramètres de diagnostic.Transmettre en continu manuellement à l’aide de Logic Apps
Vous pouvez écrire dans le stockage Azure les données que vous ne pouvez pas envoyer directement vers un hub d’événements, puis utiliser une application logique déclenchée sur des critères d’heure qui tire (pull) les données du Stockage Blob Azure et les envoie (push) en tant que message à un hub d’événements. Pour plus d’informations, consultez Se connecter à un Event Hub à partir des flux de travail dans Azure Logic Apps.
Formats de données
Le code JSON suivant est un exemple de données de métriques envoyées à un hub d’événements :
[
{
"records": [
{
"count": 2,
"total": 0.217,
"minimum": 0.042,
"maximum": 0.175,
"average": 0.1085,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 2,
"total": 0.284,
"minimum": 0.053,
"maximum": 0.231,
"average": 0.142,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:04:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 1,
"total": 1,
"minimum": 1,
"maximum": 1,
"average": 1,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "Requests",
"timeGrain": "PT1M"
},
...
]
}
]
Le code JSON suivant est un exemple de données de journaux envoyées à un hub d’événements :
[
{
"records": [
{
"time": "2023-04-18T09:39:56.5027358Z",
"category": "AuditEvent",
"operationName": "VaultGet",
"resultType": "Success",
"correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
"callerIpAddress": "10.0.0.10",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "dddddddd-3333-4444-5555-eeeeeeeeeeee",
"appid": "44445555-eeee-6666-ffff-7777aaaa8888"
}
},
"properties": {
"id": "https://mykeyvault.vault.azure.net/",
"clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
"requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
"httpStatusCode": 200,
"properties": {
"sku": {
"Family": "A",
"Name": "Standard",
"Capacity": null
},
"tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
"networkAcls": null,
"enabledForDeployment": 0,
"enabledForDiskEncryption": 0,
"enabledForTemplateDeployment": 0,
"enableSoftDelete": 1,
"softDeleteRetentionInDays": 90,
"enableRbacAuthorization": 0,
"enablePurgeProtection": null
}
},
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
"operationVersion": "2023-02-01",
"resultSignature": "OK",
"durationMs": "16"
}
],
"EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
"PartitionId": 1,
"EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
},
...
Outils partenaires avec intégration à Azure Monitor
Le routage de vos données de supervision vers un hub d’événements avec Azure Monitor vous permet d’intégrer facilement des systèmes SIEM et des outils de supervision. Le tableau suivant répertorie des exemples d’outils avec l’intégration d’Azure Monitor.
| Outil | Hébergé dans Azure | Description |
|---|---|---|
| IBM QRadar | Non | Le module DSM Microsoft Azure et Microsoft Azure Event Hubs Protocol sont disponibles pour téléchargement sur le site web du support technique d’IBM. |
| Splunk | Non | Le module complémentaire Splunk pour Microsoft Cloud Services est un projet open source disponible dans Splunkbase. Si vous ne pouvez pas installer de module complémentaire dans votre instance de Splunk, et si vous utilisez un proxy ou effectuez l’exécution sur Splunk Cloud, vous pouvez transférer ces événements au collecteur d’événements HTTP Splunk à l’aide d’Azure Function pour Splunk. Cet outil se déclenche lors des nouveaux messages dans le hub d’événements. |
| sumologic | Non | Les instructions de configuration de SumoLogic pour consommer les données d’un hub d’événements sont disponibles dans Collecter des journaux pour une application d’audit Azure à partir d’Event Hubs. |
| ArcSight | Non | Le connecteur intelligent ArcSight d’Azure Event Hubs est disponible dans la collection de connecteurs intelligents ArcSight. |
| Serveur syslog | Non | Si vous voulez envoyer en streaming des données Azure Monitor directement vers un serveur Syslog, vous pouvez utiliser une solution basée sur une fonction Azure. |
| LogRhythm | Non | Les instructions permettant de configurer LogRhythm pour collecter les journaux à partir d’un Event Hub sont disponibles sur ce site web LogRhythm. |
| Logz.io | Oui | Pour plus d’informations, consultez Bien démarrer avec la supervision et la journalisation en utilisant Logz.io pour les applications Java exécutées sur Azure. |