Règles de collecte de données (DCR) dans Azure Monitor

Les règles de collecte de données font partie d’un processus de collecte de données, similaire à celui d’extraction, de transformation et de chargement (ETL), améliorant les méthodes de collecte de données héritées pour Azure Monitor. Ce processus utilise une stratégie d’ingestion de données commune pour toutes les sources de données et une méthode standard de configuration plus gérable et évolutive que les méthodes de collecte précédentes.

Pour de nombreux scénarios de supervision, vous n’avez pas besoin de comprendre comment une DCR est créée ou affectée. Vous pouvez simplement utiliser des conseils dans le portail Azure pour activer et configurer la collecte de données, tandis qu’Azure Monitor crée et configure la DCR pour vous. Cet article fournit plus d’informations sur le fonctionnement des contrôleurs de domaine pour vous aider à créer et à les configurer manuellement afin de personnaliser le processus de collecte de données.

Les avantages spécifiques de la collecte de données basée sur DCR sont les suivants :

• Méthode cohérente pour la configuration de différentes sources de données.
• Possibilité d’appliquer une transformation pour filtrer ou modifier les données entrantes avant leur envoi vers la destination.
• Options de configuration évolutives prenant en charge l’infrastructure en tant que processus de code et DevOps.
• Option de pipeline Azure Monitor dans votre propre environnement pour offrir une évolutivité haut de gamme, des configurations réseau en couches et une connectivité périodique.

Affichage des DCR

Les règles de collecte de données (DCR) sont stockées dans Azure pour être déployées et gérées de manière centralisée comme toutes les autres ressources Azure. Elles fournissent un moyen cohérent et centralisé de définir et de personnaliser différents scénarios de collecte de données.

Affichez tous les contrôleurs de domaine de votre abonnement à partir de l’option Règles de collecte de données du menu Monitor dans le portail Azure. Quelle que soit la méthode utilisée pour créer la DCR et les détails de la DCR elle-même, toutes les DCR de l’abonnement sont répertoriées dans cet écran.

Méthodes de collecte de données héritées remplacées

Le processus de collecte DCR a remplacé ou est en cours de remplacement d’autres méthodes de collecte de données dans Azure Monitor. Le tableau suivant répertorie les méthodes héritées avec leurs remplacements basés sur DCR. D’autres méthodes de collecte de données dans Azure Monitor devraient également être remplacées par des DCR à l’avenir.

Méthode héritée	Méthode DCR	Descriptif
Agent Log Analytics	Agent Azure Monitor	L’agent Azure Monitor est désormais utilisé pour surveiller les machines virtuelles et les clusters Kubernetes prenant en charge VM Insights et Container Insights.
Paramètres de diagnostic (métriques uniquement)	Exportation des métriques	Les paramètres de diagnostic sont toujours utilisés pour collecter les journaux des ressources à partir de ressources Azure. Les métriques de plateforme peuvent désormais être collectées à l’aide de l’exportation de métriques.
API collecteur de données	API d’ingestion de journaux	L’API d’ingestion des journaux est utilisée pour envoyer des données à un espace de travail Log Analytics à partir de n’importe quel client REST. Elle remplace l’API Collecteur de données qui était moins sécurisée et moins fonctionnelle.

Processus de collecte de données

Le processus de collecte de données pris en charge par les contrôleurs de domaine fournit un chemin de traitement commun pour les données entrantes. Chaque scénario de collecte de données est défini dans une DCR. Le DCR fournit des instructions sur la façon dont Azure Monitor doit traiter les données qu’il reçoit. Selon le scénario, les DCR spécifient tout ou partie des éléments suivants :

• Données à collecter et à envoyer à Azure Monitor.
• Le schéma des données entrantes.
• Les transformations à appliquer aux données avant leur stockage.
• Destination où les données doivent être envoyées.

Associations de règles de collecte de données (DCRA)

Les associations de règles de collecte de données (DCRA) sont créées entre la ressource et la DCR pour activer certains scénarios de collecte de données. Il s’agit d’une relation plusieurs-à-plusieurs, où un DCR unique peut être associé à plusieurs ressources et une seule ressource peut être associée à jusqu’à 30 DCR. Cela vous permet de développer une stratégie pour assurer le monitoring sur différents ensembles de ressources qui ont des exigences différentes.

Utilisation d’une DCR

Une fois qu’une DCR est créée, il existe différentes méthodes pour l’utiliser en fonction du scénario de collecte de données. Le tableau suivant répertorie les scénarios courants et la méthode utilisée pour collecter des données dans chaque cas. Vous trouverez plus d’informations sur chacune d’elles ci-dessous.

Scénario	Méthode
Azure Monitor Agent (AMA)	Association de règles de collecte de données (DCRA)
Hubs d’événements	Association de règles de collecte de données (DCRA)
Métriques de plateforme (aperçu)	Association de règles de collecte de données (DCRA)
Ingestion directe	DCR spécifié dans l’appel d’API qui envoie les données à Azure Monitor.
Transformation de l'espace de travail DCR	DCR est activé pour l’espace de travail dès sa création.

Scénarios

Les sections suivantes décrivent les scénarios courants d’utilisation des contrôleurs de domaine pour collecter des données dans Azure Monitor. Ils décrivent les détails inclus dans la DCR et la méthode utilisée spécifie la DCR à utiliser pour ce scénario particulier.

Agent Azure Monitor (AMA)

L’agent Azure Monitor (AMA) est utilisé pour collecter des données à partir de machines virtuelles et de clusters Kubernetes. Le diagramme suivant illustre la collecte de données pour AMA s’exécutant sur une machine virtuelle. Une fois l’agent installé, il se connecte à Azure Monitor pour récupérer les DCR associées. Dans ce scénario, les contrôleurs de domaine spécifient les événements et les données de performances à collecter. Pour un cluster Kubernetes, cela inclut également les métriques Prometheus. L’agent utilise ces informations pour déterminer les données à collecter à partir de la machine et les envoyer à Azure Monitor. Une fois les données remises, toute transformation spécifiée dans la DCR est exécutée pour filtrer et modifier les données, puis envoie les données à l’espace de travail et à la table spécifiés.

Pour plus d’informations, consultez Collecter des données à partir d’un client de machine virtuelle avec Azure Monitor et Activer la surveillance pour les clusters Kubernetes .

Event Hubs (préversion)

Le diagramme suivant illustre la façon dont les données sont ingérées dans un espace de travail Log Analytics directement à partir d’Event Hubs. Lorsque les données sont reçues par le hub d’événements, elles sont remises à Azure Monitor, puis transformées et envoyées à toutes les destinations spécifiées dans les contrôleurs de domaine associés.

Consultez Ingérer des événements d’Azure Event Hubs dans les journaux Azure Monitor (aperçu) pour plus d’informations.

Métriques de plateforme (Aperçu)

Les métriques de plateforme sont automatiquement collectées à partir de ressources Azure et envoyées aux métriques Azure Monitor. Le diagramme suivant montre le processus d’utilisation d’une DCR pour envoyer ces données à un espace de travail Log Analytics à des fins d’analyse à l’aide de requêtes de journal. Cela remplace la méthode actuelle d’utilisation des paramètres de diagnostic pour effectuer cette fonction.

Lorsque la DCR est créée, elle spécifie l’espace de travail et la table où les données doivent être envoyées. La DCR inclut également une transformation qui garantit que les données sont au format correct pour la table cible. La DCR est ensuite associée à la ressource à partir de laquelle les métriques de plateforme sont collectées.

Pour plus d’informations, consultez l’exportation de métriques à l’aide de règles de collecte de données .

Ingestion directe

Avec l’ingestion directe, une DCR particulière est spécifiée pour traiter les données entrantes. Par exemple, le diagramme suivant illustre les données d’une application personnalisée à l’aide de l’API d’ingestion logs. Chaque appel d’API spécifie la DCR qui traite ses données. La DCR comprend la structure des données entrantes, inclut une transformation qui garantit que les données sont au format de la table cible et spécifie un espace de travail et une table pour envoyer les données transformées.

Pour plus d’informations, consultez l’API d’ingestion des journaux.

Transformation de l’espace de travail DCR

Transformation de l’espace de travail Les DCR fournissent des transformations pour la collecte de données qui n’utilisent pas de DCR. Ils sont appliqués directement à l’espace de travail Log Analytics et sont automatiquement activés lors de leur création.

Pour plus d’informations, consultez DCR de transformation de l’espace de travail .

Transformations

Les transformations sont des requêtes KQL incluses dans une DCR qui s’exécutent sur chaque enregistrement reçu. Elles vous permettent de modifier les données entrantes avant qu’elles ne soient stockées dans Azure Monitor ou envoyées à une autre destination. Vous pouvez filtrer les données inutiles pour réduire vos coûts d’ingestion, supprimer les données sensibles qui ne doivent pas être conservées dans l’espace de travail Log Analytics ou mettre en forme les données pour qu’elles correspondent au schéma de leur destination. Les transformations permettent également des scénarios avancés tels que l’envoi de données à plusieurs destinations ou l’enrichissement de données avec des informations supplémentaires.

Régions DCR

Les règles de collecte de données sont disponibles dans toutes les régions publiques où les espaces de travail Log Analytics et les clouds Azure Government et Chine sont pris en charge. Les clouds en « air gap » ne sont pas encore pris en charge. Une DCR est créée et stockée dans une région particulière et sauvegardée dans la région jumelée au sein de la même zone géographique. Le service est déployé dans les trois zones de disponibilité au sein de la région. Pour cette raison, il s’agit d’un service redondant interzone, qui augmente davantage la disponibilité.

La résidence des données dans une seule région est une fonctionnalité de préversion permettant de stocker les données client dans une seule région, et elle est actuellement disponible uniquement dans la région Asie du Sud-Est (Singapour) du géo Asie-Pacifique et dans la région Brésil Sud (État de Sao Paulo) du géo du Brésil. La résidence monorégion est activée par défaut dans ces régions.

Étapes suivantes

Pour plus d'informations sur le travail avec les DCR, consultez :

• Structure de règle de collecte de données pour une description de la structure JSON des règles de collecte de données et des différents éléments utilisés pour différents workflows.
• Exemples de règles de collecte de données (DCR) pour les échantillons de DCR dans différents scénarios de collecte de données.
• Créez et modifiez des règles de collecte de données (DCRs) dans Azure Monitor en utilisant différentes méthodes pour divers scénarios de collecte de données.
• Limites de service Azure Monitor pour les limites qui s’appliquent à chaque DCR.