Vue d’ensemble du pipeline Azure Monitor

Article
05/06/2024

Le pipeline Azure Monitor fait partie d’un processus de collecte de données de type ETL qui améliore les méthodes de collecte de données héritées pour Azure Monitor. Ce processus utilise un pipeline d’ingestion des données commun pour toutes les sources de données et une méthode standard de configuration plus gérable et évolutive que d’autres méthodes. Parmi les avantages spécifiques de la collecte de données avec le pipeline, citons les suivants :

Ensemble commun de destinations pour différentes sources de données.
Possibilité d’appliquer une transformation pour filtrer ou modifier les données entrantes avant leur stockage.
Méthode cohérente pour la configuration de différentes sources de données.
Options de configuration évolutives prenant en charge l’infrastructure en tant que processus de code et DevOps.
Option de pipeline de périphérie dans votre propre environnement pour fournir une scalabilité haut de gamme, des configurations réseau en couches et une connectivité périodique.

Remarque

Une fois l’implémentation terminée, toutes les données collectées par Azure Monitor utilisent le pipeline. Actuellement, seules certaines méthodes de collecte de données sont prises en charge et leurs options de configuration peuvent être limitées. Il n’existe aucune différence entre les données collectées avec le pipeline Azure Monitor et celles collectées avec d’autres méthodes. Les données sont stockées ensemble sous forme de journaux et de métriques, prenant en charge les fonctionnalités d’Azure Monitor telles que les requêtes de journal, les alertes et les classeurs. La seule différence réside dans la méthode de collecte.

Composants de la collecte de données avec un pipeline

La collecte de données à l’aide du pipeline Azure Monitor est illustrée dans le diagramme ci-dessous. Toutes les données sont traitées via le pipeline cloud, qui est automatiquement disponible dans votre abonnement et ne nécessite aucune configuration. Chaque scénario de collecte est configuré dans une règle de collecte de données (DCR), c’est-à-dire un ensemble d’instructions décrivant des détails tels que le schéma des données entrantes, une transformation permettant éventuellement de modifier les données et la destination où les données doivent être envoyées.

Certains environnements peuvent choisir d’implémenter un pipeline de périphérie local pour gérer la collecte de données avant leur envoi vers le cloud. Pour plus d’informations sur cette option, consultez Pipeline de périphérie.

Règles de collecte de données

Les règles de collecte de données (DCR) sont des ensembles d’instructions qui prennent en charge la collecte de données à l’aide du pipeline Azure Monitor. Selon le scénario, les DCR spécifient des détails tels que les données à collecter, comment les transformer et où les envoyer. Dans certains scénarios, vous pouvez utiliser le Portail Azure pour configurer la collecte de données. Dans d’autres scénarios, vous devrez peut-être créer et gérer votre propre règle de collecte de données. Pour plus d’informations sur la création et l’utilisation de règles de collecte de données, consultez Règles de collecte de données dans Azure Monitor.

Transformations

Les transformations vous permettent de modifier les données entrantes avant leur stockage dans Azure Monitor. Il s’agit de requêtes KQL qui sont définies dans la règle de collecte de données et qui s’exécutent dans le pipeline cloud. Pour plus d’informations sur la création et l’utilisation de transformations, consultez Transformations de la collecte de données dans Azure Monitor.

Les cas d’usage spécifiques du pipeline Azure Monitor sont les suivants :

Réduire les coûts. Supprime les enregistrements ou colonnes inutiles pour réduire les coûts d’ingestion.
Supprimer les données sensibles. Filtre ou obfusque les données privées.
Enrichir les données. Ajoute une colonne calculée pour simplifier les requêtes de journal.
Mettre en forme les données. Modifie le format des données entrantes pour qu’il corresponde au schéma de la table de destination.

Pipeline de périphérie

Le pipeline de périphérie étend le pipeline Azure Monitor à votre propre centre de données. Il prend en charge la collecte à grande échelle et le routage des données de télémétrie avant leur livraison à Azure Monitor dans le cloud Azure. Pour plus d’informations sur la configuration d’un pipeline de périphérie, consultez Configurer un pipeline de périphérie dans Azure Monitor.

Les cas d’usage spécifiques du pipeline de périphérie Azure Monitor sont les suivants :

Scalabilité. Le pipeline de périphérie peut gérer de grands volumes de données provenant de ressources monitorées qui peuvent être limitées par d’autres méthodes de collecte telles que l’agent Azure Monitor.
Connectivité périodique. Dans certains environnements, la connectivité au cloud peut ne pas être fiable ou des pertes de connexion inattendues peuvent survenir pendant de longues périodes. Le pipeline de périphérie peut mettre en cache les données localement et se synchroniser avec le cloud une fois la connectivité restaurée.
Réseau en couches. Dans certains environnements, le réseau est segmenté et les données ne peuvent pas être envoyées directement au cloud. Vous pouvez utiliser le pipeline de périphérie pour collecter des données à partir de ressources monitorées sans accès au cloud et gérer la connexion à Azure Monitor dans le cloud.

Scénarios de collecte de données

Le tableau suivant décrit les scénarios de collecte de données actuellement pris en charge à l’aide du pipeline Azure Monitor. Pour plus d’informations, consultez les liens de chaque entrée.

Scénario	Description
Machines virtuelles	Installez l’agent Azure Monitor sur une machine virtuelle et associez-le à un ou plusieurs contrôleurs de domaine qui définissent les événements et les données de performances à collecter à partir du système d’exploitation client. Vous pouvez effectuer cette configuration à l’aide du portail Azure afin de ne pas avoir à modifier directement la DCR. Consultez Collecter des événements et des compteurs de performances à partir de machines virtuelles avec l’agent Azure Monitor.
	Lorsque vous activez VM Insights sur une machine virtuelle, il déploie l’agent Azure Monitor sur la télémétrie à partir du client de machine virtuelle. La DCR est créée pour vous permettre de collecter automatiquement un ensemble prédéfini de données de performances. Consultez Activer la vue d’ensemble de VM Insights.
Container Insights	Lorsque vous activez Container Insights sur votre cluster Kubernetes, il déploie une version conteneurisée de l’agent Azure Monitor pour envoyer des journaux d’activité du cluster à un espace de travail Log Analytics. La DCR est créée automatiquement, mais vous devrez peut-être la modifier pour personnaliser vos paramètres de collection. Consultez Configurer la collecte de données dans Container Insights à l’aide d’une règle de collecte de données.
API d’ingestion de journaux	L’API d’ingestion des journaux vous permet d’envoyer des données à un espace de travail Log Analytics à partir de n’importe quel client REST. L’appel d’API spécifie la DCR pour accepter ses données et spécifie le point de terminaison de la DCR. La DCR comprend la structure des données entrantes, inclut une transformation qui garantit que les données sont au format de la table cible et spécifie un espace de travail et une table auxquels envoyer les données transformées. Consultez API Ingestion des journaux dans Azure Monitor.
Azure Event Hubs	Envoyer des données à un espace de travail Log Analytics à partir d’Azure Event Hubs. La DCR définit le flux entrant et définit la transformation pour mettre en forme les données de son espace de travail de destination et de sa table. Consultez Tutoriel : ingérer des événements d'Azure Event Hubs dans les journaux Azure Monitor (préversion publique)
DCR de transformation de l’espace de travail	La DCR de transformation de l’espace de travail est une DCR spéciale associée à un espace de travail Log Analytics et vous permet d’effectuer des transformations sur les données collectées à l’aide d’autres méthodes. Vous créez un DCR unique pour l’espace de travail et ajoutez une transformation à une ou plusieurs tables. La transformation est appliquée à toutes les données envoyées à ces tables par le biais d’une méthode qui n’utilise pas de DCR. Consultez DCR de transformation d’espace de travail dans Azure Monitor.

Share via