Partager via

Monitorer Azure HDInsight

  • Article

Cet article aborde les points suivants :

  • Types de données de monitoring que vous pouvez collecter pour ce service.
  • Comment analyser ces données.

Remarque

Si vous connaissez déjà ce service et/ou Azure Monitor et que vous voulez simplement savoir comment analyser les données de monitoring, consultez la section Analyser vers la fin de cet article.

Quand vous avez des applications critiques et des processus métier qui s’appuient sur des ressources Azure, vous devez monitorer votre système et obtenir des alertes. Le service Azure Monitor collecte et agrège les métriques et les journaux de chaque composant de votre système. Azure Monitor vous fournit une vue de la disponibilité, des performances et de la résilience, et vous avertit des problèmes. Vous pouvez utiliser le portail Azure, PowerShell, Azure CLI, l’API REST ou des bibliothèques de client pour configurer et visualiser les données de monitoring.

Options de monitoring de HDInsight

Les métriques et journaux spécifiques disponibles pour votre cluster HDInsight dépendent du type et des outils de ce dernier. Azure HDInsight offre les types de clusters Apache Hadoop, Spark, Kafka, HBase et Interactive Query. Vous pouvez monitorer votre cluster depuis l’interface utilisateur web Apache Ambari ou sur le portail Azure, en activant l’intégration d’Azure Monitor.

Monitoring avec Apache Ambari

Apache Ambari simplifie la gestion, la configuration et le monitoring d’un cluster HDInsight en fournissant une interface utilisateur web et une API REST. Ambari est fourni avec tous les clusters HDInsight sous Linux. Pour utiliser Ambari, sélectionnez Accueil Ambari sur la page Vue d’ensemble de votre cluster HDInsight dans le portail Azure.

Pour plus d’informations sur la façon d’utiliser Ambari à des fins de monitoring, consultez les articles suivants :

Intégration d’Azure Monitor

Vous pouvez également monitorer vos clusters HDInsight directement dans Azure. Désormais en préversion, une nouvelle intégration d’Azure Monitor vous permet d’accéder aux Insights, Journaux d’activité et Classeurs depuis votre cluster HDInsight sans devoir appeler l’espace de travail Log Analytics.

Activez la nouvelle intégration d’Azure Monitor pour l’utiliser. Sélectionnez Intégration de Monitor dans la section Monitoring dans le menu de gauche de la page du portail Azure HDInsight. Vous pouvez aussi utiliser PowerShell ou Azure CLI pour activer la nouvelle intégration de monitoring et interagir avec. Pour plus d’informations, consultez l’article suivant :

Informations

Dans Azure, certains services ont un tableau de bord de monitoring intégré dans le portail Azure, qui constitue un point de départ pour le monitoring de votre service. Ces tableaux de bord sont appelés insights et vous pouvez les trouver dans le Hub d’insights d’Azure Monitor dans le portail Azure.

Intégration du portail du cluster Insights

Après avoir activé l’intégration d’Azure Monitor, vous pouvez sélectionner Insights (préversion) dans le menu de gauche de la page du portail Azure HDInsight pour afficher automatiquement un tableau de bord de visualisation des journaux et des métriques renseigné en fonction du type de cluster. Le tableau de bord Insights utilise un Classeur Azure prédéfini qui contient des sections pour chaque type de cluster, YARN, métriques système et journaux de composants.

Capture d’écran montrant le tableau de bord de visualisation.

Ces graphiques et visualisations détaillés fournissent des insights approfondis sur les performances et l’intégrité de votre cluster. Pour en savoir plus, consultez Utiliser les insights HDInsight prêts à l’emploi pour monitorer un cluster unique.

Types de ressource

Azure utilise le concept de types de ressources et d’ID pour identifier tout dans un abonnement. Les types de ressource font également partie des ID de ressource pour chaque ressource exécutée dans Azure. Par exemple, le type de ressource pour une machine virtuelle peut être Microsoft.Compute/virtualMachines. Pour obtenir la liste des services et leurs types de ressource associés, consultez Fournisseurs de ressources.

Azure Monitor organise de même manière les données de supervision de base en métriques et journaux en fonction des types de ressources, également appelés espaces de noms. Différentes métriques et journaux sont disponibles pour les différents types de ressource. Votre service peut être associé à plusieurs types de ressource.

Pour plus d’informations sur les types de ressources d’Azure HDInsight, consultez Références sur les données de monitoring HDInsight.

Stockage des données

Pour Azure Monitor :

  • Les données de métriques sont stockées dans la base de données des métriques Azure Monitor.
  • Les données de journal sont stockées dans le magasin de journaux Azure Monitor. Log Analytics est un outil du portail Azure qui peut interroger ce magasin.
  • Le journal d’activité Azure est un magasin distinct avec sa propre interface dans le portail Azure.

Vous pouvez aussi envoyer les données des métriques et des journaux d’activité vers le magasin de journaux Azure Monitor. Vous pouvez ensuite utiliser Log Analytics pour interroger les données et les mettre en corrélation avec d’autres données de journal.

De nombreux services peuvent utiliser les paramètres de diagnostic pour envoyer les données des métriques et des journaux vers d’autres emplacements de stockage en dehors d’Azure Monitor. Il peut ainsi s’agit du Stockage Azure, des systèmes partenaires hébergés et des systèmes partenaires non-Azure, en utilisant Event Hubs.

Pour plus d’informations sur la façon dont Azure Monitor stocke les données, consultez Plateforme de données Azure Monitor.

HDInsight stocke ses fichiers journaux dans le système de fichiers du cluster et dans Stockage Azure. Face à au nombre et à la taille des fichiers journaux, il est important d’optimiser le stockage et l’archivage des journaux pour faciliter la gestion des coûts. Pour plus d’informations, consultez la rubrique Gérer les journaux d’activité pour un cluster HDInsight.

Métriques de plateforme Azure Monitor

Azure Monitor fournit des métriques de plateforme pour la plupart des services. Ces mesures sont :

  • Définies individuellement pour chaque espace de noms.
  • Stockées dans la base de données de métriques de série chronologique Azure Monitor.
  • Légères et capables de prendre en charge les alertes en quasi-temps réel.
  • Utilisées pour suivre les performances d’une ressource au fil du temps.

Collecte : Azure Monitor collecte automatiquement les métriques de plateforme. Aucune configuration n'est requise.

Routage : vous pouvez également acheminer des métriques de plateforme vers les journaux Azure Monitor/Log Analytics afin de pouvoir les interroger avec d’autres données de journal. Vérifiez les paramètres d’exportation DS pour chaque métrique pour voir si vous pouvez utiliser un paramètre de diagnostic pour acheminer la métrique vers les journaux Azure Monitor / Log Analytics.

Pour obtenir la liste de toutes les métriques qu’il est possible de collecter pour toutes les ressources dans Azure Monitor, consultez Métriques prises en charge dans Azure Monitor.

Pour obtenir la liste des métriques automatiquement collectées pour HDInsight, consultez Références sur les données de monitoring HDInsight.

Journaux de ressources Azure Monitor

Les journaux de ressource fournissent des insights sur les opérations effectuées par une ressource Azure. Les journaux sont générés automatiquement, mais vous devez les router vers les journaux Azure Monitor pour les enregistrer ou les interroger. Les journaux d’activité sont organisés en catégories. Un espace de noms donné peut avoir plusieurs catégories de journal de ressource.

Collecte : les journaux de ressource ne sont pas collectés ni stockés tant que vous n’avez pas créé un paramètre de diagnostic et routé les journaux vers un ou plusieurs emplacements. Lorsque vous créez un paramètre de diagnostic, vous spécifiez les catégories de journaux à collecter. Il existe plusieurs façons de créer et gérer des paramètres de diagnostic, notamment le portail Azure, programmatiquement et avec Azure Policy.

Routage : la valeur par défaut suggérée est le routage des journaux de ressource vers les journaux Azure Monitor afin de pouvoir les interroger avec d’autres données de journal. D’autres emplacements comme le Stockage Azure, Azure Event Hubs et certains partenaires de monitoring de Microsoft sont également disponibles. Pour plus d’informations, consultez Journaux de ressource Azure et Destinations des journaux de ressource.

Pour plus d’informations sur la collecte, le stockage et le routage des journaux de ressource, consultez Paramètres de diagnostic dans Azure Monitor.

Pour obtenir la liste de toutes les catégories de journal de ressource disponibles dans Azure Monitor, consultez Journaux de ressource pris en charge dans Azure Monitor.

Tous les journaux de ressource dans Azure Monitor ont les mêmes champs d’en-tête, suivis de champs propres au service. Le schéma commun est décrit dans Schéma des journaux des ressources Azure Monitor.

Journaux collectés par agent

HDInsight n’utilise pas la méthode habituelle pour générer des journaux de ressources. À la place, le service collecte les journaux depuis le cluster HDInsight et les envoie aux tables des journaux Azure Monitor/Log Analytics avec l’agent Log Analytics.

Un cluster HDInsight génère de nombreux fichiers journaux, parmi lesquels :

  • Les journaux d’exécution des tâches
  • Les fichiers Resource Manager du journal YARN
  • Journaux d’actions de script
  • L’état des alertes de cluster Ambari
  • Les métriques système Ambari
  • Journaux d’activité de sécurité
  • Les activités Hadoop journalisées dans le contrôleur, les stderr et les fichiers journaux syslog

Les journaux spécifiques disponibles dépendent de l’infrastructure et des outils du cluster. Une fois l’intégration d’Azure Monitor activée pour votre cluster, vous pouvez afficher et interroger l’un de ces journaux.

Journalisation sélective

Les clusters HDInsight peuvent collecter de nombreux journaux détaillés (verbose). Pour économiser sur les coûts de monitoring et de stockage, vous pouvez activer la fonctionnalité de journalisation sélective avec des actions de script pour HDInsight dans le portail Azure. La journalisation sélective vous permet d’activer et de désactiver différentes sources de journaux et de métriques disponibles avec Log Analytics. Avec cette fonctionnalité, vous ne payez que pour ce que vous utilisez.

Vous pouvez configurer la collecte et l’analyse des journaux pour activer ou désactiver des tables dans l’espace de travail Log Analytics et adapter le type de source à chaque table. Pour des instructions détaillées, consultez Utiliser la journalisation sélective avec une action de script dans Azure HDInsight.

Journal des activités Azure

Le journal d’activité contient des évènements au niveau de l’abonnement qui suivent les opérations sur chaque ressource Azure qui sont vues comme extérieures à cette ressource, par exemple, la création d’une ressource ou le démarrage d’une machine virtuelle.

Collecte : les évènements de journal d’activité sont générés et collectés automatiquement dans un magasin distinct pour leur consultation dans le portail Azure.

Routage : vous pouvez envoyer les données de journal d’activité aux journaux Azure Monitor afin de pouvoir les analyser en même temps que d’autres données de journal. D’autres emplacements comme le Stockage Azure, Azure Event Hubs et certains partenaires de monitoring de Microsoft sont également disponibles. Pour plus d’informations sur le routage du journal d’activité, consultez Vue d’ensemble du journal d’activité Azure.

Analyser les données de surveillance

Il existe de nombreux outils pour analyser les données de supervision.

Outils Azure Monitor

Azure Monitor prend en charge les outils de base suivants :

Les outils qui permettent une visualisation plus complexe sont notamment :

  • Les tableaux de bord, qui vous permettent de combiner différentes sortes de données dans un même volet du portail Azure.
  • Les workbooks, des rapports personnalisables que vous pouvez créer dans le portail Azure. Les workbooks peuvent inclure du texte, des métriques et des requêtes de journal.
  • Grafana, un outil de plateforme ouvert, parfait pour les tableaux de bord opérationnels. Vous pouvez utiliser Grafana pour créer des tableaux de bord à partir de données de plusieurs sources autres qu’Azure Monitor.
  • Power BI, un service d’analyse métier qui fournit des visualisations interactives pour diverses sources de données. Vous pouvez configurer Power BI pour importer automatiquement les données de journal à partir d’Azure Monitor afin de tirer parti de ces visualisations supplémentaires.

Les journaux Azure Monitor collectent les données de vos ressources de cluster HDInsight et d’autres outils de monitoring. Ils utilisent les données pour fournir une analyse sur plusieurs sources.

Outils d’exportation Azure Monitor

Vous pouvez extraire des données d’Azure Monitor dans d’autres outils en utilisant les méthodes suivantes :

Pour bien démarrer avec l’API REST pour Azure Monitor, consultez Procédure pas à pas de l’API REST d’analyse Azure.

Requêtes Kusto

Vous pouvez analyser les données de supervision dans les journaux Azure Monitor ou le magasin Log Analytics à l’aide du langage de requête Kusto (KQL).

Important

Quand vous sélectionnez Journaux dans le menu du service dans le portail, Log Analytics s’ouvre avec l’étendue de requête définie sur le service actuel. Cette étendue signifie que les requêtes de journal ont seulement des données de ce type de ressource. Si vous voulez exécuter une requête qui comprend des données d’autres services Azure, sélectionnez Journaux dans le menu Azure Monitor. Pour plus d’informations, consultez Étendue de requête de journal et intervalle de temps dans la fonctionnalité Log Analytics d’Azure Monitor.

Pour obtenir la liste des requêtes courantes pour n’importe quel service, consultez l’Interface de requêtes Log Analytics.

Une fois l’intégration d’Azure Monitor activée, sélectionnez Journaux (préversion) dans le volet de navigation de gauche de la page du portail HDInsight, puis cliquez sur l’onglet Requêtes pour afficher des exemples de requêtes pour votre cluster. Ainsi, la requête suivante répertorie tous les ordinateurs connus qui n’ont pas envoyé de pulsation au cours des cinq dernières heures.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

La requête suivante identifie les 10 requêtes les plus gourmandes en ressources (en fonction de la consommation du processeur) au cours des 24 dernières heures.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Important

La nouvelle intégration d’Azure Monitor implémente de nouvelles tables dans l’espace de travail Log Analytics. Dans un souci de clarté, le nombre de schémas a été réduit et sa mise en forme réorganisée et simplifiée.

La nouvelle intégration du monitoring dans le portail Azure utilise les nouvelles tables. Cependant, vous devez retravailler les anciens·nes requêtes et tableaux de bord pour utiliser les nouvelles tables. Pour savoir comment mapper les tables de journal depuis l’intégration Azure Monitor classique vers les nouvelles tables, consultez Mapper les tables de journal.

Alertes

Azure Monitor vous alerte de façon proactive quand des conditions spécifiques sont détectées dans vos données de monitoring. Les alertes permettent d’identifier et de résoudre les problèmes affectant votre système avant que vos clients ne les remarquent. Pour plus d’informations, consultez Alertes Azure Monitor.

Il existe de nombreuses sources d’alertes courantes pour les ressources Azure. Pour obtenir des exemples d’alertes courantes pour les ressources Azure, consultez Exemples de requêtes d’alerte de journal. Le site Azure Monitor Baseline Alerts (AMBA) fournit une méthode semi-automatisée pour implémenter les alertes, les tableaux de bord et les recommandations associés·es les plus importants·es aux métriques de plateforme. Le site s’applique à un sous-ensemble des services Azure en constante expansion, y compris tous les services qui font partie de la zone d’atterrissage Azure (ALZ).

Le schéma d’alerte commun standardise la consommation de notifications d'alerte pour Azure Monitor. Pour plus d’informations, consultez Schéma d’alerte courant.

Types d'alertes

Vous pouvez définir une alerte sur n’importe quelle source de données de métrique ou de journal dans la plateforme de données Azure Monitor. Il existe de nombreux types d’alertes différents en fonction des services que vous monitorez et des données de monitoring que vous collectez. Les différents types d’alertes ont divers avantages et inconvénients. Pour plus d’informations, consultez Choisir le bon type d’alerte de monitoring.

La liste suivante décrit les types d’alertes Azure Monitor que vous pouvez créer :

  • Les alertes de métrique évaluent les métriques de ressource à intervalles réguliers. Les métriques peuvent être des métriques de plateforme, des métriques personnalisées, des journaux provenant d’Azure Monitor convertis en métriques ou des métriques Application Insights. Les alertes de métriques peuvent également appliquer plusieurs conditions et seuils dynamiques.
  • Les alertes de journal permettent aux utilisateurs d’utiliser une requête Log Analytics pour évaluer les journaux de ressource à une fréquence prédéfinie.
  • Les alertes de journal d’activité sont déclenchées quand un nouvel événement de journal d’activité correspond à des conditions définies. Les alertes Resource Health et les alertes Service Health sont des alertes de journal d’activité qui concernent l’intégrité de votre service et de vos ressources.

Certains services Azure prennent également en charge les alertes de détection intelligente, les alertes Prometheus ou les règles d’alerte recommandées.

Pour certains services, vous pouvez opérer une surveillance à grande échelle en appliquant la même règle d’alerte de métrique à plusieurs ressources du même type qui existent dans la même région Azure. Les notifications individuelles sont envoyées pour chaque ressource supervisée. Pour connaître les services et clouds Azure pris en charge, consultez Monitorer plusieurs ressources avec une seule règle d’alerte.

Règles d’alerte HDInsight

Une fois l’intégration d’Azure Monitor activée, sélectionnez Alertes dans le volet de navigation de gauche de la page du portail HDInsight, puis cliquez sur Créer une règle d’alerte pour configurer des alertes. Vous pouvez baser une alerte sur n’importe quelle requête Log Analytics ou utiliser les signaux de métriques ou de journaux d’activité.

Le tableau suivant décrit certaines règles d’alerte pour HDInsight. Ces alertes ne sont que des exemples. Vous pouvez définir des alertes une métrique, une entrée de journal ou une entrée de journal d’activité répertoriée dans Références sur les données de monitoring HDInsight.

Type d’alerte Condition Description
Mesure UC en attente Chaque fois que le processeur en attente dépasse le seuil dynamique
Journal d’activité Supprimer un cluster Chaque fois que le journal d’activité comporte un événement avec Category='Administrative', Signal name='Delete Cluster (HDInsight Cluster)'

Pour obtenir un exemple montrant comment créer une alerte, consultez Alertes Azure Monitor.

Recommandations d’Advisor

Pour certains services, si des conditions critiques ou des changements imminents se produisent pendant des opérations de ressources, une alerte s’affiche dans la page Vue d’ensemble du service concerné dans le portail. Des informations supplémentaires et les correctifs recommandés pour l’alerte sont disponibles dans les Recommandations Advisor sous Surveillance dans le menu de gauche. Pendant les opérations normales, aucune recommandation Advisor ne s’affiche.

Pour plus d’informations sur Azure Advisor, consultez Vue d’ensemble d’Azure Advisor.

Contenu connexe