Guide de migration Log Analytics pour les clusters Azure HDInsight

Azure HDInsight est un service de cluster géré et adapté à l’entreprise. Ce service exécute des infrastructures d’analyse open source comme Apache Spark, Hadoop, HBase et Kafka sur Azure. Azure HDInsight s’intègre à d’autres services Azure pour permettre aux clients de mieux gérer leurs applications analytique du Big Data.

Log Analytics fournit un outil du portail Azure pour modifier et exécuter des requêtes de journaux. Les requêtes proviennent de données collectées par les Journaux Azure Monitor et analysent leurs résultats de manière interactive. Les clients peuvent utiliser des requêtes Log Analytics pour récupérer les enregistrements qui correspondent à des critères spécifiques. Ils peuvent également utiliser des requêtes pour identifier des tendances, analyser des modèles et fournir des Insights sur leurs données.

Azure HDInsight a permis l’intégration à Log Analytics en 2017. Les clients HDInsight ont rapidement adopté cette fonctionnalité pour surveiller leurs clusters HDInsight et interroger les journaux dans les clusters. Tandis que l’adoption de cette fonctionnalité a augmenté, les clients ont fourni des commentaires sur l’intégration :

• Les clients ne peuvent pas décider quels journaux stocker et le stockage de tous les journaux peut devenir coûteux.
• Les journaux de schémas HDInsight actuels ne suivent pas des conventions d’affectation de noms cohérentes, et certaines tables se répètent.
• Les clients veulent disposer d’un tableau de bord prêt à l’emploi pour surveiller facilement l’indicateur de performance clé de leurs clusters HDInsight.
• Les clients doivent accéder à Log Analytics pour exécuter des requêtes simples.

Vue d’ensemble de la solution

En tenant compte des commentaires des clients, l’équipe Azure HDInsight a investi dans l’intégration avec Azure Monitor. Cette intégration offre :

• Un nouvel ensemble de tables dans l’espace de travail Log Analytics des clients. Les nouvelles tables sont remises via un nouveau pipeline Log Analytics.
• Une fiabilité accrue
• Une remise de journal plus rapide
• Un regroupement de tables basés sur les ressources et des requêtes par défaut

Avantages de la nouvelle intégration d’Azure Monitor

Ce document décrit les modifications apportées à l’intégration d’Azure Monitor et fournit les meilleures pratiques pour l’utilisation des nouvelles tables.

Schémas repensés: la mise en forme du schéma pour la nouvelle intégration d’Azure Monitor est mieux organisée et facile à comprendre. Il existe deux tiers de schémas en moins, afin de réduire le plus possible l’ambiguïté au sein des schémas hérités.

Journalisation sélective: il existe des journaux et des métriques disponibles via Log Analytics. Pour vous aider à économiser sur les coûts de surveillance, nous allons proposer une nouvelle fonctionnalité de journalisation sélective. Utilisez cette fonctionnalité pour activer et désactiver différents journaux et sources de métriques. Avec cette fonctionnalité, vous ne payez que pour ce que vous utilisez. Pour plus d’informations, consultez Journalisation sélective

Intégration des journaux dans le portail de cluster: le volet Journaux est une nouveauté sur le portail de cluster HDInsight. Toute personne ayant accès au cluster peut accéder à ce volet pour interroger une table à laquelle la ressource de cluster envoie des enregistrements. Les utilisateurs n’ont plus besoin d’accéder à l’espace de travail Log Analytics pour voir les enregistrements d’une ressource de cluster spécifique.

Intégration du portail de cluster Insights : le volet Insights est également nouveau dans le portail de cluster HDInsight. Une fois la nouvelle intégration d’Azure Monitor effectuée, vous pouvez sélectionner le volet Insights, ainsi qu’un tableau de bord des métriques et des journaux prêts à l’emploi, spécifiques au type du cluster qui est automatiquement rempli. Ces tableaux de bord ont été repensés à partir de nos anciennes solutions Azure. Ils vous donnent un aperçu approfondi des performances et de l’intégrité de votre cluster.

Scénarios clients

Les sections suivantes décrivent comment les clients peuvent utiliser la nouvelle intégration d’Azure Monitor dans différents scénarios. La section Activer une nouvelle intégration d’Azure Monitor explique comment activer et utiliser la nouvelle intégration d’Azure Monitor. La section Migration à partir d’Azure Monitor Classic vers la nouvelle intégration d’Azure Monitor contient des informations supplémentaires pour les utilisateurs qui dépendent de l’ancienne intégration d’Azure Monitor.

Notes

Seuls les clusters créés fin de septembre 2020 et après peuvent bénéficier de la nouvelle intégration de la supervision d’Azure.

Activer une nouvelle intégration Azure Monitor

Notes

Vous devez disposer d’un espace de travail Log Analytics créé dans un abonnement auquel vous avez accès avant d’activer la nouvelle intégration. Pour plus d’informations sur la création d’un espace de travail Log Analytics, consultez Créer un espace de travail Log Analytics dans le portail Azure.

Activez la nouvelle intégration en accédant à la page du portail de votre cluster et en faisant défiler le menu de gauche jusqu’à ce que vous atteigniez la section Surveillance . Dans la section Surveillance , sélectionnez Superviser l’intégration. Ensuite, sélectionnez Activer pour pouvoir choisir l’espace de travail Log Analytics auquel vous souhaitez envoyer vos journaux. Sélectionnez Enregistrer une fois que vous avez choisi votre espace de travail.

Accéder aux nouvelles tables

Vous pouvez accéder aux nouvelles tables de deux manières.

Approche 1 :

La première méthode pour accéder aux nouvelles tables passe par l’espace de travail Log Analytics.

1. Accédez à l’espace de travail Log Analytics que vous avez sélectionné lorsque vous avez activé l’intégration.
2. Faites défiler le menu sur le côté gauche de l’écran et sélectionnez Journaux. Un éditeur de requêtes de journaux affiche une liste de toutes les tables dans l’espace de travail.
3. Si les tables sont regroupées par Solution, les nouvelles tables HDI sont répertoriées dans la section Gestion des journaux .
4. Si vous regroupez les tables par Type de ressource, les tables se trouvent dans la section Clusters HDInsight , comme indiqué dans l’image ci-dessous.

Notes

Ce processus décrit de quelle manière les journaux étaient accessibles dans l’ancienne intégration. Cela nécessite que l’utilisateur ait accès à l’espace de travail.

Approche 2 :

La deuxième façon d’accéder aux nouvelles tables est d’accéder au portail du cluster.

1. Accédez à la page du portail de votre cluster et faites défiler le menu sur le côté gauche jusqu’à ce que la section Surveillance s’affiche. Dans cette section, vous verrez le volet Journaux .
2. Sélectionnez Journaux et un éditeur de requête de journaux s’affiche. L’éditeur contient tous les journaux associés à la ressource du cluster. Vous avez envoyé les journaux à l’espace de travail Log Analytics lorsque vous avez activé l’intégration. Ces journaux fournissent un accès basé sur les ressources (RBAC). Avec RBAC, les utilisateurs qui ont accès au cluster mais pas à l’espace de travail peuvent voir les journaux qui sont associés au cluster.

À titre de comparaison, les captures d’écran suivantes illustrent l’affichage de l’espace de travail d’intégration hérité et la nouvelle vue de l’espace de travail d’intégration :

Vue de l’espace de travail d’intégration hérité

Vue de l’espace de travail d’intégration hérité

Utiliser les nouvelles tables

Ces intégrations peuvent vous aider à utiliser les nouvelles tables :

Requêtes par défaut à utiliser avec les nouvelles tables

Dans l’éditeur de requête de journaux, définissez le bouton bascule sur Requêtes au-dessus de la liste de tables. Veillez à regrouper les requêtes par Type de ressource et à ce qu’aucun filtre ne soit défini pour un type de ressource autre que les Clusters HDInsight. L’illustration suivante montre l’apparence des résultats lorsqu’ils sont regroupés par Type de ressource et filtrés pour sur Clusters HDInsight. Sélectionnez-en un seul et il apparaît dans l’éditeur de requêtes de Journaux. Veillez à lire les commentaires inclus dans les requêtes, car certains vous obligent à entrer des informations, telles que le nom de votre cluster, pour que la requête s’exécute correctement.

Créer votre propre requête

Vous pouvez entrer vos propres requêtes dans l’éditeur de requêtes de Journaux. Les requêtes utilisées sur les anciennes tables ne sont pas valides sur les nouvelles tables, car la plupart des nouvelles tables ont des schémas nouveaux et affinés. Les requêtes par défaut sont de bonnes références pour la mise en forme des requêtes sur les nouvelles tables.

Insights

Les Insights sont des tableaux de bord de visualisation spécifiques aux clusters créés à l’aide de Classeurs Azure. Ces tableaux de bord vous fournissent des graphiques détaillés et des visualisations sur la façon dont votre cluster fonctionne. Les tableaux de bord comportent des sections pour chaque type de cluster, YARN, pour les métriques du système et pour les journaux des composants. Vous pouvez accéder au tableau de bord de votre cluster en visitant la page de votre cluster sur le portail, en faisant défiler jusqu’à la section Surveillance, puis en sélectionnant le volet Insights. Le tableau de bord se charge automatiquement si vous avez activé la nouvelle intégration. Patientez quelques secondes que les graphiques se chargent au fur et à mesure qu’ils interrogent les journaux.

Classeurs Azure personnalisés

Vous pouvez créer vos propres classeurs Azure avec des graphiques personnalisés et des visualisations. Sur la page du portail de votre cluster, faites défiler jusqu’à la section Surveillance , puis sélectionnez le volet Classeurs dans le menu de gauche. Vous pouvez commencer à utiliser un modèle vide ou utiliser l’un des modèles de la section Clusters HDInsight . Il existe un modèle pour chaque type de cluster. Les modèles sont utiles si vous souhaitez enregistrer des personnalisations spécifiques que les Insights HDInsight par défaut ne fournissent pas. N’hésitez pas à envoyer des demandes de nouvelles fonctionnalités dans les les Insights de HDInsight si vous pensez qu’il en manque.

Alertes

Vous pouvez ajouter des alertes personnalisées à vos clusters et espaces de travail dans l’éditeur de requêtes Journaux. Accédez à l’éditeur de requêtes Journaux en sélectionnant le volet Journaux dans votre cluster ou portail d’espace de travail. Exécutez une requête, puis sélectionnez Nouvelle règle d’alerte, comme indiqué dans la capture d’écran suivante. Pour plus d'informations, consultez Configuration des alertes.

Migrer vers la nouvelle intégration d’Azure Monitor

Si vous utilisez l’intégration d’Azure Monitor classique, vous devez apporter quelques ajustements aux nouveaux formats de table après avoir basculé vers la nouvelle intégration d’Azure Monitor.

Pour activer la nouvelle intégration d’Azure Monitor, suivez les étapes décrites dans la section Activer une nouvelle intégration d’Azure Monitor .

Exécuter les requêtes dans Log Analytics

Étant donné que le nouveau format de table est différent du précédent, vos requêtes doivent être retravaillées afin que vous puissiez utiliser nos nouvelles tables. Une fois que vous avez activé la nouvelle intégration d’Azure Monitor, vous pouvez parcourir les tables et les schémas pour identifier les champs utilisés dans vos anciennes requêtes.

Nous fournissons une table de mappage entre l’ancienne table et la nouvelle table pour vous aider à trouver rapidement les nouveaux champs que vous devez utiliser pour migrer vos tableaux de bord et vos requêtes.

Requêtes par défaut : nous avons créé des requêtes par défaut qui montrent comment utiliser les nouvelles tables pour les situations courantes. Les requêtes par défaut affichent également les informations qui sont disponibles dans chaque table. Vous pouvez accéder aux requêtes par défaut en suivant les instructions de la section Requêtes par défaut à utiliser avec les nouvelles tables de cet article.

Mettre à jour des tableaux de bord pour les clusters HDInsight

Si vous avez créé plusieurs tableaux de bord pour surveiller vos clusters HDInsight, vous devez ajuster la requête derrière la table une fois que vous avez activé la nouvelle intégration d’Azure Monitor. Le nom de la table ou le nom du champ peut changer dans la nouvelle intégration, mais toutes les informations dont vous disposez dans l’ancienne intégration sont incluses.

Reportez-vous à la table de mappage entre l’ancienne table/l’ancien schéma et la nouvelle table/le nouveau schéma pour mettre à jour la requête en arrière-plan des tableaux de bord.

Tableaux de bord prêts à l’emploi

Nous avons également amélioré les tableaux de bord prêts à l’emploi au niveau du cluster. Il y a un bouton en haut à droite de chaque graphique, qui vous permet de voir la requête sous-jacente qui produit les informations. Le graphique est un excellent moyen de vous familiariser avec la façon dont les nouvelles tables peuvent être interrogées efficacement.

Activer les deux intégrations pour accélérer la migration

Vous pouvez activer les intégrations d’Azure Monitor classique et nouvelle en même temps sur un cluster qui est éligible pour les deux intégrations afin de migrer rapidement vers la nouvelle intégration d’Azure Monitor. La nouvelle intégration est disponible pour tous les clusters créés après la mi-septembre 2020.

De cette façon, vous pouvez facilement effectuer une comparaison côte à côte pour les requêtes que vous utilisez.

Activation de l’intégration classique

Si vous utilisez un cluster créé après le 1er septembre 2020, vous verrez la nouvelle expérience du portail dans le portail de votre cluster. Pour activer le nouveau pipeline, suivez les étapes décrites dans la section Activer une nouvelle intégration d’Azure Monitor . Pour activer l’intégration classique sur ce cluster, accédez à la page du portail de votre cluster. Sélectionnez le volet Supervision de l’intégration dans la section Surveillance du menu sur le côté gauche de la page du portail de votre cluster. Sélectionnez Configurer Azure Monitor pour l’intégration des clusters HDInsight (classique) . Un menu contextuel latéral s’affiche avec un bouton bascule que vous pouvez utiliser pour activer et désactiver l’intégration classique de la supervision Azure.

Notes

Les journaux et les métriques de l’intégration classique ne s’affichent pas sur la page des journaux et insights du portail de votre cluster. Seuls les nouveaux journaux et métriques d’intégration seront présents à ces emplacements.

La création de nouveaux clusters avec l’intégration d’Azure Monitor classique n’est pas disponible après le 1er janvier 2023.

Chronologie de sortie et de support

• L’intégration de la surveillance Azure classique n’est pas disponible après le 15 octobre 2021. Vous ne pourrez plus activer l’intégration classique de la supervision Azure après cette date.
• L’ingestion de l’intégration de la surveillance Azure classique ne fonctionnera plus après le 31 août 2024.
• Les clusters HDInsight avec l’intégration d’Azure Monitor (préversion) ne seront plus pris en charge au-delà du 1er février 2025.
• L’intégration d’Azure Monitor (préversion) existante continuera de fonctionner jusqu’au 31 janvier 2025. Le support de l’intégration d’Azure Monitor (préversion) sera limité.
  • Si la solution nécessite la modification d’une image, les clients doivent passer à la nouvelle intégration.
  • Microsoft ne corrigera pas les clusters d’intégration d’Azure Monitor (préversion), à l’exception des problèmes de sécurité critiques.

Annexe : mappage de table

Pour connaître les mappages de tables du journal de l’intégration classique Azure Monitor à la nouvelle, consultez Mappage de tables du journal.

Contenu connexe

Interroger les journaux Azure Monitor pour surveiller les clusters HDInsight