Utiliser les journaux d’activité Azure Monitor pour superviser les clusters HDInsight

  • Article

Découvrez comment activer les journaux Azure Monitor pour superviser les opérations de cluster Hadoop dans HDInsight et comment ajouter une solution de supervision HDInsight.

Les journaux Azure Monitor sont un service Azure Monitor qui supervise vos environnements Cloud et locaux. La supervision consiste à maintenir leur disponibilité et leurs performances. Elle collecte les données générées par les ressources de votre cloud et de vos environnements locaux et d’autres outils de supervision. Les données sont utilisées pour fournir une analyse englobant plusieurs sources.

Notes

Cet article a récemment été mis à jour pour utiliser le terme journaux d’activité Azure Monitor au lieu de Log Analytics. Les données de journal sont toujours stockées dans un espace de travail Log Analytics, et elles sont toujours collectées et analysées par le même service Log Analytics. Nous mettons la terminologie à jour pour mieux refléter le rôle des journaux d’activité dans Azure Monitor. Pour plus d'informations, consultez Modifications de la terminologie d'Azure Monitor.

Si vous ne disposez pas d’abonnement Azure, créez un compte gratuit avant de commencer.

Important

La nouvelle expérience Azure Monitor est disponible dans toutes les régions en tant que fonctionnalité d’évaluation.

Prérequis

  • Un espace de travail Log Analytics. Considérez cet espace de travail comme un environnement des journaux d’activité Azure Monitor avec son propre référentiel de données, et ses propres sources de données et solutions. Pour obtenir des instructions, consultez la rubrique Créer un espace de travail Log Analytics.

  • Un cluster Azure HDInsight. Vous pouvez actuellement utiliser les journaux d’activité Azure Monitor avec les types de cluster HDInsight suivants :

    • Hadoop
    • hbase
    • Interactive Query
    • Kafka
    • Spark

    Pour savoir comment créer un cluster HDInsight, consultez Bien démarrer avec Azure HDInsight.

  • Si vous utilisez PowerShell, vous aurez besoin du module Az. Vérifiez que vous avez la version la plus récente. Si nécessaire, exécutez Update-Module -Name Az.

  • Si vous voulez utiliser Azure CLI et que vous ne l’avez pas encore installé, consultez Installer Azure CLI.

Notes

La nouvelle expérience Azure Monitor n’est disponible dans toutes les régions qu’en tant que fonctionnalité d’évaluation. Il est recommandé de placer le cluster HDInsight et l’espace de travail Log Analytics dans la même région pour obtenir de meilleures performances.

Activer Azure Monitor à l’aide du portail

Cette section vous explique comment configurer un cluster Hadoop HDInsight existant pour utiliser un espace de travail Azure Log Analytics afin de superviser les travaux, les journaux de débogage, etc.

  1. Dans le Portail Azure, sélectionnez votre cluster. Le cluster est ouvert dans une nouvelle page du portail.

  2. À gauche, sous Supervision, sélectionnez Intégration de Monitor.

  3. Dans la vue principale, sous Intégration des clusters Azure Monitor pour HDInsight, sélectionnez Activer.

  4. Dans la liste déroulante Sélectionner un espace de travail, sélectionnez un espace de travail Log Analytics existant.

  5. Sélectionnez Enregistrer. L’enregistrement du paramètre prend quelques instants.

    Enable monitoring for HDInsight clusters.

Si vous souhaitez désactiver Azure Monitor, vous pouvez faire de même dans ce portail.

Activer Azure Monitor à l’aide d’Azure PowerShell

Vous pouvez activer des journaux Azure Monitor à l’aide de la cmdlet Enable-AzHDInsightMonitoring du module Az Azure PowerShell.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Pour désactiver, utilisez la cmdlet Disable-AzHDInsightMonitoring :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Activer Azure Monitor à l’aide d’Azure CLI

Vous pouvez activer les journaux Azure Monitor à l’aide de la commande Azure CLI az hdinsight azure-monitor enable.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Pour les désactiver, utilisez la commande az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Utilisez des insights HDInsight prêts à l’emploi pour analyser un seul cluster

HDInsight fournit un classeur spécifique à la charge de travail pour vous aider à obtenir rapidement des Insights. Ce classeur collecte des mesures de niveau de performance importantes à partir de votre cluster HDInsight et fournit des visualisations et des tableaux de bord pour les scénarios les plus courants. Les insights prêts à l’emploi offrent une vue complète d’un cluster HDInsight unique, y compris l’utilisation des ressources et l’état des applications.

Classeurs HDInsight disponibles :

  • Classeur HDInsight Spark
  • Classeur HDInsight Kafka
  • Classeur HDInsight HBase
  • Classeur HDInsight Hive/LLAP

Capture d’écran du classeur Spark Spark workbook screenshot.

Configuration des compteurs de performances

Azure Monitor prend en charge la collecte et l’analyse des métriques de performances pour les nœuds de votre cluster. Pour plus d’informations, consultez Sources de données de performances Linux dans Azure Monitor.

Audit de cluster

HDInsight prend en charge l’audit de cluster avec des journaux Azure Monitor en important les types de journaux suivants :

  • log_gateway_audit_CL : cette table répertorie les journaux d’audit des nœuds de passerelle de clusters qui affichent les réussites et les échecs des tentatives de connexion.
  • log_auth_CL : cette table répertorie les journaux SSH contenant les réussites et les échecs des tentatives de connexion.
  • log_ambari_audit_CL : ce tableau répertorie les journaux d’audit d’Ambari.
  • log_ranger_audti_CL : ce tableau répertorie les journaux d’audit d’Apache Ranger sur des clusters ESP.

Mettre à jour l’agent Log Analytics (OMS) utilisé par l’intégration d’Azure Monitor à HDInsight

Quand l’intégration d’Azure Monitor est activée sur un cluster, l’agent Log Analytics ou l’agent Operations Management Suite (OMS) est installé sur le cluster et n’est pas mis à jour, sauf si vous désactivez et que vous réactivez l’intégration d’Azure Monitor. Effectuez les étapes suivantes si vous devez mettre à jour l’agent OMS sur le cluster. Si vous êtes derrière un pare-feu, il peut être nécessaire de répondre aux prérequis pour les clusters derrière un pare-feu avant d’effectuer ces étapes.

  1. Dans le Portail Azure, sélectionnez votre cluster. Le cluster est ouvert dans une nouvelle page du portail.
  2. À gauche, sous Supervision, sélectionnez Azure Monitor.
  3. Prenez note du nom de votre espace de travail Log Analytics actuel.
  4. Dans la vue principale, sous Intégration à Azure Monitor, désactivez le commutateur, puis sélectionnez Enregistrer.
  5. Une fois le paramètre enregistré, réactivez le commutateur Intégration à Azure Monitor et vérifiez que le même espace de travail Log Analytics est sélectionné, puis sélectionnez Enregistrer.

Si vous avez Intégration à Azure Monitor activé sur un cluster, la mise à jour de l’agent OMS met également à jour la version d’Open Management Infrastructure (OMI). Vous pouvez vérifier la version d’OMI sur le cluster en exécutant la commande suivante :

 sudo /opt/omi/bin/omiserver –version

Étapes suivantes