Använda Azure Monitor-loggar för att övervaka HDInsight-kluster

  • Artikel

Lär dig hur du aktiverar Azure Monitor-loggar för att övervaka Hadoop-klusteråtgärder i HDInsight. Och hur du lägger till en HDInsight-övervakningslösning.

Azure Monitor-loggar är en Azure Monitor-tjänst som övervakar dina molnmiljöer och lokala miljöer. Övervakningen är att upprätthålla deras tillgänglighet och prestanda. Den samlar in data som genereras av resurser i molnet, lokala miljöer och från andra övervakningsverktyg. Data används för att tillhandahålla analys mellan flera källor.

Kommentar

Den här artikeln uppdaterades nyligen för att använda termen Azure Monitor-loggar i stället för Log Analytics. Loggdata lagras fortfarande på en Log Analytics-arbetsyta och samlas fortfarande in och analyseras av samma Log Analytics-tjänst. Vi uppdaterar terminologin för att bättre återspegla loggarnas roll i Azure Monitor. Mer information finns i Terminologiändringar i Azure Monitor.

Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.

Viktigt!

Den nya Azure Monitor-upplevelsen är tillgänglig i alla regioner som en förhandsversionsfunktion.

Förutsättningar

  • En Log Analytics-arbetsyta. Du kan se den här arbetsytan som en unik Azure Monitor-loggmiljö med en egen datalagringsplats, datakällor och lösningar. Anvisningarna finns i Skapa en Log Analytics-arbetsyta.

  • Ett Azure HDInsight-kluster. För närvarande kan du använda Azure Monitor-loggar med följande HDInsight-klustertyper:

    • Hadoop
    • HBase
    • Interaktiv fråga
    • Kafka
    • Spark

    Anvisningar om hur du skapar ett HDInsight-kluster finns i Komma igång med Azure HDInsight.

  • Om du använder PowerShell behöver du Az-modulen. Kontrollera att du har den senaste versionen. Om det behövs kör du Update-Module -Name Az.

  • Om du vill använda Azure CLI och du ännu inte har installerat det kan du läsa Installera Azure CLI.

Kommentar

Den nya Azure Monitor-upplevelsen är endast tillgänglig i alla regioner som en förhandsversionsfunktion. Vi rekommenderar att du placerar både HDInsight-klustret och Log Analytics-arbetsytan i samma region för bättre prestanda.

Aktivera Azure Monitor med hjälp av portalen

I det här avsnittet konfigurerar du ett befintligt HDInsight Hadoop-kluster för att använda en Azure Log Analytics-arbetsyta för att övervaka jobb, felsöka loggar och så vidare.

  1. Välj ditt kluster från Azure Portal. Klustret öppnas i en ny portalsida.

  2. Välj Övervaka integrering till vänster under Övervakning.

  3. Välj Aktivera under Azure Monitor for HDInsight Clusters Integration (Azure Monitor for HDInsight Clusters Integration).

  4. I listrutan Välj en arbetsyta väljer du en befintlig Log Analytics-arbetsyta.

  5. Välj Spara. Det tar en stund att spara inställningen.

    Enable monitoring for HDInsight clusters.

Om du vill inaktivera Azure Monitor kan du göra samma sak i den här portalen.

Aktivera Azure Monitor med Hjälp av Azure PowerShell

Du kan aktivera Azure Monitor-loggar med hjälp av Azure PowerShell Az-modulen Enable-AzHDInsightAzureMonitor-cmdlet .

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Om du vill inaktivera använder du cmdleten Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Aktivera Azure Monitor med Hjälp av Azure CLI

Du kan aktivera Azure Monitor-loggar med hjälp av Azure CLI-kommandot az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Om du vill inaktivera använder du az hdinsight monitor disable kommandot .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Använda HDInsight out-of-box Insights för att övervaka ett enda kluster

HDInsight tillhandahåller arbetsbelastningsspecifik arbetsbok som hjälper dig att snabbt få insikter. Den här arbetsboken samlar in viktiga prestandamått från ditt HDInsight-kluster och tillhandahåller visualiseringar och instrumentpaneler för de vanligaste scenarierna. De färdiga insikterna ger en fullständig vy över ett enda HDInsight-kluster, inklusive resursanvändning och programstatus.

Tillgängliga HDInsight-arbetsböcker:

  • HDInsight Spark-arbetsbok
  • HDInsight Kafka-arbetsbok
  • HDInsight HBase-arbetsbok
  • HDInsight Hive/LLAP-arbetsbok

Skärmbild av Spark-arbetsbok Spark workbook screenshot.

Konfigurera prestandaräknare

Azure Monitor stöder insamling och analys av prestandamått för noderna i klustret. Mer information finns i Datakällor för Linux-prestanda i Azure Monitor.

Klustergranskning

HDInsight stöder klustergranskning med Azure Monitor-loggar genom att importera följande typer av loggar:

  • log_gateway_audit_CL – Den här tabellen innehåller granskningsloggar från klustergatewaynoder som visar lyckade och misslyckade inloggningsförsök.
  • log_auth_CL – Den här tabellen innehåller SSH-loggar med lyckade och misslyckade inloggningsförsök.
  • log_ambari_audit_CL – Den här tabellen innehåller granskningsloggar från Ambari.
  • log_ranger_audti_CL – Den här tabellen innehåller granskningsloggar från Apache Ranger i ESP-kluster.

Uppdatera Log Analytics-agenten (OMS) som används av HDInsight Azure Monitor-integrering

När Azure Monitor-integrering är aktiverat i ett kluster installeras Log Analytics-agenten eller Operations Management Suite-agenten (OMS) på klustret och uppdateras inte om du inte inaktiverar och återaktiverar Azure Monitor-integrering. Slutför följande steg om du behöver uppdatera OMS-agenten i klustret. Om du är bakom en brandvägg kan du behöva slutföra kraven för kluster bakom en brandvägg innan du slutför de här stegen.

  1. Välj ditt kluster från Azure Portal. Klustret öppnas i en ny portalsida.
  2. Till vänster, under Övervakning, väljer du Azure Monitor.
  3. Anteckna namnet på din aktuella Log Analytics-arbetsyta.
  4. I huvudvyn, under Azure Monitor-integrering, inaktiverar du växlingsknappen och väljer sedan Spara.
  5. När inställningen har sparats aktiverar du växlingsknappen För Azure Monitor-integrering igen och kontrollerar att samma Log Analytics-arbetsyta är markerad och väljer sedan Spara.

Om du har Azure Monitor-integrering aktiverat i ett kluster kommer uppdatering av OMS-agenten även att uppdatera OMI-versionen (Open Management Infrastructure). Du kan kontrollera OMI-versionen i klustret genom att köra följande kommando:

 sudo /opt/omi/bin/omiserver –version

Nästa steg