Share via

Azure Monitor-logboeken gebruiken om HDInsight-clusters te bewaken

  • Artikel

Meer informatie over het inschakelen van Azure Monitor-logboeken voor het bewaken van Hadoop-clusterbewerkingen in HDInsight. En hoe u een HDInsight-bewakingsoplossing toevoegt.

Azure Monitor-logboeken is een Azure Monitor-service die uw cloud- en on-premises omgevingen bewaakt. De bewaking is om hun beschikbaarheid en prestaties te behouden. Hiermee worden gegevens verzameld die worden gegenereerd door resources in uw cloud, on-premises omgevingen en vanuit andere bewakingsprogramma's. De gegevens worden gebruikt om analyses uit meerdere bronnen te bieden.

Notitie

Dit artikel is onlangs bijgewerkt waarbij Log Analytics is vervangen door de term Azure Monitor-logboeken. Logboekgegevens worden nog steeds opgeslagen in een Log Analytics-werkruimte, en worden nog steeds verzameld en geanalyseerd met dezelfde Log Analytics-service. De terminologie wordt bijgewerkt om de rol van logboeken in Azure Monitor beter te weerspiegelen. Zie Wijzigingen in Azure Monitor-terminologie voor meer informatie.

Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

Belangrijk

Nieuwe Azure Monitor-ervaring is beschikbaar in alle regio's als preview-functie.

Vereisten

  • Een Log Analytics-werkruimte. U kunt deze werkruimte beschouwen als een unieke Azure Monitor-logboekomgeving met een eigen gegevensopslagplaats, gegevensbronnen en oplossingen. Zie Een Log Analytics-werkruimte maken voor de instructies.

  • Een Azure HDInsight-cluster. Op dit moment kunt u Azure Monitor-logboeken gebruiken met de volgende HDInsight-clustertypen:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark

    Zie Aan de slag met Azure HDInsight voor instructies over het maken van een HDInsight-cluster.

  • Als u PowerShell gebruikt, hebt u de Az-module nodig. Zorg ervoor dat u de nieuwste versie hebt. Voer indien nodig de opdracht uit Update-Module -Name Az.

  • Als u Azure CLI wilt gebruiken en u deze nog niet hebt geïnstalleerd, raadpleegt u De Azure CLI installeren.

Notitie

Nieuwe Azure Monitor-ervaring is alleen beschikbaar in alle regio's als preview-functie. Het wordt aanbevolen om zowel het HDInsight-cluster als de Log Analytics-werkruimte in dezelfde regio te plaatsen voor betere prestaties.

Azure Monitor inschakelen met behulp van de portal

In deze sectie configureert u een bestaand HDInsight Hadoop-cluster om een Azure Log Analytics-werkruimte te gebruiken voor het bewaken van taken, foutopsporingslogboeken enzovoort.

  1. Selecteer uw cluster via de Azure-portal. Het cluster wordt geopend op een nieuwe portalpagina.

  2. Selecteer Aan de linkerkant onder Bewaking de optie Integratie bewaken.

  3. Selecteer In de hoofdweergave onder Integratie van Azure Monitor voor HDInsight-clusters de optie Inschakelen.

  4. Selecteer een bestaande Log Analytics-werkruimte in de vervolgkeuzelijst Een werkruimte selecteren.

  5. Selecteer Opslaan. Het duurt even voordat de instelling is opgeslagen.

    Enable monitoring for HDInsight clusters.

Als u Azure Monitor wilt uitschakelen, kunt u hetzelfde doen in deze portal.

Azure Monitor inschakelen met behulp van Azure PowerShell

U kunt Azure Monitor-logboeken inschakelen met behulp van de Azure PowerShell Az-module Enable-AzHDInsightAzureMonitor-cmdlet .

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Als u wilt uitschakelen, gebruikt u de cmdlet Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Azure Monitor inschakelen met behulp van Azure CLI

U kunt Azure Monitor-logboeken inschakelen met behulp van de Azure CLI-opdracht az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Gebruik de opdracht om uit az hdinsight monitor disable te schakelen.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

HdInsight out-of-box Insights gebruiken om één cluster te bewaken

HDInsight biedt werkbelastingspecifieke werkmappen om u snel inzicht te geven. Deze werkmap verzamelt belangrijke prestatiegegevens van uw HDInsight-cluster en biedt de visualisaties en dashboards voor de meest voorkomende scenario's. De out-of-box-inzichten bieden een volledig overzicht van één HDInsight-cluster, waaronder resourcegebruik en toepassingsstatus.

Beschikbare HDInsight-werkmappen:

  • HDInsight Spark-werkmap
  • HDInsight Kafka-werkmap
  • HDInsight HBase-werkmap
  • HDInsight Hive/LLAP-werkmap

Schermopname van Spark-werkmap Spark workbook screenshot.

Prestatiemeteritems configureren

Azure Monitor biedt ondersteuning voor het verzamelen en analyseren van metrische prestatiegegevens voor de knooppunten in uw cluster. Zie Gegevensbronnen voor Linux-prestaties in Azure Monitor voor meer informatie.

Clustercontrole

HDInsight biedt ondersteuning voor clustercontrole met Azure Monitor-logboeken door de volgende typen logboeken te importeren:

  • log_gateway_audit_CL - deze tabel bevat auditlogboeken van clustergatewayknooppunten waarin geslaagde en mislukte aanmeldingspogingen worden weergegeven.
  • log_auth_CL - deze tabel bevat SSH-logboeken met geslaagde en mislukte aanmeldingspogingen.
  • log_ambari_audit_CL - deze tabel bevat auditlogboeken van Ambari.
  • log_ranger_audti_CL - deze tabel bevat auditlogboeken van Apache Ranger op ESP-clusters.

De Log Analytics-agent (OMS) bijwerken die wordt gebruikt door HDInsight Azure Monitor-integratie

Wanneer Azure Monitor-integratie is ingeschakeld op een cluster, wordt de Log Analytics-agent of De OMS-agent (Operations Management Suite) geïnstalleerd op het cluster en wordt deze niet bijgewerkt, tenzij u Azure Monitor-integratie uitschakelt en opnieuw inschakelt. Voer de volgende stappen uit als u de OMS-agent in het cluster moet bijwerken. Als u zich achter een firewall bevindt, moet u mogelijk de vereisten voor clusters achter een firewall voltooien voordat u deze stappen uitvoert.

  1. Selecteer uw cluster via de Azure-portal. Het cluster wordt geopend op een nieuwe portalpagina.
  2. Aan de linkerkant onder Bewaking selecteert u Azure Monitor.
  3. Noteer de naam van uw huidige Log Analytics-werkruimte.
  4. Schakel in de hoofdweergave onder Azure Monitor-integratie de wisselknop uit en selecteer Opslaan.
  5. Nadat de instelling is opgeslagen, schakelt u de wisselknop azure Monitor-integratie opnieuw in en zorgt u ervoor dat dezelfde Log Analytics-werkruimte is geselecteerd en selecteert u Opslaan.

Als Azure Monitor-integratie is ingeschakeld voor een cluster, werkt het bijwerken van de OMS-agent ook de OMI-versie (Open Management Infrastructure) bij. U kunt de OMI-versie op het cluster controleren door de volgende opdracht uit te voeren:

 sudo /opt/omi/bin/omiserver –version

Volgende stappen