Azure Monitor-logboeken gebruiken om HDInsight-clusters te bewaken
Meer informatie over het inschakelen van Azure Monitor-logboeken voor het bewaken van Hadoop-clusterbewerkingen in HDInsight. En hoe u een HDInsight-bewakingsoplossing toevoegt.
Azure Monitor-logboeken is een Azure Monitor-service die uw cloud- en on-premises omgevingen bewaakt. De bewaking is om hun beschikbaarheid en prestaties te behouden. Hiermee worden gegevens verzameld die worden gegenereerd door resources in uw cloud, on-premises omgevingen en vanuit andere bewakingsprogramma's. De gegevens worden gebruikt om analyses uit meerdere bronnen te bieden.
Notitie
Dit artikel is onlangs bijgewerkt waarbij Log Analytics is vervangen door de term Azure Monitor-logboeken. Logboekgegevens worden nog steeds opgeslagen in een Log Analytics-werkruimte, en worden nog steeds verzameld en geanalyseerd met dezelfde Log Analytics-service. De terminologie wordt bijgewerkt om de rol van logboeken in Azure Monitor beter te weerspiegelen. Zie Wijzigingen in Azure Monitor-terminologie voor meer informatie.
Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.
Belangrijk
Nieuwe Azure Monitor-ervaring is beschikbaar in alle regio's als preview-functie.
Vereisten
Een Log Analytics-werkruimte. U kunt deze werkruimte beschouwen als een unieke Azure Monitor-logboekomgeving met een eigen gegevensopslagplaats, gegevensbronnen en oplossingen. Zie Een Log Analytics-werkruimte maken voor de instructies.
Een Azure HDInsight-cluster. Op dit moment kunt u Azure Monitor-logboeken gebruiken met de volgende HDInsight-clustertypen:
- Hadoop
- HBase
- Interactive Query
- Kafka
- Spark
Zie Aan de slag met Azure HDInsight voor instructies over het maken van een HDInsight-cluster.
Als u PowerShell gebruikt, hebt u de Az-module nodig. Zorg ervoor dat u de nieuwste versie hebt. Voer indien nodig de opdracht uit
Update-Module -Name Az
.Als u Azure CLI wilt gebruiken en u deze nog niet hebt geïnstalleerd, raadpleegt u De Azure CLI installeren.
Notitie
Nieuwe Azure Monitor-ervaring is alleen beschikbaar in alle regio's als preview-functie. Het wordt aanbevolen om zowel het HDInsight-cluster als de Log Analytics-werkruimte in dezelfde regio te plaatsen voor betere prestaties.
Azure Monitor inschakelen met behulp van de portal
In deze sectie configureert u een bestaand HDInsight Hadoop-cluster om een Azure Log Analytics-werkruimte te gebruiken voor het bewaken van taken, foutopsporingslogboeken enzovoort.
Selecteer uw cluster via de Azure-portal. Het cluster wordt geopend op een nieuwe portalpagina.
Selecteer Aan de linkerkant onder Bewaking de optie Integratie bewaken.
Selecteer In de hoofdweergave onder Integratie van Azure Monitor voor HDInsight-clusters de optie Inschakelen.
Selecteer een bestaande Log Analytics-werkruimte in de vervolgkeuzelijst Een werkruimte selecteren.
Selecteer Opslaan. Het duurt even voordat de instelling is opgeslagen.
Als u Azure Monitor wilt uitschakelen, kunt u hetzelfde doen in deze portal.
Azure Monitor inschakelen met behulp van Azure PowerShell
U kunt Azure Monitor-logboeken inschakelen met behulp van de Azure PowerShell Az-module Enable-AzHDInsightAzureMonitor-cmdlet .
# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input
# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
-ResourceGroupName $resourceGroup `
-Name $LAW).CustomerId
# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
-ResourceGroupName $resourceGroup `
-Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey
# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
-ResourceGroupName $resourceGroup `
-ClusterName $cluster `
-WorkspaceId $WorkspaceId `
-PrimaryKey $PrimaryKey
# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
-ResourceGroupName $resourceGroup `
-ClusterName $cluster
Als u wilt uitschakelen, gebruikt u de cmdlet Disable-AzHDInsightAzureMonitor :
Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster
Azure Monitor inschakelen met behulp van Azure CLI
U kunt Azure Monitor-logboeken inschakelen met behulp van de Azure CLI-opdracht az hdinsight azure-monitor enable
.
# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME
# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW
# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup
Gebruik de opdracht om uit az hdinsight monitor disable
te schakelen.
az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup
HdInsight out-of-box Insights gebruiken om één cluster te bewaken
HDInsight biedt werkbelastingspecifieke werkmappen om u snel inzicht te geven. Deze werkmap verzamelt belangrijke prestatiegegevens van uw HDInsight-cluster en biedt de visualisaties en dashboards voor de meest voorkomende scenario's. De out-of-box-inzichten bieden een volledig overzicht van één HDInsight-cluster, waaronder resourcegebruik en toepassingsstatus.
Beschikbare HDInsight-werkmappen:
- HDInsight Spark-werkmap
- HDInsight Kafka-werkmap
- HDInsight HBase-werkmap
- HDInsight Hive/LLAP-werkmap
Schermopname van Spark-werkmap
Prestatiemeteritems configureren
Azure Monitor biedt ondersteuning voor het verzamelen en analyseren van metrische prestatiegegevens voor de knooppunten in uw cluster. Zie Gegevensbronnen voor Linux-prestaties in Azure Monitor voor meer informatie.
Clustercontrole
HDInsight biedt ondersteuning voor clustercontrole met Azure Monitor-logboeken door de volgende typen logboeken te importeren:
log_gateway_audit_CL
- deze tabel bevat auditlogboeken van clustergatewayknooppunten waarin geslaagde en mislukte aanmeldingspogingen worden weergegeven.log_auth_CL
- deze tabel bevat SSH-logboeken met geslaagde en mislukte aanmeldingspogingen.log_ambari_audit_CL
- deze tabel bevat auditlogboeken van Ambari.ranger_audit_logs_CL
- deze tabel bevat auditlogboeken van Apache Ranger op ESP-clusters.
Zie Logboektabeltoewijzingen voor de logboektabeltoewijzingen van de klassieke Azure Monitor-integratie met de nieuwe tabel.
De Log Analytics-agent (OMS) bijwerken die wordt gebruikt door HDInsight Azure Monitor-integratie
Wanneer Azure Monitor-integratie is ingeschakeld op een cluster, wordt de Log Analytics-agent of De OMS-agent (Operations Management Suite) geïnstalleerd op het cluster en wordt deze niet bijgewerkt, tenzij u Azure Monitor-integratie uitschakelt en opnieuw inschakelt. Voer de volgende stappen uit als u de OMS-agent in het cluster moet bijwerken. Als u zich achter een firewall bevindt, moet u mogelijk de vereisten voor clusters achter een firewall voltooien voordat u deze stappen uitvoert.
- Selecteer uw cluster via de Azure-portal. Het cluster wordt geopend op een nieuwe portalpagina.
- Aan de linkerkant onder Bewaking selecteert u Azure Monitor.
- Noteer de naam van uw huidige Log Analytics-werkruimte.
- Schakel in de hoofdweergave onder Azure Monitor-integratie de wisselknop uit en selecteer Opslaan.
- Nadat de instelling is opgeslagen, schakelt u de wisselknop azure Monitor-integratie opnieuw in en zorgt u ervoor dat dezelfde Log Analytics-werkruimte is geselecteerd en selecteert u Opslaan.
Als Azure Monitor-integratie is ingeschakeld voor een cluster, werkt het bijwerken van de OMS-agent ook de OMI-versie (Open Management Infrastructure) bij. U kunt de OMI-versie op het cluster controleren door de volgende opdracht uit te voeren:
sudo /opt/omi/bin/omiserver –version
Volgende stappen
Feedback
https://aka.ms/ContentUserFeedback.
Binnenkort: Gedurende 2024 worden GitHub Issues uitgefaseerd als het feedbackmechanisme voor inhoud. Dit wordt vervangen door een nieuw feedbacksysteem. Ga voor meer informatie naar:Feedback verzenden en bekijken voor