Selectieve logboekregistratie gebruiken met een scriptactie in Azure HDInsight

Azure Monitor-logboeken is een Azure Monitor-service die uw cloud- en on-premises omgevingen bewaakt. De bewaking helpt hun beschikbaarheid en prestaties te behouden.

Met Azure Monitor-logboeken worden gegevens verzameld die zijn gegenereerd door resources in uw cloud, resources in on-premises omgevingen en andere bewakingsprogramma's. De gegevens worden gebruikt om analyses uit te voeren in meerdere bronnen. Als u de analyse wilt ophalen, schakelt u de functie voor selectieve logboekregistratie in met behulp van een scriptactie voor HDInsight in Azure Portal.

Over selectieve logboekregistratie

Selectieve logboekregistratie maakt deel uit van het algehele bewakingssysteem in Azure. Nadat u uw cluster hebt verbonden met een Log Analytics-werkruimte en selectieve logboekregistratie hebt ingeschakeld, kunt u logboeken en metrische gegevens zien, zoals HDInsight-beveiligingslogboeken, Yarn Resource Manager en metrische systeemgegevens. U kunt workloads bewaken en zien hoe deze van invloed zijn op clusterstabiliteit.

Met selectief logboekregistratie kunt u alle tabellen in- of uitschakelen, of geselecteerde tabellen inschakelen in de Log Analytics-werkruimte. U kunt het brontype voor elke tabel aanpassen.

Notitie

Als Log Analytics opnieuw is geïnstalleerd in een cluster, moet u alle tabellen en logboektypen opnieuw uitschakelen. Opnieuw installeren stelt alle configuratiebestanden opnieuw in op de oorspronkelijke staat.

Overwegingen voor scriptacties

• Het bewakingssysteem maakt gebruik van de Metadata Server-daemon (een bewakingsagent) en Fluentd voor het verzamelen van logboeken met behulp van een uniforme logboekregistratielaag.
• Selectief logboekregistratie maakt gebruik van een scriptactie om tabellen en de bijbehorende logboektypen uit te schakelen of in te schakelen. Omdat selectieve logboekregistratie geen nieuwe poorten opent of bestaande beveiligingsinstellingen wijzigt, zijn er geen beveiligingswijzigingen.
• De scriptactie wordt parallel uitgevoerd op alle opgegeven knooppunten en wijzigt de configuratiebestanden voor het uitschakelen of inschakelen van tabellen en hun logboektypen.

Vereisten

• Een Log Analytics-werkruimte. U kunt deze werkruimte beschouwen als een unieke Azure Monitor-logboekomgeving met een eigen gegevensopslagplaats, gegevensbronnen en oplossingen. Zie Een Log Analytics-werkruimte maken voor instructies.
• Een Azure HDInsight-cluster. Op dit moment kunt u de functie voor selectieve logboekregistratie gebruiken met de volgende HDInsight-clustertypen:
  • Hadoop
  • HBase
  • Interactive Query
  • Spark

Zie Aan de slag met Azure HDInsight voor instructies over het maken van een HDInsight-cluster.

Logboeken in- of uitschakelen met behulp van een scriptactie voor meerdere tabellen en logboektypen

1. Ga naar Scriptacties in uw cluster en selecteer Nieuw verzenden om het proces voor het maken van een scriptactie te starten.

   

   Het deelvenster Scriptactie verzenden wordt weergegeven.

   

2. Selecteer Aangepast voor het scripttype.

3. Geef het script een naam. Bijvoorbeeld: Schakel twee tabellen en twee bronnen uit.

4. De Bash-script-URI moet een koppeling naar selectiveLoggingScript.sh zijn.

5. Selecteer alle knooppunttypen die van toepassing zijn op het cluster. De opties zijn hoofdknooppunt, werkknooppunt en ZooKeeper-knooppunt.

6. Definieer de parameters. Bijvoorbeeld:

   • Vonk: spark HDInsightSparkLogs:SparkExecutorLog --disable
   • Interactieve query: interactivehive HDInsightSparkLogs:SparkExecutorLog --enable
   • Hadoop: hadoop HDInsightSparkLogs:SparkExecutorLog --disable
   • HBase: hbase HDInsightSparkLogs: HDInsightHBaseLogs --enable

   Zie de sectie Parametersyntaxis voor meer informatie.

7. Selecteer Maken.

8. Na een paar minuten wordt er een groen vinkje weergegeven naast uw scriptactiegeschiedenis. Dit betekent dat het script is uitgevoerd.

   

U ziet uw wijzigingen in de Log Analytics-werkruimte.

Problemen oplossen

Er worden geen wijzigingen weergegeven in de Log Analytics-werkruimte

Als u uw scriptactie indient, maar er geen wijzigingen zijn in de Log Analytics-werkruimte:

1. Selecteer onder Dashboards de startpagina van Ambari om de foutopsporingsgegevens te controleren.

   

2. Selecteer de knop Instellingen.

   

3. Selecteer het meest recente script dat boven aan de lijst met achtergrondbewerkingen wordt uitgevoerd.

   

4. Controleer de uitvoeringsstatus van het script in alle knooppunten afzonderlijk.

   

5. Controleer of de parametersyntaxis uit de sectie parametersyntaxis juist is.

6. Controleer of de Log Analytics-werkruimte is verbonden met het cluster en of Log Analytics-bewaking is ingeschakeld.

7. Controleer of u de scriptactie Behouden hebt geselecteerd om opnieuw uit te voeren wanneer er nieuwe knooppunten aan het cluster worden toegevoegd voor de scriptactie die u hebt uitgevoerd.

   

8. Kijk of er onlangs een nieuw knooppunt is toegevoegd aan het cluster.

   Notitie

   Het script moet blijven bestaan om het script uit te voeren in het meest recente cluster.

9. Zorg ervoor dat u alle knooppunttypen hebt geselecteerd die u voor de scriptactie wilt gebruiken.

   

De scriptactie is mislukt

Als in de scriptactie een foutstatus wordt weergegeven in de scriptactiegeschiedenis:

1. Controleer of de parametersyntaxis uit de sectie parametersyntaxis juist is.
2. Controleer of de scriptkoppeling juist is. Het zou moeten zijn: https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/selectiveLoggingScripts/selectiveLoggingScript.sh.

Tabelnamen

Spark-cluster

De volgende tabelnamen zijn voor verschillende logboektypen (bronnen) in Spark-tabellen.

Bronnummer	Tabelnaam	Logboektypen	Omschrijving
1.	Waarschuwingen voor HDInsightAmbariCluster	Geen logboektypen	Deze tabel bevat Ambari-clusterwaarschuwingen van elk knooppunt in het cluster (met uitzondering van edge-knooppunten). Elke waarschuwing is een record in deze tabel.
2.	Metrische gegevens van HDInsightAmbariSystem	Geen logboektypen	Deze tabel bevat systeemgegevens die zijn verzameld uit Ambari. De metrische gegevens zijn nu afkomstig van elk knooppunt in het cluster (met uitzondering van edge-knooppunten) in plaats van alleen de twee hoofdknooppunten. Elke metriek is nu een kolom en elke metriek wordt eenmaal per record gerapporteerd.
3.	HDInsightHadoopAnd YarnLogs	Hoofdknooppunt: MRJobSummary, Resource Manager, TimelineServer Worker-knooppunt: NodeManager	Deze tabel bevat alle logboeken die zijn gegenereerd op basis van de Hadoop- en YARN-frameworks.
4.	HDInsightSecurityLogs	AmbariAuditLog, AuthLog	Deze tabel bevat records uit de Ambari-audit- en verificatielogboeken.
5.	HDInsightSparkLogs	Hoofdknooppunt: JupyterLog, LivyLog, SparkThriftDriverLog Worker-knooppunt: SparkExecutorLog, SparkDriverLog	Deze tabel bevat alle logboeken met betrekking tot Spark en de bijbehorende onderdelen: Livy en Jupyter.
6.	HDInsightHadoopAnd YarnMetrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hadoop- en YARN-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken, plus meer metrische gegevens die we belangrijk achten. Er zijn metrische gegevens over tijdlijnserver, knooppuntbeheer en taakgeschiedenisserver toegevoegd. Het bevat één metrische waarde per record.
7.	HDInsightOozieLogs	Oozie	Deze tabel bevat alle logboeken die zijn gegenereerd op basis van het Oozie-framework.

Interactive Query-cluster

De volgende tabelnamen zijn voor verschillende logboektypen (bronnen) in Interactive Query-tabellen.

Bronnummer	Tabelnaam	Logboektypen	Omschrijving
1.	HDInsightAmbariClusterAlerts	Geen logboektypen	Deze tabel bevat Ambari-clusterwaarschuwingen van elk knooppunt in het cluster (met uitzondering van edge-knooppunten). Elke waarschuwing is een record in deze tabel.
2.	Metrische gegevens van HDInsightAmbariSystem	Geen logboektypen	Deze tabel bevat systeemgegevens die zijn verzameld uit Ambari. De metrische gegevens zijn nu afkomstig van elk knooppunt in het cluster (met uitzondering van edge-knooppunten) in plaats van alleen de twee hoofdknooppunten. Elke metriek is nu een kolom en elke metriek wordt eenmaal per record gerapporteerd.
3.	HDInsightHadoopAndYarnLogs	Hoofdknooppunt: MRJobSummary, Resource Manager, TimelineServer Worker-knooppunt: NodeManager	Deze tabel bevat alle logboeken die zijn gegenereerd op basis van de Hadoop- en YARN-frameworks.
4.	HDInsightHadoopAndYarnMetrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hadoop- en YARN-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken, plus meer metrische gegevens die we belangrijk achten. Er zijn metrische gegevens over tijdlijnserver, knooppuntbeheer en taakgeschiedenisserver toegevoegd. Het bevat één metrische waarde per record.
5.	HDInsightHiveAndLLAPLogs	Hoofdknooppunt: InteractiveHiveHSILog, InteractiveHiveMetastoreLog, ZeppelinLog	Deze tabel bevat logboeken die zijn gegenereerd op basis van Hive, LLAP en de bijbehorende onderdelen: WebHCat en Zeppelin.
6.	HDInsightHiveAndLLAPmetrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hive- en LLAP-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken. Het bevat één metrische waarde per record.
7.	HDInsightHiveTezAppStats	Geen logboektypen
8.	HDInsightSecurityLogs	Hoofdknooppunt: AmbariAuditLog, AuthLog ZooKeeper-knooppunt, werkknooppunt: AuthLog	Deze tabel bevat records uit de Ambari-audit- en verificatielogboeken.

HBase-cluster

De volgende tabelnamen zijn voor verschillende logboektypen (bronnen) in HBase-tabellen.

Bronnummer	Tabelnaam	Logboektypen	Omschrijving
1.	HDInsightAmbariClusterAlerts	Geen andere logboektypen	Deze tabel bevat Ambari-clusterwaarschuwingen van elk knooppunt in het cluster (met uitzondering van edge-knooppunten). Elke waarschuwing is een record in deze tabel.
2.	Metrische gegevens van HDInsightAmbariSystem	Geen andere logboektypen	Deze tabel bevat systeemgegevens die zijn verzameld uit Ambari. De metrische gegevens zijn nu afkomstig van elk knooppunt in het cluster (met uitzondering van edge-knooppunten) in plaats van alleen de twee hoofdknooppunten. Elke metriek is nu een kolom en elke metriek wordt eenmaal per record gerapporteerd.
3.	HDInsightHadoopAndYarnLogs	Hoofdknooppunt: MRJobSummary, Resource Manager, TimelineServer Worker-knooppunt: NodeManager	Deze tabel bevat alle logboeken die zijn gegenereerd op basis van de Hadoop- en YARN-frameworks.
4.	HDInsightSecurityLogs	Hoofdknooppunt: AmbariAuditLog, AuthLog Worker-knooppunt: AuthLog ZooKeeper-knooppunt: AuthLog	Deze tabel bevat records uit de Ambari-audit- en verificatielogboeken.
5.	HDInsightHBaseLogs	Hoofdknooppunt: HDFSGarbageCollectorLog, HDFSNameNodeLog Worker-knooppunt: PhoenixServerLog, HBaseRegionServerLog, HBaseRestServerLog ZooKeeper-knooppunt: HBaseMasterLog	Deze tabel bevat logboeken van HBase en de bijbehorende onderdelen: Phoenix en HDFS.
6.	HDInsightHBaseMetrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX van HBase. Deze bevat dezelfde JMX-metrische gegevens uit de tabellen die worden vermeld in de kolom Oud schema. In tegenstelling tot de oude tabellen bevat elke rij één metrische waarde.
7.	HDInsightHadoopAndYarn Metrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hadoop- en YARN-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken, plus meer metrische gegevens die we belangrijk achten. Er zijn metrische gegevens over tijdlijnserver, knooppuntbeheer en taakgeschiedenisserver toegevoegd. Het bevat één metrische waarde per record.

Hadoop-cluster

De volgende tabelnamen zijn voor verschillende logboektypen (bronnen) in Hadoop-tabellen.

Bronnummer	Tabelnaam	Logboektypen	Omschrijving
1.	HDInsightAmbariClusterAlerts	Geen logboektypen	Deze tabel bevat Ambari-clusterwaarschuwingen van elk knooppunt in het cluster (met uitzondering van edge-knooppunten). Elke waarschuwing is een record in deze tabel.
2.	Metrische gegevens van HDInsightAmbariSystem	Geen logboektypen	Deze tabel bevat systeemgegevens die zijn verzameld uit Ambari. De metrische gegevens zijn nu afkomstig van elk knooppunt in het cluster (met uitzondering van edge-knooppunten) in plaats van alleen de twee hoofdknooppunten. Elke metriek is nu een kolom en elke metriek wordt eenmaal per record gerapporteerd.
3.	HDInsightHadoopAndYarnLogs	Hoofdknooppunt: MRJobSummary, Resource Manager, TimelineServer Worker-knooppunt: NodeManager	Deze tabel bevat alle logboeken die zijn gegenereerd op basis van de Hadoop- en YARN-frameworks.
4.	HDInsightHadoopAndYarnMetrics	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hadoop- en YARN-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken, plus meer metrische gegevens die we belangrijk achten. Er zijn metrische gegevens over tijdlijnserver, knooppuntbeheer en taakgeschiedenisserver toegevoegd. Het bevat één metrische waarde per record.
5.	HDInsightHiveAndLLAPLogs	Hoofdknooppunt: HiveMetastoreLog, HiveServer2Log, WebHcatLog	Deze tabel bevat logboeken die zijn gegenereerd op basis van Hive, LLAP en de bijbehorende onderdelen: WebHCat en Zeppelin.
6.	Metrische gegevens van HDInsight Hive en LLAP	Geen logboektypen	Deze tabel bevat metrische gegevens van JMX uit de Hive- en LLAP-frameworks. Het bevat dezelfde metrische gegevens van JMX als de oude tabellen voor aangepaste logboeken. Het bevat één metrische waarde per record.
7.	HDInsight-beveiligingslogboeken	Hoofdknooppunt: AmbariAuditLog, AuthLog ZooKeeper-knooppunt: AuthLog	Deze tabel bevat records uit de Ambari-audit- en verificatielogboeken.

Parametersyntaxis

Parameters definiëren het clustertype, tabelnamen, bronnamen en actie.

Een parameter bevat drie onderdelen:

• Clustertype
• Tabellen en logboektypen
• Actie (of --disable--enable)

Syntaxis voor meerdere tabellen

Wanneer u meerdere tabellen hebt, worden deze gescheiden door een komma. Bijvoorbeeld:

spark HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --disable

hbase HDInsightSecurityLogs, HDInsightAmbariSystemMetrics --enable

Syntaxis voor meerdere brontypen of logboektypen

Wanneer u meerdere brontypen of logboektypen hebt, worden deze gescheiden door een spatie.

Als u een bron wilt uitschakelen, schrijft u de tabelnaam die de logboektypen bevat, gevolgd door een dubbele punt en vervolgens de naam van het echte logboektype:

TableName : LogTypeName

Stel dat dit spark HDInsightSecurityLogs een tabel is met twee logboektypen: AmbariAuditLog en AuthLog. Als u beide logboektypen wilt uitschakelen, is de juiste syntaxis:

spark HDInsightSecurityLogs: AmbariAuditLog AuthLog --disable

Syntaxis voor meerdere tabellen en brontypen

Als u twee tabellen en twee brontypen wilt uitschakelen, gebruikt u de volgende syntaxis:

• Spark: InteractiveHiveMetastoreLog logboektype in de HDInsightHiveAndLLAPLogs tabel
• Hbase: InteractiveHiveHSILog logboektype in de HDInsightHiveAndLLAPLogs tabel
• Hadoop: HDInsightHiveAndLLAPMetrics tabel
• Hadoop: HDInsightHiveTezAppStats tabel

Scheid de tabellen met een komma. Geef bronnen aan met behulp van een dubbele punt na de tabelnaam waarin ze zich bevinden.

De juiste parametersyntaxis voor deze gevallen is:

interactivehive HDInsightHiveAndLLAPLogs: InteractiveHiveMetastoreLog, HDInsightHiveAndLLAPMetrics, HDInsightHiveTezAppStats, HDInsightHiveAndLLAPLogs: InteractiveHiveHSILog --enable 

Volgende stappen

• Query's uitvoeren op Azure Monitor-logboeken om HDInsight-clusters te bewaken
• Beschikbaarheid van clusters bewaken met Apache Ambari- en Azure Monitor-logboeken